V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  zzutmebwd  ›  全部回复第 2 页 / 共 253 页
回复总数  5052
1  2  3  4  5  6  7  8  9  10 ... 253  
@fcten 问题是顶级开源模型不如顶级闭源模型。
6 月 15 日
回复了 mingtdlb 创建的主题 Local LLM 现在大模型主流都用哪些 nVidia GPU?
@mingtdlb 口径问题,你看的值除以 2 即可,现在 nv 的宣传话术眼花缭乱的,你看比值即可。
6 月 15 日
回复了 mingtdlb 创建的主题 Local LLM 现在大模型主流都用哪些 nVidia GPU?
相比 pro6000d:
fp32/16:5090 83% pro6000d 59%
fp4: 5090 83% pro6000d 29%
6 月 15 日
回复了 mingtdlb 创建的主题 Local LLM 现在大模型主流都用哪些 nVidia GPU?
您看一下:
精度 RTX 5090 Pro 6000 D(特供) Pro 6000 Blackwell
FP32 104.8 TFLOPS 74 TFLOPS 126 TFLOPS
FP16 ~209.5 TFLOPS 148 TFLOPS ~252 TFLOPS
FP4 ~1676 TFLOPS 593 TFLOPS ~2015 TFLOPS
pro6000d 的算力值是从图册里抄的,目测是软件限制,全网都搜不到。
6 月 15 日
回复了 mingtdlb 创建的主题 Local LLM 现在大模型主流都用哪些 nVidia GPU?
d2VjaGF0OiBobnN5d2Q= base64 联系
6 月 15 日
回复了 mingtdlb 创建的主题 Local LLM 现在大模型主流都用哪些 nVidia GPU?
@lifechan 和封禁没关系,国外也 1w 刀以上了,都贵。
6 月 15 日
回复了 mingtdlb 创建的主题 Local LLM 现在大模型主流都用哪些 nVidia GPU?
@mingtdlb 又一个被骗的,这个卡就搜不到真实资料,我是差点买了,后面看了厂家图册直接退了(当时 pro6000d 4 万多点 pro6000 才 6w 我就直接买 pro6000 了),图册直接拿来和 L20 比,颇有拳打南山敬老院的意思,算力削的不像样子,fp16 只有 pro 6000 的 60%,fp4 只有 30%(应该是软件限制),带宽削的不多、显存又大,所以跑 llm 问题不大。比 5090 肯定比不了,5090 实际只比 pro6000 低 10%算力。
但是以现在 5w 出头的价格,pro6000d 性价比就很高了。
6 月 12 日
回复了 Livid 创建的主题 Local LLM DiffusionGemma
@coefu 你看下跑分呢,gemma4 原版都干不过 qwen3.6 ,这个 diffusiongemma 更笨了...不是新的就是好
6 月 12 日
回复了 pz886 创建的主题 职场话题 25 岁专科女生,求网友指路
目前这个市场行情,还是嫁人来钱快。
@sentinelK 是的,我的配置和你是一样的,我是主机 ubuntu 跑 ai 和服务,虚拟机 windows ,windows 直通 cpu 核显平时用用,也很流畅。
@sentinelK 你都跑 ai 了,还用 windows 吗? hhh ,不是强词夺理哈,确实是很奇怪的选择。
都用 NVIDIA RTX PRO 6000 Blackwell 了,还用什么 llama.cpp...
个人认为 llama.cpp 就是跑在洋垃圾显卡的聊天工具...跑 agent 什么的老老实实 vllm
@coefu 是的 decode 基本不变,prefill 线性降低,所以上下文越长首词越慢,上文数据是 100k 左右上下文时的,满 256k 时就更夸张了。
@Puteulanus 我的命中率是正常的 一直在九十以上
6 月 9 日
回复了 mingtdlb 创建的主题 Local LLM 现在大模型主流都用哪些 nVidia GPU?
8000 刀才是合理价,我 6 万买的都嫌贵。
@xiaomushen
6 月 9 日
回复了 mingtdlb 创建的主题 Local LLM 现在大模型主流都用哪些 nVidia GPU?
@xiaomushen 10 万了哥,现在买不划算了
6 月 9 日
回复了 mingtdlb 创建的主题 Local LLM 现在大模型主流都用哪些 nVidia GPU?
@mingtdlb 是的 消费级+大显存基本都是魔改的,所以还是建议 pro6000d
事实上除了 nvidia ,其他生态都是一坨,不是国产的锅,amd 也不行啊。
1  2  3  4  5  6  7  8  9  10 ... 253  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3480 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 35ms · UTC 10:43 · PVG 18:43 · LAX 03:43 · JFK 06:43
♥ Do have faith in what you're doing.