SSang

不对，我重新又试了一下，关掉 `--split-mode tensor` prefill 速度其实也是 600tok/s 。

他除了能让我两张卡同时跑满之外，没有任何提升（笑哭），甚至还有些许下降我觉得。估计是 PCIe 拖累了。

我发现了一个新的参数 `--split-mode tensor` 之前我用 row 一直报错 not support split buffers ，我以为不能并行，但是用 tensor 又能并行了，很神奇。

然后没有 nvlink 的话可能要加环境变量 NCCL_P2P_DISABLE=1 。

开了这个之后我的 prefill 速度大概到了 600tok/s 了

@ljian6530 T4 我觉得，不然你拿去玩 Minimax H3 吧（狗头），kvq4 这个 prefill 速度，没有优化的空间了。你就算 8 卡速度 x4 ，也才 280tok/s

@zzutmebwd 有些过于富有了，只能说玩 V100 的都是穷人

@strobber16 主要不是显存不够，是 prefill 太慢了

@paranoiagu 他这个是用来跑原生 tensor 模型的，好像最少也得 64G 显存吧。玩不起，32G 还是老老实实 gguf 吧

@catazshadow 噢噢，就是直接 pcie 拆分 4 卡的是吧。确实 pcie 也听够了，我之前搞过一个 pcie x1 拆分 4 卡的，当时也测不出有什么差距，但后来不知道被我丢哪去了。

@lyonll 我有空也测测 turbo3 ，但其实 q4 我觉得就已经有些不太行了。

我就是体感劣化，有的是很明显的劣化的，就是很简单的任务，比如我让他改一个前端展示从 ID 改成获取名称展示，改了量化之后他直接开始一直循环不输出结果，这种就是明显的劣化了。

我 q8 跑就是很慢，但是基本上任务都能完成，但是 q4 还是会有概率出现乱回答或者死循环。

---

然后还有就是我个人感觉本地部署 prefill 速度比 decode 速度重要，decode 只要有 10tok/s 就有一点安慰作用了，但是我要是等几分钟他还在那转圈，就会开始怀疑是不是模型挂了还是报错了。

（我之前其实是有算过的，特别是长上下文编码的场景，prefill 速度会很大程度决定任务的总耗时，100k 左右的上下文，基本上要缓存命中到 98% 以上，decode 速度才会对总耗时有些影响）

@GuardX 反正我看了其他的帖子基本上也是这个结论：「 Q4 及以上质量良好，Q4 以下断崖式下降」