@coefu 我看到 LAN 上在 100K 上下文的时候能有 400Mbps 的通信，现在是千兆网，感觉上了万兆可能真的能用。。

@coefu 哈哈，我也来试试这个 flash next 。

这两天在折腾 llama.cpp 的 RPC 把两台机器连起来用。一共 96G 显存，能加载一些 Q4 120B 的 MoE 模型，Q8 的 kv 能开的 256K 。decode 速度一开始其实还是不错的，能有 20TPS 。就是 prefill 不好看，一开始有 400 多，到 100K context 的时候就只有 100 不到了。GPT OSS 120B 是最快的，不过这个现在好像已经比较傻了。后面试了 Laguna S 2.1 和 Mistral Small 3 ，都是能跑但太慢。这几个的回答感觉好像的确要比 27B 全面一点。

万兆网卡还在路上🤣

继续折腾估计就要上 PCIe 扩展板了😅

你说的第一点政府已经在做了

国产软件都只配在虚拟机里跑

https://v2ex.com/t/1131868

不是暴论，一年前我就说过了

AI 不能判断任何事情，不要拟人化机器