 |
Chihaya0824🏢 雑魚 V2EX member #432561, joined on 2019-07-28 21:24:43 +08:00Today's activity rank 4990 |
 |
Per Chihaya0824's settings, the topics list is only visible after you sign in |
Deals info, including closed deals, is not hidden
Chihaya0824's recent replies
10h 54m ago Replied to a topic by aimuz › DeepSeek › DeepSeek 4 正式版是不是鸽了 |
@Yadomin 你是天才吗
17 days ago Replied to a topic by beginor › Local LLM › 本地部署 GLM-5.2 的门槛太高了，根本玩不起！ |
@Maerd
试一下 https://docs.vllm.ai/en/stable/features/kv_offloading_usage/
我是觉得超过 256K 输出就没那么可用了，所以我一直都管理到 256k 以下（
如果实在是想要再多一点的话可以把 cuda graph 关掉，应该能更多一点
试一下 https://docs.vllm.ai/en/stable/features/kv_offloading_usage/
我是觉得超过 256K 输出就没那么可用了，所以我一直都管理到 256k 以下（
如果实在是想要再多一点的话可以把 cuda graph 关掉，应该能更多一点
Jun 29 Replied to a topic by beginor › Local LLM › 本地部署 GLM-5.2 的门槛太高了，根本玩不起！ |
gguf 是这样的，有几点 op 可以试一下，算是在小显存里挣扎的一些经验
1.用 fp8 的 kv cache
2.尝试用 speculative decoding ，就是说你把 MTP 给打开，应该能够让 tps 变高挺多的，后续如果有 dflash 还可能可以提高更多
3.接受质量损失去用 awq 版，但是肯定不会比 fp8 好
都可以试一下，8 个 h20 肯定可以跑的，而且 kvcache 还可以做 tiering ，可以用内存 swap ，变相支持更多用户（一定程度上）
1.用 fp8 的 kv cache
2.尝试用 speculative decoding ，就是说你把 MTP 给打开，应该能够让 tps 变高挺多的，后续如果有 dflash 还可能可以提高更多
3.接受质量损失去用 awq 版，但是肯定不会比 fp8 好
都可以试一下，8 个 h20 肯定可以跑的，而且 kvcache 还可以做 tiering ，可以用内存 swap ，变相支持更多用户（一定程度上）
May 21 Replied to a topic by murongxdb › 程序员 › 很好奇 RAG 真的是现代 ai agent 所需要的吗，还有 langchian 这种框架，没有看到太多知名开源项目用到了 |
May 20 Replied to a topic by Helcatele › 宽带症候群 › 想问下有人关注 GL.iNet 的 Mudi 7 吗？ |
不行，这种 cpe 最好还是中兴或者华为之类的，他们信号不是很好，开源也不是很好（以前开，现在好像都不开了
May 19 Replied to a topic by roykingH › NAS › 致态的 SC001 固态盘是不是有问题？ |
直通到 Windows 虚拟机里在 CDI 截图呗，如果不愿意拆下来的话
@roykingH
@roykingH
May 6 Replied to a topic by Allendeng › 职场话题 › AI 时代，真正拉开差距的不是信息，而是 mindset |
Not X but Y 直接判定为 AI slop
May 4 Replied to a topic by SzgSw5zGyN1iy › Local LLM › DGX Spark、ASUS GX10、MSI EdgeXpert 看起来都像是一个母胎的产品，用起来有差别吗？ |
原版散热比较差
其他散热据说好一点，但是我只用过原版
反正买一个以上千万不要堆叠摆放，他会降频
其他散热据说好一点，但是我只用过原版
反正买一个以上千万不要堆叠摆放，他会降频
Select Language