V2EX › catazshadow 的所有回复 › 第 4 页 / 共 115 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 2 3 4 5 6 7 8 9 10 ... 115

❮

❯

9 月 23 日

回复了 zzutmebwd 创建的主题 › Local LLM › pro6000 部署 Qwen 3.8 flash next nvfp4

@coefu 上下文压小了确实会快点，回头看看怎么搞

9 月 23 日

回复了 zzutmebwd 创建的主题 › Local LLM › pro6000 部署 Qwen 3.8 flash next nvfp4

@coefu 还能这么玩。要配合 flash next 还是都可以？压缩了会变傻么？

9 月 23 日

回复了 zzutmebwd 创建的主题 › Local LLM › pro6000 部署 Qwen 3.8 flash next nvfp4

@coefu qwen 3.8 flash next ，就你上一条发的那个

电费算毛 hhh 。还有就是 layer split 其实每一时刻只有一张卡满载，总功率其实是(N - 1) 待机功率 + 1 x 满载功率，6 张卡也就 400W 来瓦顶天了，几千块搞定 Strix Halo 能干的活，要什么自行车🤣

9 月 23 日

回复了 zzutmebwd 创建的主题 › Local LLM › pro6000 部署 Qwen 3.8 flash next nvfp4

@coefu 加上万兆网卡的结果，一共 96G 显存，两台机器 4+2 张卡

qwen 系列的 prefill 感觉跟这种跑法有仇，开头就只有 160 多，直接放弃了。单机用 lazy 模式跑也不快，简直了。

laguna S 和 mistral small 都差不多，加载了个 110K 的会话历史，开始 prefill 在 480 左右，在 110K 的时候大概有 280 ，tg 的话能有 10 左右，感觉是垃圾佬的极限了，毕竟几千块跑起来这么大的模型。

9 月 23 日

回复了 lynn1su 创建的主题 › 职场话题 › 现在如果 ai 突然全部消失了，还有多少人能古法编程？换句话说还有多少人能不靠 ai，从头到尾古法编程？

写内核的依旧古法

9 月 20 日

回复了 zlo309618100727 创建的主题 › 推广 › 阶跃星辰的免费 plan 又来了，直接送一个月，感觉国模厂商开始卷起来了。

@Kale 洋人上传所以上传就可以了？

9 月 20 日

回复了 cs1707 创建的主题 › 程序员 › 智谱出大瓜了：偷偷把工作区打包加密上传到阿里云 OSS？

已经四五个帖进水深火热了，这能量是真的大

9 月 20 日

回复了 enihcam 创建的主题 › 程序员 › 国内有哪些开源的 coding agent 可以选择？

@dacapoday 可这个唯一解是垃圾

9 月 18 日

回复了 Ryanzlab 创建的主题 › 分享发现 › 作者称 ZCode 会静默上传 Git 全历史，弥补了中国没有 a\的遗憾

国产软件还是只配在虚拟机里运行

1 2 3 4 5 6 7 8 9 10 ... 115

❮

❯