V2EX › clemente 的所有回复 › 第 2 页 / 共 55 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 2 3 4 5 6 7 8 9 10 ... 55

❮

❯

7 天前

回复了 sentinelK 创建的主题 › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s）

RTX PRO 5000 你是自己买的嘛本地部署耗电和维护如何

7 天前

回复了 youngforever 创建的主题 › 吐槽 › 现在小区房的隔音问题真的无解了

中国（ 2025 新规新房） 100mm （ 10cm ）
无奈

7 天前

回复了 youngforever 创建的主题 › 吐槽 › 现在小区房的隔音问题真的无解了

房地产国标 8cm 楼板厚度

韩国和日本是 20cm

7 天前

回复了 harveyM 创建的主题 › 职场话题 › AI Coding 时代作为面试官已经不会面试开发了

@ponelyr 我们现在组内只 review 不搓代码，debug 也需要人操控 ai 去实现

18 天前

回复了 blackantt 创建的主题 › Claude › 有没有官方的 claude 的 24h 全球使用率峰谷统计，是否在使用量相对低的时候反应更快，更聪明？

每次分配给你的 gpu 资源池又不是同一个。。。

18 天前

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

@wwhc

对话中双方的具体错漏分析讨论角色观点/依据分析与评价 wwhc 看到 HF 文件列表总和为 167GB ，就认为只要 167GB 显存即可运行。
概念混淆：混淆了“磁盘文件体积”与“运行时显存需求”。没有考虑到 KV Cache 、并发数（ Batch Size ）、上下文长度以及加载精度对显存的放大效应。

clemente 提醒“满血 BF16 需求远超文件体积”、“运行显存还需考虑 KV Cache”。
思路正确：深刻理解 LLM 推理的显存瓶颈不仅在 Weight ，更在于长上下文下的 KV Cache 和计算开销。

18 天前

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

@wwhc 体积和运行时加载 vram 消耗是两回事啊

18 天前

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

@wwhc 你不妨吧链接和 readme 扔给 ai 解答一下吧

18 天前

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

DeepSeek-V4-Pro with 1.6T parameters (49B activated) and DeepSeek-V4-Flash with 284B parameters (13B activated) — both supporting a context length of one million tokens.

18 天前

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

@wwhc https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-0731 --> 304B params

18 天前

回复了 LuoDiNate 创建的主题 › 程序员 › 烧了 6B+ token,分享下我实践出来最好的 AGENTS.md

@WWwwMMmmMMmmWWww 只能说明你没用到位。。。我 codex/claude 最高档天天用

19 天前

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

@vandort 另外游戏显卡没有 tensor core 或者少很多。这才是高性能计算需要的。

19 天前

回复了 yiranw09 创建的主题 › Local LLM › 请教一下，本地部署 deepseekV4flash 大概需要什么样的配置需求？

@vandort NV 或者 AMD 的 sdk kernel 库都是根据卡 sm 标号来的你老卡上显存 120gb 也只能解决能跑的问题速度天花板很低，因为 kernel 是按照 general 或者那个标号来写的