V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  zzutmebwd  ›  全部回复第 3 页 / 共 253 页
回复总数  5052
1  2  3  4  5  6  7  8  9  10 ... 253  
6 月 9 日
回复了 davidyin 创建的主题 Local LLM 想折腾一个 AI 主机,请行家出手
@coefu 所有的 cpu/电子垃圾显卡部署方案都未考虑 prefill 速度,在 agent 场景中,prefill 速度是重要影响因素,算力越低影响越大。典型的 agent 场景,缓存命中 100k ,新增输入 10k ,输出思考 1k ,输出答案 200tokens ,你带宽再高,prefill 是算力敏感的,一次调用工具检索/阅读长文件进来 10k 输入,电子垃圾 prefill 能到 500tps 就不错了,这就是 20 秒,你觉得能用吗?
amd 就 llama.cpp ,别折腾,没意思
6 月 9 日
回复了 mingtdlb 创建的主题 Local LLM 现在大模型主流都用哪些 nVidia GPU?
@zzutmebwd 对了,有个 pro6000d 84g ,合规阉割版,算力是不如 5090 的,但差不太多,如果四万多点能买到的话还是不错的,大显存省事儿很多。
6 月 9 日
回复了 CatCode 创建的主题 Local LLM Gemma4 12B 如何跑在 16G 显存上?
16g 没啥问题吧,nvfp4 不到 11g 。实测有点拉,还不如 qwen3.5 9b
6 月 9 日
回复了 mingtdlb 创建的主题 Local LLM 现在大模型主流都用哪些 nVidia GPU?
你如果说千亿参数在线 api 的话,h100 h200 b200 等的群集。
6 月 9 日
回复了 mingtdlb 创建的主题 Local LLM 现在大模型主流都用哪些 nVidia GPU?
没有 nvlink 的最强是 pro6000 ,下面是 5090/4090 48g/4090/4080 32g 。有 nvlink 的不了解。
6 月 4 日
回复了 suikatw 创建的主题 职场话题 大龄女测试被裁好难啊,求出路建议
在华为没赚到钱吗。。。直接退休就行了。
赵一鸣?
Anthropic ( Claude 开发团队)的核心技术与研究团队中,华人或华裔比例大约在 16.4% 至 20% 之间。
@YAFEIML ai ide 抛开模型不谈这对吗这
5 月 10 日
回复了 davidyin 创建的主题 Local LLM 想折腾一个 AI 主机,请行家出手
5 万以内无法替代 minimax deepseek-v4-flash 这种比较蠢的国产,20 万以内无法代替 glm 这种比较比较聪明的国产,无论花多少钱都无法达到 gpt5.5 和 opus4.7 这种顶尖的。
如果你的厌蠢症胜过受迫害妄想症,用订阅。
5 月 4 日
回复了 Livid 创建的主题 OpenAI 在手机上使用 Codex
试试这个 https://github.com/siteboon/claudecodeui ,1w star 了
emm...256g 显存是怎么组的
5 月 1 日
回复了 yandc 创建的主题 程序员 目前远程 vibe 的最佳姿势(支持 n 多 agent)
@yandc 感谢,希望手机 vibecoding 越来越舒服
4 月 30 日
回复了 yandc 创建的主题 程序员 目前远程 vibe 的最佳姿势(支持 n 多 agent)
另外 happy coder 的移动端 app 相对比较完善,可以参考下;在 claude code 运行时应该能直接输入并发送下一条指令,而不是等他执行完才能发送,具体你看下 happy coder
4 月 30 日
回复了 yandc 创建的主题 程序员 目前远程 vibe 的最佳姿势(支持 n 多 agent)
@yandc 我测试过了 e2ee 验证似乎无法满足暴露在公网的安全性要求 我给你 github 留的邮箱发了邮件 你看一下 [email protected] 。我不希望使用任何中转服务器(除非服务器也开源),所以希望能直接以公网端口形式安全地提供服务。
4 月 29 日
回复了 yandc 创建的主题 程序员 目前远程 vibe 的最佳姿势(支持 n 多 agent)
@yandc 我先试下,如果和 happy 一样用配对码也行。
1  2  3  4  5  6  7  8  9  10 ... 253  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3400 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 51ms · UTC 10:29 · PVG 18:29 · LAX 03:29 · JFK 06:29
♥ Do have faith in what you're doing.