现在大语言模型挺火，我平时用的都是在线的 chatgpt 、deepseek 之类。
最近看到 AMD AIMAX 395 什么的，我在想是否自己组一个，本地搭建一个蒸馏模型。
但除了隐私数据安全相关问题，像我这样普通人，也想不出本地应用场景的优势。
This topic created in 312 days ago, the information mentioned may be changed or developed.
9 replies • 2025-12-30 12:49:14 +08:00
 |
1
本地跑小模型玩一玩，学习一下原理，真要在生产环境用肯定是组卡或者买 API 。
|
1 |
2
本地部署只玩到推理，但是 ai 含金量高的技术是预训练，所以本地部署使用场景有点鸡肋
|
 |
3
|
 |
4
^用正常模型来给一个程式化的判据, 而不是每次需要依赖不那么可靠的本地模型来预测
|
 |
5
我们这行有很多测试标准，所以准备给公司搭一个知识库用。但设备是专门的 4 卡 A100 ，还有一台 8 卡 4090 的准备放点别的小玩意。就算推理也是需要一点算力和显存才可用
|
 |
7
参数量为王，再怎么蒸馏，家用 pc 的那点性能能搭起来的 LLM 和闭源那些主流模型比差距太大了，不是一个世界的
|
 |
8
自己弄个 然后弄个 dify
|
 |
9
本地起码要 2*nvidia dgx spark 起步,或者一个 mac studio ultra m4 512G ，不然都是玩具。
|
Select Language