做萌翻翻译的时候，想用来本地部署做语言检测，AI 翻译和 AI 词典都可能用到，传统的库都不够准确，如果是多语言的话。
This topic created in 434 days ago, the information mentioned may be changed or developed.
30 replies • 2025-09-02 21:45:26 +08:00
 |
usVexMownCzarSep 1, 2025 via iPhone
1
官方说 16G 的 Mac 就能跑。我自己的 64G 跑起来 毫无压力。
做个参考 |
|
usVexMownCzarSep 1, 2025 via iPhone
3
@totty 我的配置还是非常流畅。不过没咋测试，20b 还是小
|
 |
YsHaNgSep 1, 2025 via iPhone
4
不如 qwen3 30b
|
|
usVexMownCzarSep 1, 2025 via iPhone
8
|
 |
bearqqSep 1, 2025
9
24g 内存 8845HS 集显跑 14.17 token/s 。
我还是更喜欢用 qwen3-32b ，显卡跑。 |
 |
katsusanSep 1, 2025
10
16G 能跑的前提是需要英伟达 50 系 blackwell 的 FP4 ，其它平台应该要更多
|
 |
PteromyiniSep 1, 2025
15
翻译最好还是用字节专门的 seed 或者用翻译数据集微调一个小规模的模型。小规模的通用模型包括 gpt-oss 实在不太行，激活参数本身也太小了，幻觉难免。
|
 |
tomclancySep 1, 2025
16
我是 9900x 3090 ，思考的时候 GPU 直接满负荷狂转，思考完直接安静了
|
 |
17
@Pteromyini OKK
|
 |
kennylam777Sep 1, 2025
19
@katsusan 不用, 我試過用 3090 + Llama.cpp 能直接跑 FP4 的 GGUF, 速度也不錯, 100tps
而 5090 可以滿血跑 context 128k, 160tps 以上 |
 |
bminSep 2, 2025
20
笔记本电脑 5070ti （ 12G ），完全加载进 GPU 跑，上下文 8192 ，可以跑 35-40 token/s
|
 |
BlueSkyXNSep 2, 2025
21
Macbook Air M4 24G 推理速度
Qwen3-4b:16tps Deepseek-r1-8b: 15tps GPT-oss-20b:19tps RTX4080 没测 |
 |
ByteCatSep 2, 2025
22
要求很低，我用 RTX A4000 跑，只吃 12G 显存，速度还行，50tokens/s
|
 |
zhengfan2016Sep 2, 2025
23
我用 ollama 4060ti 16G 能跑啊
|
|
24
@zhengfan2016 我也想用这个配置，速度如何？
|
 |
mengdodoSep 2, 2025
25
用一台独立服务器跑过，64G 内存 Intel(R) Xeon(R) CPU E5-2680 v4 @ 2.40GHz * 2 的，结果慢的一匹，你可以自己试试
|
 |
yjhatfdu2Sep 2, 2025
26
M3 ultra 跑 gpt-oss-120B 可以跑到 75t/s 左右，跑 gpt-oss-20b 能跑 120t/s 左右
|
|
zhengfan2016Sep 2, 2025
27
@totty #24
 |
|
28
@zhengfan2016 收到
|
Select Language