• 请不要在回答技术问题时复制粘贴 AI 生成的内容
yuhuan87692
V2EX  ›  程序员

公司准备搭建一个本地 deepseek,请问是租阿里云的服务器还是组个机器合适?

  •  
  •   yuhuan87692 · Mar 4, 2025 · 1114 views
    This topic created in 527 days ago, the information mentioned may be changed or developed.

    主要可能需要根据公司现有资料训练一下,然后让他生成文章,回答问题这些。 这些需求的话,32b 模型能满足吗?如果组个机器,双 2080ti 22g 版合适吗,还是需要更好点的配置?

    xjh1024
        1
    xjh1024  
       Mar 4, 2025
    macmini m4pro 大内存就够你这个需求了,自己在 已有设备上先试一下 ollama 看多少 b 能满足你的需求
    给个参考,m4 + 32g 跑 16b 速度 一个人用可以接受
    catamaran
        2
    catamaran  
       Mar 5, 2025
    阿里云的服务器可不便宜,如果确定要搭建可以考虑自己买台服务器托管到数据中心,特别是偏远地区的数据中心会比较便宜。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   4799 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 41ms · UTC 01:07 · PVG 09:07 · LAX 18:07 · JFK 21:07
    ♥ Do have faith in what you're doing.