tkwl
V2EX  ›  问与答

请问单卡或者双卡的 LLM 推理服务器用什么卡较好,预算 10w 左右的,是不是 H20 是比较合适的选择

  •  
  •   tkwl · 4 days ago · 846 views
    3 replies    2026-07-08 15:16:36 +08:00
    zsj1029
        1
    zsj1029  
       4 days ago
    h20 目前推理卡性价比最高的没错,vllm 部署,pcie 的就可以,多卡根据预算来
    tkwl
        2
    tkwl  
    OP
       4 days ago
    @zsj1029 谢谢,我看预算再往下就不如搞 5090 多卡了
    AIgogo
        3
    AIgogo  
       3 days ago
    工作站用 nvidia p6000 最强,要考虑功耗和散热,还有显存和 token 吞吐吧
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1029 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 19:05 · PVG 03:05 · LAX 12:05 · JFK 15:05
    ♥ Do have faith in what you're doing.