ZimaBlueee
V2EX  ›  Local LLM

A30 显卡-24G 显存,推荐部署什么大模型呢

  •  1
     
  •   ZimaBlueee · Mar 12, 2025 · 2435 views
    This topic created in 607 days ago, the information mentioned may be changed or developed.

    想部署一个不带推理的大模型,推理耗时太长了。

    现在部署的是智谱清言的 chatglm4-9b-chat ,请问有更合适的模型推荐嘛?

    符合下面条件:

    1. 国产
    2. 上下文 2k 的情况下,并发数能有 5
    3. 当然,越聪明越好

    求哥哥们推荐!!

    顺便求一个相对权威的大模型排行榜

    8 replies  •  2025-03-28 10:02:12 +08:00
    jackerbauer
    jackerbauer
    Mar 12, 2025
    1
    deepseek-r1 14B
    ZimaBlueee
    ZimaBlueee
    OP
    Mar 12, 2025
    2
    @jackerbauer 不需要推理哈,推理的时间太长了
    linauror
    linauror
    Mar 12, 2025
    3
    你的意思应该是不需要思考过程吧,大模型都是要推理的 O(∩_∩)O
    cat9life
    cat9life
    Mar 12, 2025
    5
    那必须是 QwQ-32B ,当红炸子鸡
    ZimaBlueee
    ZimaBlueee
    OP
    Mar 13, 2025
    6
    @linauror 这个名词我找 ai 问过,ai 说思考过程是拟人化的表达,表述成显示化推理会更准确。。我也分不清了 QAQ
    ijk0
    ijk0
    Mar 18, 2025 via iPhone
    7
    hefish
    hefish
    Mar 28, 2025
    8
    别指望聪明, 我感觉越聪明的模型,也越会胡说八道。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1365 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 17:05 · PVG 01:05 · LAX 09:05 · JFK 12:05
    ♥ Do have faith in what you're doing.