chunyucaitom
V2EX  ›  Local LLM

Inkling 2 Mini 说能在笔记本上跑,模型卡推荐 32GB

  •  
  •   chunyucaitom · 1 day ago · 1183 views

    刷到 Thinking Machines Lab 11 月 20 日发了开源权重模型 Inkling 2 Mini。

    官方发布

    官方博客写能在笔记本上跑,权重大约 20GB。他们演示是在飞行途中用离线的 MacBook Pro 跑的,那台是 48GB 内存。模型卡列的配置是 32GB 及以上内存的 Apple silicon,其它 GPU 推荐 32GB 及以上显存。

    2 replies  •  2026-11-23 00:07:46 +08:00
    lookenghua
    lookenghua
    1 day ago
    1
    没啥用的,离线场景这种模型功耗太大了,撑不了多久
    coefu
    coefu
    6h 50m ago
    2
    32G 少了,Q8 的情况下,context 远远搞不到 1M。我试了 Q3,128K context ,就到了 16G,而且我还是 768GB 的显卡带宽,prefill 都到不了 200tok/s,tg 只有 17 tok/s 。Mac 的带宽更低,只会更慢。

    loop 的设计,太消耗 mem 了。

    thinkingmachines/TML-d24-varloop-research, 这个值得关注,loop 的次数可变,所以消耗的资源不一样。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   958 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 22:57 · PVG 06:57 · LAX 14:57 · JFK 17:57
    ♥ Do have faith in what you're doing.