|
lookenghua1 day ago
1
没啥用的,离线场景这种模型功耗太大了,撑不了多久
|
|
coefu6h 50m ago
2
32G 少了,Q8 的情况下,context 远远搞不到 1M。我试了 Q3,128K context ,就到了 16G,而且我还是 768GB 的显卡带宽,prefill 都到不了 200tok/s,tg 只有 17 tok/s 。Mac 的带宽更低,只会更慢。
loop 的设计,太消耗 mem 了。 thinkingmachines/TML-d24-varloop-research, 这个值得关注,loop 的次数可变,所以消耗的资源不一样。 |