我看拼多多 64G 2T 的 macbookpro 14 寸 2 万能拿下，m1max 能跑大模型么，平常用有没有什么不兼容的问题啊，同配置的 m3 得 3 万了，想贪便宜了
This topic created in 861 days ago, the information mentioned may be changed or developed.
71 replies • 2024-08-31 16:00:00 +08:00
 |
nyfwan123Jun 26, 2024
1
对于日常开发工作 性能过剩
对于跑大模型 不够 不是说你 64G 约等于 英伟达的 64G 显存 Mac 的 GPU 跑大模型很伤 而且性能损耗也很大 如果常跑大模型 还是建议 x86_64 + N 卡（可以淘宝魔改） |
 |
NonClockworkChenJun 26, 2024
2
m1max 别买 14 寸，散热不行
|
 |
mbooynJun 26, 2024
3
买的二手，16 寸 m1max 64 加 1t ，1w3 拿下，够用了
|
 |
4
@NonClockworkChen 14 寸的风扇压不住么，不是说 M 系列风扇都不转的么
|
 |
puzzlepersonJun 26, 2024
7
@mbooyn 老哥有渠道吗，最近也想入手一个
|
|
NonClockworkChenJun 26, 2024
8
@RenoYoo 轻场景肯定压的住，但是那你不如买 m1 pro 。重场景肯定是 16 寸散热才行。
|
 |
rrubickJun 26, 2024
11
不建议，毕竟 3 年前的电子产品。
建议秋季新品发布后买 M2 及后代产品。 |
 |
xieren58Jun 26, 2024
12
摸鸡老板那便宜...
|
 |
15
千万别想着为跑大模型买 mac ，它只是能跑
|
1 |
09EdgqomQp5z019tJun 26, 2024 via Android
16
@magic3584
m2 纯挤牙膏，m3 就加了个光追依然挤牙膏，不懂硬件就不要给人建议 |
|
18
@NonClockworkChen #8 就是怕太沉了，不愿意用
|
|
23
散热到底是个什么水平，平常敲代码会发烫么，mac 对我来说就是剪视频、敲代码、跑模型
|
 |
laongerJun 26, 2024
25
跑大模型不如网上租服务器
|
 |
26
跑大模型推理吃的是内存带宽和核心数，连频率都不怎么吃，显卡降低 30%的功耗也就少个 10%左右的速度。Max 那个带宽才 400GB/s ，只有 Ultra 一半， [用来跑大模型就是个垃圾] 。
买 Mac 跑大模型，优势是比买超大显存（指的是单张 48G 和以上显存）的显卡方便。你这才 64G 的配置，无论是二手魔改 2080TI 22G X3 的价格，还是全新 7900XTX 24G x3 的价格，加上其它硬件的费用，除了电费和体积没优势，推理速度和扩展性都能把 Max 按在地上摩擦。 具体被摩擦到什么程度呢？ Ultra 推理速度是 Max 的 2 倍，而多张 2080TI 22G 的速度是 Ultra 的 2~3 倍，这个波动是随着模型占用越大优势越小，毕竟多卡之间走 pcie 通讯也是有点损耗的。 |
 |
Binary10Jun 27, 2024
28
不买，64G 跑大模型不太够，起码得 128G 才顺畅，而且 M1 的算力在现在也落后了。
|
 |
lrigiJun 27, 2024 via iPhone
30
@shuimugan 大兄弟你真的测了吗？ 2080 怎么可能比 m1max 快，你看看这个网址 https://github.com/liltom-eth/llama2-webui/blob/main/docs/performance.md ，同样是 llama2 7B 4bit 2080ti 就 18token/s ，跟 m1 pro 用 cpu 跑的速度差不多，即使是 m2 用 metal 也有 13 token ，这叫推理速度被按在地上？ 2080ti 连 m1 pro 的 cpu 都不如。就算是 3090 也比 m1 max 快不了多少吧
|
 |
A4l1CteRQHlG1Bs8Jun 27, 2024
31
屏幕和最新的 M3Pro 还是有点差别的. 不过性能确实还可以. 或者等个 M4 吧. 主频高很多呢
|
 |
OCD2057Jun 27, 2024
32
价格合适的可以啊...我现在都还在用着首发定的这配置
|
 |
1002xinJun 27, 2024
33
价格合适完全没问题，只为了跑大模型不建议
|
 |
legenumbreJun 27, 2024
34
2w 贵了，1.7w 最多了
|
 |
coolcoffeeJun 27, 2024
35
我手上的还是 M1 Max 。 表示那点算力被 N 卡吊打。之前测试 Stable Diffusion 同模型生图 15 ～ 20 秒，然后 RTX3080 只需要 2 秒，
专门的设备就做专门的事情吧。在 macOS 上想各种办法调教的再好也上不了生产环境，服务器上不还得用 N 卡。 |
|
36
@legenumbre 啥渠道这么便宜，是新的么
|
|
39
@xiebaiyuan 啊，不是一样的 miniled 么
|
|
legenumbreJun 27, 2024
40
@RenoYoo
翻新机啊，现在摩集上这个配置但是 1TB 存储 1.8w. 我是一年前买的 MacBook pro 16 寸 m1max （ 24gpu ） 64gb 内存 1TB 存储官翻退完税 1.6w 不到。当然我用了国外打折 gift card 。 |
|
41
@lrigi 我测过啊，我有 2 张 2080ti 22g ，1 张 7900xtx ，1 个 Mac Studio M2 ultra 76 核 192G 内存。
你发的那个已经是 10 个月前的数据了，也不知道怎么测的，最近编码能力很牛的 Codestral 22B 6bit 量化在 2080ti 22g 都能跑 22 token/s 。而且 10 个月前海外还买不到 22g 的魔改 2080ti |
|
A4l1CteRQHlG1Bs8Jun 27, 2024
42
@RenoYoo 看起来还是有点差别。 我自己是 m1max ，m3pro 感觉更加透亮一点。 不过 m3pro 这代记牙膏挤的不太够。 如果考虑新的可以等等 m4 系列的。 ipadpro 上来看 m4 版本续航大幅提升了
|
|
43
@lrigi 好久没跑 7B 这么小的模型了，刚刚又跑了一次来弄点数据，量化方式都是 GGUF ，推理后端都是 llama.cpp 。
Codeqwen-1_5-7b-chat 模型，q4_k_m 量化，单张 2080ti 22g 下推理速度是 70.54 token/s ，在 M2 Ultra 上速度是 75.34 token/s 。 Mistral-7B-Instruct-v0.1 模型，q8 量化，单张 2080ti 22g 下推理速度是 51.72 token/s ，在 M2 Ultra 上速度是 61.24 token/s 。 |
 |
LanayaaaJun 27, 2024
44
千万别。要么直接 m3max ,要么等等 3 个月后的 m4max
|
|
45
@PainAndLove 主要是很贵啊
|
|
46
@coolcoffee 懂了
|
 |
dilidilidJun 27, 2024
49
@magic3584 现在还没发正式版的 MacOS 15 都支持到 MBP 2018 了，M1 系列至少还有 3 年支持。而且 MacOS 14 和 15 都是支持到 MBP 2018 ，很大概率未来支持时间会被拉长，这几年的新系统砍支持机型主要还是逐渐过渡到 ARM 架构。
再说了，都问这个问题的人了肯定是预算敏感型用户，不知道为啥这么多人觉得四五年之后差一年的系统更新是个很大的缺点。 |
 |
mouzhiyangJun 27, 2024
50
在用 14 M1Max 64G 1TB ，日常开发过剩
|
|
51
@mouzhiyang 散热 OK 么
|
|
52
@legenumbre #40 官翻？
|
|
53
@xiebaiyuan #42 主要是我现在就要用，另外同配置 m4 得 3 万了吧
|
|
A4l1CteRQHlG1Bs8Jun 27, 2024 via iPhone
54
@RenoYoo 2t 估计不止了。硬盘挺贵的。 只能说 m1max 目前用起来性能是够的。llm 能推理训练还是不太行
|
|
mouzhiyangJun 27, 2024
55
@RenoYoo #51 CPU 常年 50 度，风扇基本没有转过，转的时候 2000+ 转速，也听不到声音
|
|
56
@mouzhiyang #55 明白，多谢分享
|
|
57
@xiebaiyuan #54 明白了，感谢分享
|
 |
jiuzhougegeJun 27, 2024
59
我打包 app 都 105 度
|
|
60
|
 |
PrilgrimLiJun 28, 2024
61
我觉得问题不大，我的 19 年 16 寸 intel 的 MBP 还能满足日常需求呢。不过最近动了要换的心思，不是因为不能忍受发热和风扇，而是 chatgpt 发布的 mac 版，现在登陆网页不是很稳定，隔一会儿就得刷新，只能是拿 iPad pro 来弄，然后粘贴回电脑。等年底的 m4 MBP ，暂时还能忍。
|
 |
tanrenyeJun 28, 2024
62
为了大模型买 mac 可能不是一个好选择
|
 |
wangkai123Jun 28, 2024
63
Mac 用来推理无敌了，m1 max 秒杀了 laptop 4060
|
 |
frankyuuJun 28, 2024 via Android
64
最后选了哪款？
|
 |
sunpmJun 28, 2024
65
不跑大模型，开发前端的话 m1max 还可以用 5 年吗
|
 |
beginorJun 29, 2024 via Android
66
苹果 M 芯片的优势是统一内存，可以将大量的内存做为显存来使用，所以就能够运行比较大的模型。
以 64G 的 M1 Max 为例，默认可以分配 48G 左右的内存做显存使用， 通过调整系统参数， 最大可以分配 56G 内存做显存， 可以运行 Q5 量化的 70b 参数的大模型。 但是 M1 Max 推理的速度并不快。 跑同样的 llama 3 8b 模型的话， 即使是 3060 显卡， 在装好 quda 驱动之后， 推理速度是 M1 Max 的 1.5~2 倍， 而且 M1 推理的精确度似乎也没有 cuda + N 卡高。 手上刚好有台 M1 Max 的 MBP ， 还有一台 3060 的台式机， 以上是亲身体验。 如果是日常开发，M1 Max 至少 3 年内斗士性能过剩的， 多数时间都是 E 核在跑，P 核最多跑 1~2 个， 还有 8 个 P 核随时待命。 |
 |
houhaibushihaiJun 30, 2024
67
跑大模型还是组装一台 N 卡台式机吧，mbp 怎么都不合适跑大模型
台式机+轻薄本的预算估计都超不过高配 mbp 价格 |
|
wangkai123Jul 2, 2024
68
@beginor 啊？我用 ollama 跑的 llama 3 8b ，为什么笔记本 4060 那么慢啊 只有 2-7 token /s 。M1 max 明显快非常多，但是没算 token/s
|
|
69
朋友们，最后买了 m1max 14 寸了，感觉 14 寸刚刚好，16 寸太大了，背着不方便，散热确实不如 m1 ，不过个人能接受
|
Select Language