DeepSeek-V4.1-Flash Lossless 单台 M5 Ultra 512G 上下文阶梯测试(512 到 1M)
2026-11-22 实测。表格格式照 r/LocalLLM 帖子里的 "1× Mac Studio (M5 Ultra, 512 GB)" ,在它 256K 的基础上补了 512K 和 1M 两行。
原始模型 DeepSeek-V4.1-Flash-1017-MLX-Serve-Lossless
1× Mac Studio (M5 Ultra, 512 GB)
上下文 提示 token 生成(tok/s) 生成范围(tok/s) prefill(tok/s) 首 token(秒) 512 512 71.7 68.2–75.8 1,388 0.37 1k 1,024 73.8 67.6–76.0 2,023 0.51 2k 2,048 68.7 67.8–73.0 2,735 0.75 4k 4,096 70.8 58.7–71.1 3,303 1.24 8k 8,192 69.8 68.9–80.2 3,831 2.14 16k 16,384 72.9 71.4–73.7 4,109 4.00 32k 32,768 69.8 69.1–77.4 4,208 7.80 64k 65,536 66.9 62.5–67.6 4,155 15.79 128k 131,072 65.6 56.6–74.6 3,926 33.42 256k 262,144 64.0 63.9–65.1 3,475 75.49 512k 524,288 64.2 56.7–71.6 2,755 190.44 1M 1,048,064 65.2 61.9–68.5 1,890 554.88
-
1M 行的提示是 1,048,576 − 512 = 1,048,064 token。模型窗口是 1,048,576,要给最多 512 个生成 token 留出位置。
-
生成、prefill、首 token 都取中位数。生成范围是各次 decode 速度的最低到最高。512K 和 1M 各跑 2 次,其余各 3 次。
-
prefill 速度来自服务端日志。首 token 时间在客户端测,从发出请求到收到第一个 token。
结论
-
decode 几乎不随上下文变慢。 从 512 到 1M,中位数都在 64–74 tok/s 之间,1M 是 65.2,和 256K 的 64.0 相当。
-
prefill 在 32K 最快(4,208 tok/s),之后逐步下降。 256K 为 3,475,512K 为 2,755,1M 为 1,890,只有峰值的 45%。
-
1M 冷启动的首 token 要 9.2 分钟(553.8 秒和 555.9 秒)。比《M5U 单机运行 DeepSeek-V4.1-Flash 最佳方案》里外推的 5.5–7.5 分钟更长。512K 是 3.2 分钟。
-
长上下文下内存很宽裕。 全程最高占用 327.8 GB,权重本身 309.4 GB。没有用到 swap。服务端日志记录的 1M 会话状态是 3,947 MB,512K 是 1,620 MB。
-
prefill 每次之间的差别很小。 512 和 1K 约 1.6%,其余都在 1% 以内(2K 到 1M)。生成速度每次差别较大,因为 DSpark 和 PLD 草拟的命中率取决于生成的内容。
和 Reddit 帖子对比(512 到 256K)
上下文 prefill:本机 / 帖子 差别 首 token:本机 / 帖子(秒) 生成:本机 / 帖子(tok/s) 512 1,388 / 1,545 -10.2% 0.37 / 0.33 71.7 / 86.3 1k 2,023 / 2,089 -3.2% 0.51 / 0.49 73.8 / 63.5 2k 2,735 / 2,580 +6.0% 0.75 / 0.79 68.7 / 54.1 4k 3,303 / 2,971 +11.2% 1.24 / 1.38 70.8 / 55.5 8k 3,831 / 3,210 +19.3% 2.14 / 2.55 69.8 / 89.0 16k 4,109 / 3,746 +9.7% 4.00 / 4.37 72.9 / 66.5 32k 4,208 / 3,956 +6.4% 7.80 / 8.28 69.8 / 58.6 64k 4,155 / 3,969 +4.7% 15.79 / 16.51 66.9 / 55.4 128k 3,926 / 3,727 +5.3% 33.42 / 35.17 65.6 / 61.7 256k 3,475 / 3,220 +7.9% 75.49 / 81.41 64.0 / 50.7
-
prefill: 2K 及以上快 5–19%。512 和 1K 慢 3–10%,这两档的首 token 只差 0.02–0.04 秒。帖子用的是 26.11.2,本机是 26.11.3。
-
生成速度: 不能直接对比。帖子没有给出提示内容,而 DSpark 和 PLD 的加速幅度取决于输出内容。帖子的数字在 50.7–89.0 之间来回跳,本机稳定在 64–74。
-
256K: 本机这轮是 3,475 tok/s。11-20 那次首轮 256K 是 2,996,当时推测是 Engram 冷读。这一轮的 256K 排在多次短测之后才跑,可能和那次的差别有关,没有验证。
测试环境
| 项目 | 设置 |
|---|---|
| 机器 | Mac Studio M5 Ultra 512 GB(Mac17,15),macOS 27.2.1 |
| 模型 | DeepSeek-V4.1-Flash-1017-MLX-Serve-Lossless,常驻 288.17 GB,上下文 1,048,576 |
| 引擎 | MLX-Serve.app 26.11.3(MLX 0.32.5),输出头稠密(日志显示 lm head dense, as shipped),没有设置 MLX_SERVE_DSV41_EXACT |
| 服务参数 | --dspark --pld --pld-draft-len 5 --mtp-max-depth 5 --no-w8a8 --timeout 1800 --prefix-cache-mem 40GB --prefix-cache-disk off,默认 --max-concurrent 1,kv_quant off,prefill_chunk 8192 |
| GPU 内存上限 | iogpu.wired_limit_mb=0,mlx-serve 设为 491,520 MB |
| 请求 | 一次一个,greedy(temperature 0),关思考,max_tokens 512;每次实际生成 248–512 个 token |
| 提示内容 | Zig 编译器源码(ziglang/zig 主干,按文件路径排序后拼接),末尾问 "In about 300 words, describe what the first file does and list three functions it defines." |
| 精确 token 数 | 用服务端 /tokenize 二分裁剪源码,让服务端报告的提示 token 数(含 4 个 chat 模板 token)正好等于目标值;36 次请求全部命中 |
| 冷启动 | 每个提示前加随机串;服务端日志核对过,36 次请求的缓存命中都是 0 |
| 顺序 | 先预热 1 次,然后从 512 到 1M 依次跑完,全程约 36 分钟(19:01–19:37) |