jinsongzhaocn
V2EX  ›  Local LLM

本地大模型:统一内存(UMA)和显存+内存(分层卸载), 统一内存 UMA 才是普通用户的未来!

  •  
  •   jinsongzhaocn · 1 day ago · 1830 views

    UMA 统一内存,GPU 直接访问共享内存池,硬件层面消除显式拷贝,不用软件层手动搬数据。

    独立显卡 VRAM + 系统内存分层卸载,模型权重、KV Cache 按需在显存和内存之间动态搬运。未来只会留在发烧友、工作站、专业推理场景

    18 replies  •  2026-10-13 15:41:16 +08:00
    LittleYangYang
        1
    LittleYangYang  
       1 day ago   ❤️ 3
    内存带宽实在是太低了
    yh7gdiaYW
        2
    yh7gdiaYW  
       1 day ago
    移动端很快就会变成这样,M 系列现在就是,但 PC 端搞成这样的话 DIY 就死透了
    话又说回来,普通用户要本地大模型干啥?
    xtreme1
        3
    xtreme1  
       1 day ago   ❤️ 1
    UMA 是错的, 快慢层才是对的
    uni
        4
    uni  
       1 day ago
    等着吧,我们在搞近存计算,明年给你看看什么才叫真正的未来
    hahiru
        5
    hahiru  
       1 day ago
    @yh7gdiaYW 比如照片可以用本地视觉模型识别分类和向量化。上网的话隐私问题无法解决。
    AsukaShen
        6
    AsukaShen  
       1 day ago
    @uni 且听龙吟!
    yh7gdiaYW
        7
    yh7gdiaYW  
       1 day ago
    @hahiru 0.74B 的 EmbeddingGemma 2 已经终结了这个场景
    jacketma
        8
    jacketma  
       1 day ago
    上次看到一个视频分析,主要是考虑到散热和成本问题,CPU 日常消费者 ddr5/ddr6 多通道就足够了
    GPU 对内存的性能要求高很多,然后散热和成本全上来了,全都变成了 HBM 普通人买不起啦
    strobber16
        9
    strobber16  
       1 day ago via Android
    感觉不如微内核
    levn
        10
    levn  
       1 day ago
    Mac 如果能插 cuda 设备你不要吗?
    tcchen
        11
    tcchen  
    PRO
       1 day ago
    买了 ai max 395 128G ,坐等升值
    privater
        12
    privater  
       1 day ago
    用脑子想一下:

    飞机很快,但是人人都出勤靠飞机,可能不。

    你觉得 UMA 好,不过是 Apple 靠着手机养活的供应链和制造节点反哺自己的 PC 平台,又遇到了大模型硬控内存容量。金子一样贵的苹果内存比较涨价后的显卡,计算卡突然显示出来那么一丁点性价比。但是你不能用 M5 Ultra 这种 4 个芯粒的怪物去说 UMA 实现 1.2G 带宽容易,更传统的 GPU 才是并行内存控制器的高手。

    容量和速度,永远是天平的两端,你能做的只是端水,然后等时代的红利。

    端得好,人家称你架构是天才;端的不好的,卖厂卖专利,整个组端掉的 Optane 就是前车之鉴
    biedoule
        13
    biedoule  
       1 day ago
    @tcchen 多钱买的?
    sentinelK
        14
    sentinelK  
       1 day ago
    楼主这是怕手里的统一内存设备被 strata 冲烂,出来唱多吗 XDD
    ScforeverShawn
        15
    ScforeverShawn  
       1 day ago
    @privater 那作为个人来说,要不要储备一点算力和内存呢?
    6AbK2rj2vLBD
        16
    6AbK2rj2vLBD  
       1 day ago
    统一内存发展前途有限
    Sezxy
        17
    Sezxy  
       1 day ago
    集显能力弱的话,统一内存就是多余的
    noErr
        18
    noErr  
       1 day ago
    不是统一内存的问题,是内存带宽的问题。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3694 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 60ms · UTC 10:37 · PVG 18:37 · LAX 03:37 · JFK 06:37
    ♥ Do have faith in what you're doing.