Home Sign Up Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
reaCodes
V2EX  ›  程序员

装一台深度学习主机，双 3090 显卡，请问配置怎么选择？

  •   
  •   reaCodes ·
    zhatlas · Nov 4, 2020 · 16513 views
    This topic created in 2199 days ago, the information mentioned may be changed or developed.
    主要是主板怎么选择，还有选什么样的 CPU 能让这两张 3090 物尽其用，电源起码 1100W 吧
  • 深度学习
  • 物尽其用
  • CPU
  • 请问
    82 replies  •  2021-11-12 20:12:03 +08:00
    wmwmajie
    wmwmajie
    Nov 4, 2020
    1
    同问！！
    FantaMole
    FantaMole
    Nov 4, 2020
    2
    先等厂商把炸机问题解决了再决定电源选多少，选什么牌子吧
    saintube
    saintube
    Nov 4, 2020❤️1
    3
    3090 最近出现了几波爆炸事故，甚至涉及到海盗船 ax1600i 这种电源，建议观望
    mhycy
    mhycy
    Nov 4, 2020❤️1
    4
    3090 据说峰值达到了 900W，1100W 电源不太够
    dadachen1997
    dadachen1997
    Nov 4, 2020❤️1
    5
    楼主怎么选的呢？我们实验室要装一台 4 路 3090，愁大我了
    eInKLX6Kh6sS3wyc
    eInKLX6Kh6sS3wyc
    Nov 4, 2020
    6
    起码 1100W.
    个人推荐到 1300,主要是怕你买的卡放宽了功率墙，瞬时峰值功率 1100 顶不住，伤卡伤电源
    (350 - 500) * 2 + cpu （ 150 ） + 200 (外设等)
    lrh3321
    lrh3321
    Nov 4, 2020
    7
    据说有 1600W 的 EVGA 都被 3090 带走了。建议先观望
    eInKLX6Kh6sS3wyc
    eInKLX6Kh6sS3wyc
    Nov 4, 2020
    8
    保险期间，到 1600w，毕竟电源比显卡便宜多了。。
    2kCS5c0b0ITXE5k2
    2kCS5c0b0ITXE5k2
    Nov 4, 2020
    9
    如果能受得了 amd 就选 amd Threadripper PRO 3995WX;
    否则选 i9-10980XE
    eInKLX6Kh6sS3wyc
    eInKLX6Kh6sS3wyc
    Nov 4, 2020
    10
    保险起见到 1600w，毕竟电源比显卡便宜多了
    IsA26hN4DcQDS7Z9
    IsA26hN4DcQDS7Z9
    Nov 4, 2020
    11
    炸鸡好像振华电源多？

    不过先别买是真的

    主板 m12f，cpu10900k，电源海盗船 ax1600i
    2kCS5c0b0ITXE5k2
    2kCS5c0b0ITXE5k2
    Nov 4, 2020
    12
    其实有 2000w 电源的
    IsA26hN4DcQDS7Z9
    IsA26hN4DcQDS7Z9
    Nov 4, 2020
    13
    直接上 x299 吧（ doge
    IsA26hN4DcQDS7Z9
    IsA26hN4DcQDS7Z9
    Nov 4, 2020
    14
    @dadachen1997 你这个需求给你推荐个 tb 店：骋罡数码专营店
    deorth
    deorth
    Nov 4, 2020
    15
    单卡瞬时功耗 940W，BOOM
    reaCodes
    reaCodes
    OP
    Nov 4, 2020
    16
    @deorth 峰值有这么高吗，我查了一下，TDP 350，峰值到五六百都有可能，九百多这也太夸张了吧
    reaCodes
    reaCodes
    OP
    Nov 4, 2020
    17
    @deorth 还打算组 4 卡，这得跳闸不可
    reaCodes
    reaCodes
    OP
    Nov 4, 2020
    18
    @dadachen1997 分析了一下，4 卡行不通，选不到民用级别的主板和电源
    ungrown
    ungrown
    Nov 4, 2020
    20
    @mhycy #4 这搞个二次循环岂不是可以室内供暖了？
    maichael
    maichael
    Nov 4, 2020
    21
    双路 7F52 （#滑稽
    Umenezumi
    Umenezumi
    Nov 4, 2020
    22
    你在观望下，现在炸了很多，不清楚是 bios 调教问题还是电源缺陷
    eInKLX6Kh6sS3wyc
    eInKLX6Kh6sS3wyc
    Nov 4, 2020
    23
    @dadachen1997
    去看服务器机箱吧
    关键词：冗余电源
    eInKLX6Kh6sS3wyc
    eInKLX6Kh6sS3wyc
    Nov 4, 2020
    24
    @dadachen1997
    追风者 719 这个可以双电源
    dadachen1997
    dadachen1997
    Nov 4, 2020
    25
    @w99wjacky 目前打算上的服务器 cpu 和 ecc 内存，电源选了 2000W 的，但是感觉压不住，4 个 turbo 3090 真不知道怎么搞，服务器那种噪音挺大的吧，机架式的那种吗？
    eInKLX6Kh6sS3wyc
    eInKLX6Kh6sS3wyc
    Nov 4, 2020
    26
    @dadachen1997
    追风者 719
    dadachen1997
    dadachen1997
    Nov 4, 2020
    28
    @w99wjacky 我看看，多谢老哥
    Porphet
    Porphet
    Nov 4, 2020❤️1
    29
    一个星期之前刚用上：
    四路技嘉 3090 Turbo 24G
    192G 内存
    2000w 1+1 冗余电源
    2 路 CPU 就是
    Porphet
    Porphet
    Nov 4, 2020
    30
    一个星期之前刚用上：
    四路技嘉 3090 Turbo 24G
    192G 内存
    2000w 1+1 冗余电源
    2 路 CPU 就是普通的 E5

    超微的塔式，总价不到 10w

    ![image.png]( https://i.loli.net/2020/11/04/aHr2WfT8qcKZdkA.png)
    secsilm
    secsilm
    Nov 4, 2020
    31
    @Porphet 嚯，这是跑的啥模型？
    Porphet
    Porphet
    Nov 4, 2020
    32
    @secsilm 基于 BERT 的实验，很占显存
    Kupanda82
    Kupanda82
    Nov 4, 2020
    33
    电源上双电源吧，单 1100w 不够用。

    其实可以等等，3090 没那么强
    secsilm
    secsilm
    Nov 4, 2020
    34
    @Porphet 你这 bert 够大啊，我之前跑的分类仅仅用了一块 12 G 的卡，不过我用的 base 。
    pC0oc4EbCSsJUy4W
    pC0oc4EbCSsJUy4W
    Nov 4, 2020
    35
    振华 2000w
    pC0oc4EbCSsJUy4W
    pC0oc4EbCSsJUy4W
    Nov 4, 2020
    36
    振华（ SUPER FLOWER ） 额定 2000W LEADEX P 2000 电源 （ 80PLUS 白金认证 /全模组 /智能免识别插拔 /十年质保）
    ThatYear
    ThatYear
    Nov 4, 2020
    37
    过来学习，表示还没装过双显卡
    sl0000
    sl0000
    Nov 4, 2020
    38
    supermicro 工作站
    northisland
    northisland
    Nov 4, 2020
    39
    看起来是 350w，保险起见搞 1500w 不过分，双路电源也不过分。

    阔佬你打算搞箱式主机，还是刀片主机
    Porphet
    Porphet
    Nov 4, 2020
    40
    @secsilm 拿来做关系抽取的，要写论文的嘛，哈哈哈。就这样 batch_size 只能设 1，DDP 用起来四卡就占满了
    northisland
    northisland
    Nov 4, 2020
    41
    我只晓得，intel 家 cpu 貌似走到了瓶颈，明年的 cpu 还是 14nm 制程。。。

    选个农企 cpu 应该更强大。
    northisland
    northisland
    Nov 4, 2020
    42
    要是做图像，这显卡，一个 iter，不得吃进去 256 张图，这个 batchsize，至少 48 核 cpu 。
    wangzhangup
    wangzhangup
    Nov 4, 2020
    43
    @reaCodes 4 卡不太可行，3090 占 3 个宽度。工作站主板，2080ti 可以放 4 张，3090 只能插两张。
    reaCodes
    reaCodes
    OP
    Nov 4, 2020
    44
    @dadachen1997 加我微信我们交流一下，WX 15651212115
    jeeyong
    jeeyong
    Nov 4, 2020
    45
    @dadachen1997 你这个怕是要独立电源给显卡供电
    CallMeReznov
    CallMeReznov
    Nov 4, 2020
    46
    8 路 2080TI 在机房瑟瑟发抖
    nightwitch
    nightwitch
    Nov 4, 2020
    47
    这种一般找供应商，你在消费者市场是比较难找到合适的机箱和主板的。 可以咨询下 Dell，惠普，浪潮，联想之类的销售，他们塔式和刀片的方案都有。
    qiaobeier
    qiaobeier
    Nov 4, 2020
    48
    1300W 的主机。。。 开了这玩意不需要开暖气了吧。
    dadachen1997
    dadachen1997
    Nov 4, 2020
    49
    @wangzhangup #43 turbo 卡只占两个 slot
    zirconium
    zirconium
    Nov 4, 2020 via Android
    50
    @Porphet 老哥在哪里配的
    murmur
    murmur
    Nov 4, 2020
    51
    现在单一电源最猛的可以买到 1600w，供电不是问题，剩下看你的主板和 u 了，hedt 的板子应该都有 6 个 pci 插槽
    DesperadoJ
    DesperadoJ
    Nov 4, 2020
    52
    RTX3090 的峰值功耗可以上到 940W，建议用双电源
    Porphet
    Porphet
    Nov 4, 2020
    54
    @zirconium #50 在 jd 上找了一家超微的代理，让他给出了个配置单。然后找我们自己的供应商给买的设备加上安装和调试。
    配置单我还有，但是供应商说这个 cpu 和主板马上要停产了，再买就要买新的了，超微的塔式四路 GPU 服务器好像就那一款
    qoras
    qoras
    Nov 4, 2020
    55
    3090 背部显存温度非常高, 注意降温及小心烫伤
    xvb2421
    xvb2421
    Nov 4, 2020
    56
    amd 不香吗
    nmecury
    nmecury
    Nov 4, 2020
    57
    搞个超微准系统吧，别自己折腾了
    wangzhangup
    wangzhangup
    Nov 4, 2020
    58
    如何配置一台适用于深度学习的工作站？知乎的下面有讲的很清楚。
    w1573007
    w1573007
    Nov 4, 2020 via Android
    59
    兄弟，我和你研究的差不多，但多路显卡显存可以共享么，先谢大佬指路了。我没找到相关资料
    philobar
    philobar
    Nov 4, 2020
    60
    感觉需要折腾双电源
    zhady009
    zhady009
    Nov 4, 2020
    61
    现在不建议上 3090 各种 boom 的消息
    dlsflh
    dlsflh
    Nov 4, 2020 via Android
    62
    不可以外接电源单独给显卡供电吗？
    daliandefei
    daliandefei
    Nov 4, 2020
    63
    啊哈哈 来闲鱼搜一下我的顶配黑苹果 ，macpro 复刻机箱 小超到 1.22v 全核 4.7 mesh 33， 比 MACPRO 2019 顶配强一些~ 还有配套压缩机出 如果
    no1xsyzy
    no1xsyzy
    Nov 4, 2020
    64
    @dlsflh 可以是可以，大部分塔式机箱没有双电源的位置，要么直接测试平台裸跑，要么特殊机箱。
    SorryChen
    SorryChen
    Nov 5, 2020 via iPhone
    65
    @zzh1224 做很多深度学习用不了 amd，cuda 一统天下
    shiltian
    shiltian
    Nov 5, 2020
    66
    要选 PCI-E Lane 大于 32+4 的 CPU
    diggerdu
    diggerdu
    Nov 5, 2020 via iPhone
    67
    @w1573007 model parallel
    devlnt
    devlnt
    Nov 5, 2020
    68
    担心电源的话，可以考虑工作站这种的，一般有俩电源，可以挑俩 2000W 这种的
    mostkia
    mostkia
    Nov 5, 2020
    69
    老黄真就是造核弹的啊，带 9 的卡碰不得，想当年的 GTX690 也是个核弹[狗头]
    337136897
    337136897
    Nov 5, 2020❤️2
    70
    楼上的全是搞深度学习的科学家吗...
    MeteorCat
    MeteorCat
    Nov 5, 2020 via Android
    71
    单个 3090 的功耗 1100w 压不住，建议等等避免上烈士墙
    isler
    isler
    Nov 6, 2020
    72
    @Porphet 你们的具体配置是怎么样呢？用的塔式？
    Porphet
    Porphet
    Nov 6, 2020
    73
    @isler
    Supermicro SYS-7048GR-TR
    E5-2680V4 * 2
    三星 32G RECC 内存 * 6
    技嘉 RTX 3090 TURBO * 4
    硬盘机械加固态

    机箱和 CPU 应该是马上停产，供应商装好机器才跟我说，升级型号应该是 SYS-7049GP-TRT，CPU 也要换
    虽说是塔式，我们还买了导轨，放在那种恒温机房里
    Porphet
    Porphet
    Nov 6, 2020
    74
    @w1573007 #59
    关于显存共享我差不多搞明白了，只针对深度学习：
    1. 显存不可能在底层叠加，也就是说永远是四个单独的 24G 显存
    2. 我认为的显存叠加只是增加了 batch_size 的大小（已实现），或者可以把模型分半一块卡加载一部分模型。
    3. 第二条所述的功能都需要在代码层面实现，底层上是通过 PCIe 来传输梯度
    4. NvLink 的作用就是加速第三条中梯度传输的速度，避免数据通过 CPU 传输，以实现类似一整块 4*24G 显卡的效果

    这些是我踩坑之后的理解
    w1573007
    w1573007
    Nov 6, 2020 via Android
    75
    谢谢啦，太感谢了👍👍👍
    isler
    isler
    Nov 7, 2020
    76
    @Porphet
    果然技嘉 turbo 是唯一选择。。

    不过你们是不是被坑了啊。。。我的 SYS-7049GP-TRT+4*2080Ti 还是 18 年买的呢，都用了两年了。。。CPU 用的 6128
    isler
    isler
    Nov 7, 2020
    77
    @Porphet

    另外不知道你们用了几台，我感觉几台单独用，利用率不行，今年打算做集群，不过方案还没选好
    Porphet
    Porphet
    Nov 7, 2020
    78
    @isler
    反正不吃 CPU，坑就坑了，现在我自己用这一台，也没有多余的。
    集群我反正是在机房里看见了四台 DGX A100 外加单独的万兆路由，酸死我了
    fchypzero
    fchypzero
    Nov 7, 2020
    79
    @Porphet 有钱啊，DGX A100 一台大几十万
    isler
    isler
    Nov 8, 2020
    80
    @Porphet
    DGX A100 买不起，不过万兆网卡和交换机就好说了，Intel 的万兆寨卡也没几百，没有现成的万兆交换机，直接上全 sfp+的也不贵，接几个服务器买几个模块就是了
    chenjunqiang
    chenjunqiang
    Nov 6, 2021
    81
    @Porphet 你好，我准备上你这个方案，你这个是放在恒温机房托管的吗？还是放在公司的？我感觉这个玩意散热会不会有问题，不敢直接上
    Porphet
    Porphet
    Nov 12, 2021
    82
    @chenjunqiang 我们放在恒温机房，放在公司应该也可以。就是噪音大，显卡 io 板上装了两个暴力服务器风扇，直接往外抽风，反正不用插 hdmi 。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1981 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 106ms · UTC 15:28 · PVG 23:28 · LAX 07:28 · JFK 10:28
    ♥ Do have faith in what you're doing.