Sonwi
V2EX  ›  问与答

在一个 gpu 中同时训练 50 个卷积神经网络求助

  •  
  •   Sonwi · Dec 28, 2021 · 2085 views
  •   You need to sign in to view this topic
    This topic created in 1788 days ago, the information mentioned may be changed or developed.

    计算资源只有一个 12g 显存的 2080ti ,需要同时训练 50 个卷积神经网络( 50 个进程),网络结构很简单,两个卷积池化层加两个全连接层,数据集是 cifar10 ,怎样才能充分利用这个 gpu 又不超显存呢

    2 replies  •  2021-12-28 22:47:39 +08:00
    ruxuan1306
    ruxuan1306
    Dec 28, 2021
    1
    少进程大批次,多进程小批次,反正积是常量显存大小。

    但多进程可能切换代价高,大批次可能随机下降慢。
    ipwx
    ipwx
    Dec 28, 2021
    2
    这里建议你多买几张卡
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2089 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 14:17 · PVG 22:17 · LAX 06:17 · JFK 09:17
    ♥ Do have faith in what you're doing.