• 请不要在回答技术问题时复制粘贴 AI 生成的内容
winglight2016
V2EX  ›  程序员

8 核 CPU 终于达到了 80%以上的占用率~~~

  •  
  •   winglight2016 · Dec 23, 2017 · 17120 views
    This topic created in 3242 days ago, the information mentioned may be changed or developed.

    自从配好了这台 pc 一直觉得配置太高浪费了,CPU/内存长期都在 10%以内。晚上在本地 build tensorflow CPU 一下子占了 80%多,感觉终于派上用场了,只是很遗憾,内存还是不到 20%

    下面是 mac 上安装 keras-tensorflow-gpu 的吐槽: 1.tf 编译的坑多,多到有 N 篇文章专门论述,各个版本( python、cuda、cudnn、tf )都有,太混乱了,不知道信哪一个好 2.conda+tf 的坑,其中 protobuf 就是坑中之坑,坑王之王

    这两个问题我分别花了两个晚上才搞定,现在可以在 jupyter notebook 上直接跑 keras-tf-gpu,速度快得飞起,同样程序相比 K80 还要快 5 倍( k80 上是 keras+theano ),所以结论是折腾是值得的!

    Supplement 1  ·  Dec 24, 2017
    忽然发现我没有说明环境,导致大家有疑问:
    1.硬件:i7-8700k,16g,1080ti
    2.OS:macOS
    3.tensorflow:1.5
    4.keras:2.0
    5.python:3.6
    Supplement 2  ·  Dec 25, 2017
    真是个悲伤的结局:16g 内存远远不够用啊,读取了 20000 多张图就爆了~~~
    63 replies  •  2017-12-27 00:36:31 +08:00
    cybermay
    cybermay
    Dec 23, 2017
    1
    也没说是什么配置啊
    winglight2016
    winglight2016
    OP
    Dec 23, 2017
    2
    @cybermay 常见配置:i7 8700k+1080ti
    ZRS
    ZRS
    Dec 23, 2017 via iPhone
    3
    总感觉 windows 下配环境是很蛋疼的事
    greyterry
    greyterry
    Dec 23, 2017 via iPhone
    4
    我配了 64G 的内存才发现日常使用率 5%……
    JJaicmkmy
    JJaicmkmy
    Dec 23, 2017
    5
    8700K 不是六核吗?
    cnta
    cnta
    Dec 23, 2017
    6
    8 核 16 线程 自己主要是平时开虚拟机开得多吧 ,多核还是很有必要的。
    winglight2016
    winglight2016
    OP
    Dec 23, 2017
    7
    @JJaicmkmy 哦呵呵,搞错了,是六核的
    @ZRS 习惯就好
    @greyterry 利用率低了感觉太浪费了
    @cnta 我现在已经完全不用虚拟机了,感觉各种不方便太多了
    Rorysky
    Rorysky
    Dec 23, 2017
    8
    8400+1070ti 瑟瑟发抖
    ioriwong
    ioriwong
    Dec 23, 2017
    9
    我 28 核 56 线程,从未满载过,很难超 50%,哈哈
    greenskinmonster
    greenskinmonster
    Dec 23, 2017
    10
    装 gentoo 啊,前几天刚好重新编译了整个系统,4 核 8 线程 [email protected] 满载了大半天
    lycc
    lycc
    Dec 23, 2017 via Android
    11
    Adobe 全家桶可以把你的内存吃干净 233333
    somebody
    somebody
    Dec 23, 2017
    12
    编译 Java, C/C++ 的时候可以多线程,make -j8。编译 Android ROM 的时候 make -j8,8 核 满负荷运行了 1 小时
    hadoop
    hadoop
    Dec 23, 2017
    13
    @ioriwong 啥 u ?
    snnn
    snnn
    Dec 23, 2017 via Android
    14
    你内存得多大啊?编译 tf 需要 16G 内存才能 4 核全开不 oom。8 核得 32G 才对
    Tardis0127
    Tardis0127
    Dec 24, 2017 via iPhone
    15
    yes > /dev/null &
    试试这个
    mattx
    mattx
    Dec 24, 2017
    16
    挖 门罗吧.一年可以挖半个
    WildCat
    WildCat
    Dec 24, 2017❤️1
    17
    1. 几张 1080Ti ?感觉你的 U 好亏,4 路的话 6850K 就足够了吧
    2. 没必要自己编译吧,pip install tensorflow-gpu 就好了。
    3. 即使官方版本不好,github 上边有别人发布的不少编译好的版本
    4. 第一次安装比较痛苦,之后就轻车熟路了,推荐 52nlp 的教程(感觉很好):《从零开始搭建深度学习服务器: 基础环境配置( Ubuntu + GTX 1080 TI + CUDA + cuDNN )》 http://www.52nlp.cn/%E4%BB%8E%E9%9B%B6%E5%BC%80%E5%A7%8B%E6%90%AD%E5%BB%BA%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E6%9C%8D%E5%8A%A1%E5%99%A8%E7%8E%AF%E5%A2%83%E9%85%8D%E7%BD%AEubuntu-1080ti-cuda-cudnn
    congeec
    congeec
    Dec 24, 2017
    18
    @ioriwong make -j 呢?
    jhdxr
    jhdxr
    Dec 24, 2017
    19
    sklearn 路过,72 核 144 线程( E7-8890 )很容易满 100%,但是内存( 1.2PB )的确用不完。
    wwqgtxx
    wwqgtxx
    Dec 24, 2017 via iPhone
    20
    试试用 x265 压视频,分分钟 cpu 用满
    guochengjie
    guochengjie
    Dec 24, 2017 via Android
    21
    Dual E5-2670 V1C2 洋垃圾配上 32G Samsung DDR3 ECC 洋垃圾
    日常使用根本超不过 20%
    fzinfz
    fzinfz
    Dec 24, 2017
    22
    挖矿吧,分分钟告诉你电脑有多渣。
    要保险的话,找个容易提现的币挖;要投资的话,选 1~N 个山寨币挖。
    azh7138m
    azh7138m
    Dec 24, 2017 via Android❤️1
    23
    压片啊,你立马就知道自己配置不够用了😀
    xPKK1qofAr6RR09O
    xPKK1qofAr6RR09O
    Dec 24, 2017
    24
    用 pr ae 剪个 4k,cpu 内存都得爆
    realpg
    realpg
    Dec 24, 2017
    25
    @winglight2016 #7
    cpu 利用率低有妙招
    开个进程挖 XMR 线程数设置 1.3~1.5 倍物理核心数即可
    aminic
    aminic
    Dec 24, 2017 via Android❤️1
    26
    都是码界大壕啊,那个 e7 的哥哥,还需要男秘嘛
    20015jjw
    20015jjw
    Dec 24, 2017 via Android
    27
    dev server 200 多核心不说话
    amai
    amai
    Dec 24, 2017
    28
    @jhdxr 1.2PB 内存??是不是写错了 1.2TB 吧

    根据你所表述的我猜测应该是四路 v3,这个平台也不支持 1.2PB 这么大的内存
    shenyu1996
    shenyu1996
    Dec 24, 2017 via Android
    29
    黑五买了战地 1 发现这游戏疯狂吃 u,不锁 fps,我的 e3 分分钟满载
    togodo
    togodo
    Dec 24, 2017
    30
    开虚拟机
    i730
    i730
    Dec 24, 2017 via Android
    31
    2 核 cpu 2.8GHz intel 的我瑟瑟发抖,显卡 N 820M
    vicence
    vicence
    Dec 24, 2017
    32
    @winglight2016 单条内存多大,多少钱哪家买的,我在京东买金士顿(Kingston)骇客神条 Fury 系列 DDR4 2400 8G 台式机内存 749 入的。
    likuku
    likuku
    Dec 24, 2017
    33
    @wwqgtxx 有这么强的 N 卡,干嘛不直接用 hevc_nvenc 压?速度快的飞起。
    silencefent
    silencefent
    Dec 24, 2017
    34
    1.2PB,就算天顶星科技 512G 内存也要插 2048 条槽子
    ioriwong
    ioriwong
    Dec 24, 2017 via iPhone
    35
    @hadoop 双 E5
    zetary
    zetary
    Dec 24, 2017
    36
    7700k + 1070 瑟瑟发抖, 用的 manjaro, yaourt 装环境一个小时不到全都装好
    deepkolos
    deepkolos
    Dec 24, 2017
    37
    运行跑分软件的时候~
    wwqgtxx
    wwqgtxx
    Dec 24, 2017 via iPhone
    38
    @likuku 大部分压制组还是倾向于 cpu 压,因为无论是最后的成像质量,文件体积和参数可调性都比 gpu 的好的多
    aheadlead
    aheadlead
    Dec 24, 2017
    39
    @amai 他那个可能是超算 和我们普通的 PC 不一样的
    PB 的内存也不难做 太湖之光就有 1.3PB 的内存
    winglight2016
    winglight2016
    OP
    Dec 24, 2017
    40
    @snnn 有这种限制?我编译完成也才 12 分钟,没感觉 cpu、内存压力很大,而且编译时的内存也才占用 15%左右
    @WildCat 一个 1080ti,tf 在 Mac 上并没有官方支持,你那个链接上 ubuntu 的,区别还是很大的
    @jhdxr 内存 1.2pb ?单主板能放多少条内存啊?
    @realpg 挖矿最大的成本上电力,显卡太差得不偿失啊
    @vicence 2*8g,价钱并不了解,因为我是一起买的主机
    @wwqgtxx 压制质量大约只和算法和片源有关系吧,真的和 cpu、gpu 有关系?
    hadoop
    hadoop
    Dec 24, 2017 via Android
    41
    @ioriwong 扫雷数框框?
    Nitromethane
    Nitromethane
    Dec 24, 2017
    42
    可以跑 BOINC 啊~哈哈哈,框框永远不够用~
    afpro
    afpro
    Dec 24, 2017
    43
    tensorflow 的编译并没有坑啊 bazel 很好用
    amai
    amai
    Dec 24, 2017
    44
    @aheadlead 超算 72 核?
    winglight2016
    winglight2016
    OP
    Dec 24, 2017
    45
    @afpro 你在 mac 下跑一遍就明白了
    ryd994
    ryd994
    Dec 24, 2017 via Android
    46
    @aheadlead 超算根本不能直接跑 sklearn,也不能直接看 CPU 利用率。分给你一个节点就是全归你用。
    UnknownR
    UnknownR
    Dec 24, 2017
    47
    ae 导出个视频,6700k 直接满载,还是我自己用手机拍的,不是摄像机。内存的话压缩文件,用大字典,16G 内存基本占满,不过平时用 cpu 不超过 5%,不开 chrome 内存不超过 10%,开了不超过 30%
    wekw
    wekw
    Dec 24, 2017
    48
    @greenskinmonster 2600K 果然还能再战三年。。。。说真的换去年的 7700K 目测也有至少 100% 的性能提升,不能只看核心数量、频率、缓存,制程结构内存带宽都有大幅增长的。
    riggzh
    riggzh
    Dec 24, 2017
    49
    @wekw 最大的提升是 AVX,这也是笔记本 CPU4 代以后被称为火炉的原因,7 代台式 i9 AVX 又升级了,火炉²
    riggzh
    riggzh
    Dec 24, 2017
    50
    @wekw 2 代 SNB AVX1 4 代 Haswell AVX2 然后现在 7 代 i9 上的是 AVX512 ( 3 )
    riggzh
    riggzh
    Dec 24, 2017
    51
    @wekw 带 AVX2 的 4 代和只有 AVX1 的 3 代同频浮点运算能力提升 40%以上
    laoyuan
    laoyuan
    Dec 25, 2017
    52
    昨天刚狠心 50 块钱包邮买了两条 DDR2 800 内存,终于把 P35 主板内存槽插满了。。
    toono
    toono
    Dec 25, 2017
    53
    @laoyuan 实话说体验怎样?最近内存太贵了,看看能不能 ddr4 配合 ddr3/2
    HangoX
    HangoX
    Dec 25, 2017 via Android
    54
    只能说楼主不是写安卓的。。编译的时候基本能给你跑满
    winglight2016
    winglight2016
    OP
    Dec 25, 2017
    55
    @HangoX android 我也做啊,只是比其他应用略慢,开发上 sbt 编译速度才上最感人的
    6rzgeek
    6rzgeek
    Dec 25, 2017
    56
    什么主板?装 macos 有没有什么问题
    firebroo
    firebroo
    Dec 25, 2017
    57
    吃鸡游戏可以把我的 i76700+32G+1050TI 整死机。
    zyp0921
    zyp0921
    Dec 25, 2017
    58
    拿来吃鸡啊 不吃鸡浪费了
    winglight2016
    winglight2016
    OP
    Dec 25, 2017
    59
    @6rzgeek z370,没有问题啊,都是主流配置
    @firebroo
    @zyp0921
    我都想试一下,不过 steam 上还要购买才能玩,我觉得可能会白花钱又不玩~~~
    daiqiangbudainiu
    daiqiangbudainiu
    Dec 25, 2017
    61
    你这是黑苹果吧?
    winglight2016
    winglight2016
    OP
    Dec 25, 2017
    62
    @warcraft1236 是的
    wwqgtxx
    wwqgtxx
    Dec 27, 2017 via iPhone
    63
    @winglight2016 因为有些算法并没有在 gpu 上实现,还有些 gpu 硬件加速是用专用电路完成的,所以无法选择算法
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   512 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 132ms · UTC 21:29 · PVG 05:29 · LAX 13:29 · JFK 16:29
    ♥ Do have faith in what you're doing.