推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
AnyISalIn
V2EX  ›  Python

用 Python 3 写了个基于 selenium 的知乎关键词爬虫,可以爬钓鱼贴图片(各种爆照! 你懂得。。。)

  •  4
     
  •   AnyISalIn ·
    anyisalin · Apr 2, 2017 · 8568 views
    This topic created in 3503 days ago, the information mentioned may be changed or developed.

    demo

    地址在这里 zhihu_fun Github,求 star !!!!

    。。。嗯,其实也可以爬其他方面的东西,但是目前只支持抓图片,其实这不是我的本意,我是想抓技术方面的东西的,但是我同事想要看这个,所以我就先抓这些图片了。。。Python 菜鸟一枚,代码写的很烂,还望各位大神多多指教

    为什么要用 Selenium ?

    新版知乎部分页面用 React 重写了,必须得加载 JS ,很多加载啥的都需要点击,所以我就用到了 Selenium

    为什么不用知乎 API ?

    单纯的想写一个爬虫而已

    Supplement 1  ·  Apr 4, 2017
    还差一个就 100 star 了。。
    33 replies  •  2017-04-15 22:35:23 +08:00
    ProjectSky
    ProjectSky
    Apr 2, 2017
    1
    一百次点击,无人回复,干的漂亮。
    jimmy66
    jimmy66
    Apr 2, 2017 via iPhone
    2
    厉害了
    AltairT
    AltairT
    Apr 2, 2017
    3
    营养跟不上啊...农村人还是在 B 乎上 Block 这些话题吧
    Hello1995
    Hello1995
    Apr 2, 2017 via Android
    4
    提醒:_b 去掉试试😏
    AnyISalIn
    AnyISalIn
    OP
    Apr 2, 2017
    5
    @Hello1995 哇,去掉了,发现更大的世界
    fy
    fy
    Apr 2, 2017
    6
    楼主 66666
    Aspx
    Aspx
    Apr 2, 2017
    7
    star 已送
    phithon
    phithon
    Apr 2, 2017
    8
    这必须赞一波
    guyskk
    guyskk
    Apr 2, 2017
    9
    已 star ,过了不到一个小时开始非常慢了,难道是把知乎扒光了?
    akira
    akira
    Apr 2, 2017
    10
    按照关键字搜帖子的时候,发现很多帖子里面的图片都是无关的。 好奇怎么过滤的
    zhihaofans
    zhihaofans
    Apr 2, 2017❤️1
    11
    让我想起了知乎上这个收藏 https://www.zhihu.com/collection/60771406 (大胸妹子 - 收藏夹 - 知乎)
    AnyISalIn
    AnyISalIn
    OP
    Apr 2, 2017
    12
    @guyskk 你配置文件中的 url_generate_time 设置为多少,默认为 30s ,意味着爬问题只爬 30s, 剩下的就是怕回答中的图片,我爬了 20 多 g 了,设置为 None 就可以一直爬下去。。
    AnyISalIn
    AnyISalIn
    OP
    Apr 2, 2017
    13
    @akira 这个的话,我并没有做,但是可以经爬下来之后做图像识别啥的,嗯,比较高端
    GG668v26Fd55CP5W
    GG668v26Fd55CP5W
    Apr 2, 2017 via iPhone
    14
    很好,收藏了
    guyskk
    guyskk
    Apr 2, 2017
    15
    @AnyISalIn #12 设置都是默认值
    AnyISalIn
    AnyISalIn
    OP
    Apr 2, 2017❤️1
    16
    @guyskk 嗯,你设置 url_generate_time 为 None 就能一直爬了,我已经爬了 22G 了。。。
    Kalv8n
    Kalv8n
    Apr 3, 2017 via Android
    17
    估计能扒到 nfsw 这类管理员来不及删的东西
    bsidb
    bsidb
    Apr 3, 2017
    18
    @AnyISalIn 可以搞个深度 CNN 分类器啦(雾)
    AnyISalIn
    AnyISalIn
    OP
    Apr 3, 2017
    19
    @bsidb 感觉太高端了。。。
    jyf
    jyf
    Apr 3, 2017
    20
    知乎不做 ip 限次?
    AnyISalIn
    AnyISalIn
    OP
    Apr 3, 2017
    21
    @jyf 好像没有。。。
    lonelygo
    lonelygo
    Apr 3, 2017
    22
    已 S&F
    Vinceeeent
    Vinceeeent
    Apr 3, 2017 via Android
    23
    先 mark ,回去 star
    coltguo
    coltguo
    Apr 3, 2017
    24
    哎家里穷,不要发这样的照片
    huage
    huage
    Apr 3, 2017
    25
    实践出真知!
    snoopygao
    snoopygao
    Apr 3, 2017
    26
    专门抓大腿的
    AnyISalIn
    AnyISalIn
    OP
    Apr 3, 2017
    27
    @snoopygao 也可以抓其他东西啊,嘿嘿
    jccg90
    jccg90
    Apr 4, 2017
    28
    @akira 再配合某云服务的图片鉴黄 api ,就完美了。。。
    c4fun
    c4fun
    Apr 4, 2017
    29
    很好,已经 star
    airbasic
    airbasic
    Apr 4, 2017
    30
    道友想法很不错啊 我也在微博爬呢-。-
    https://github.com/airbasic/weibo_album_spider
    cpygui
    cpygui
    Apr 4, 2017
    31
    改改我去爬 tumblr :)
    wellhome
    wellhome
    Apr 6, 2017 via iPhone
    32
    支持楼主
    mingyun
    mingyun
    Apr 15, 2017
    33
    感谢楼主,妹子到手了
    @zhihaofans 感谢,哈哈
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4467 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 140ms · UTC 01:10 · PVG 09:10 · LAX 17:10 · JFK 20:10
    ♥ Do have faith in what you're doing.