• 请不要在回答技术问题时复制粘贴 AI 生成的内容
sewyu
V2EX  ›  程序员

有什么开源爬虫,请推荐

  •  
  •   sewyu · Sep 28, 2015 · 7935 views
    This topic created in 4056 days ago, the information mentioned may be changed or developed.

    是这样,我打算撸个小破网站,专门发布那些类似 “新用户注册,享受 xx 优惠”的新闻。 全靠手动不行啊,所以想找个合适的爬虫。大家推荐下呗。
    谢谢

    42 replies  •  2015-09-30 09:36:04 +08:00
    soratadori
    soratadori
    Sep 28, 2015
    1
    自己写啊,又不难
    wangd
    wangd
    Sep 29, 2015 via iPhone
    2
    scrapy
    pupboss
    pupboss
    Sep 29, 2015
    3
    一流社区靠信仰,二流社区靠主题,三流社区靠福利
    heian0224
    heian0224
    Sep 29, 2015 via Android❤️1
    4
    @pupboss
    所以 v2 是几流社区呢
    pupboss
    pupboss
    Sep 29, 2015
    5
    @heian0224 我加入时间很短,没资格评论...
    imlonghao
    imlonghao
    Sep 29, 2015
    6
    pyspider
    msg7086
    msg7086
    Sep 29, 2015
    7
    @heian0224 1+2+3 = ?
    zts1993
    zts1993
    Sep 29, 2015 via Android
    8
    scrapy 啊
    gzlock
    gzlock
    Sep 29, 2015 via Android
    9
    nodejs 也挺容易啊,昨晚写了个队列任务+多线程采集,开了 50 个线程做测试, console 刷的飞快, 2333
    tobyxdd
    tobyxdd
    Sep 29, 2015 via Android
    10
    v2ex 六流社区😂😂
    gzlock
    gzlock
    Sep 29, 2015 via Android
    11
    @tobyxdd 吃枣药丸系列?
    mariadb
    mariadb
    Sep 29, 2015
    12
    @gzlock node.js 还有多线程???
    jedyu
    jedyu
    Sep 29, 2015
    13
    @msg7086 1+2+3 =t66y
    jimmyzhang33
    jimmyzhang33
    Sep 29, 2015
    14
    scrapy 吧,看一下教程,基本功能就可以实现了。
    des
    des
    Sep 29, 2015 via Android
    15
    @gzlock nodejs 多线程支持好像不好?
    ssltest
    ssltest
    Sep 29, 2015
    16
    你这个问题问的好符合我的心意啊,以下内容希望你会喜欢。
    http://project.codefrom.com/?w=%E7%88%AC%E8%99%AB
    http://project.codefrom.com/?w=spider
    sewyu
    sewyu
    OP
    Sep 29, 2015
    17
    @ssltest 对,你这个网站 我也是昨天才发现的。非常好 谢谢
    @jimmyzhang33 真没接触过,我这几天看一下材料,谢谢
    XianZaiZhuCe
    XianZaiZhuCe
    Sep 29, 2015 via Android
    18
    @pupboss 我觉得福利第一位。
    plqws
    plqws
    Sep 29, 2015
    19
    同样推荐 pySpider
    kepenj
    kepenj
    Sep 29, 2015
    20
    改主题吧~ 专抓 1024 最新福利~ 保准大神 分分钟出现解决各种疑难杂症~
    Daddy
    Daddy
    Sep 29, 2015
    21
    @pupboss 一流手机靠信仰,二流手机靠主题,三流手机靠福利 ?
    alexinit
    alexinit
    Sep 29, 2015
    23
    绝对是 scrapy
    sewyu
    sewyu
    OP
    Sep 29, 2015
    24
    @kepenj 哈哈,我其实就想抓来自己用,不是经常有一些网站有这种活动么,比如新注册的用户可以 1 元买水果什么的。如果能抓到这些信息 分享出来就完美了。
    @vitovan 谢谢,学习一下
    north521
    north521
    Sep 29, 2015
    25
    webmagic
    assassinpig
    assassinpig
    Sep 29, 2015
    26
    小的自己写了就是 日后经常用个框架
    gzlock
    gzlock
    Sep 29, 2015 via Android
    27
    @mariadb 有,搜 child_process 可以查到用法,我直接用 fork 方法建立线程,很方便

    @des nodejs 里一样是子线程,跟其它语言一样,都是可以控制整个子线程的生命周期和线程间通信,怎么去区分好不好呢?
    mariadb
    mariadb
    Sep 29, 2015
    28
    @gzlock child_process 是创建多个进程,不是多个线程
    PandaSaury
    PandaSaury
    Sep 29, 2015
    29
    自己造轮子吧
    PandaSaury
    PandaSaury
    Sep 29, 2015
    30
    php + swoole
    gzlock
    gzlock
    Sep 29, 2015
    31
    @mariadb 没法使用主进程的变量而已
    Chrics
    Chrics
    Sep 29, 2015
    32
    scrapy
    yytsjq
    yytsjq
    Sep 29, 2015
    33
    PHP Simple HTML DOM Parser
    Tink
    Tink
    Sep 29, 2015
    34
    自己提取
    MicroPan
    MicroPan
    Sep 29, 2015
    35
    java 的话 推荐 webmagic
    des
    des
    Sep 29, 2015 via Android
    36
    @gzlock 应该是子进程,有个管理进程的包。但也是新的 vm ,并不共享
    xpol
    xpol
    Sep 29, 2015
    37
    没人推荐 Ruby 方案吗? 我来一发: https://github.com/postmodern/spidr
    hjkl0001
    hjkl0001
    Sep 29, 2015
    38
    scrapy
    paperpeper
    paperpeper
    Sep 29, 2015
    39
    scrapy ++
    hjkl0001
    hjkl0001
    Sep 29, 2015
    40
    使用 scrapy
    hcl
    hcl
    Sep 29, 2015
    41
    PHP 环境下可以用 Goutte ( https://github.com/FriendsOfPHP/Goutte )
    magicyu1986
    magicyu1986
    Sep 30, 2015
    42
    ....Nutch?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5882 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 120ms · UTC 03:10 · PVG 11:10 · LAX 19:10 · JFK 22:10
    ♥ Do have faith in what you're doing.