vinthony
V2EX  ›  编程

想实现一个分布式爬虫系统,有哪些推荐的语言?

  •  
  •   vinthony · Jan 12, 2015 · 4630 views
    This topic created in 4324 days ago, the information mentioned may be changed or developed.

    如果用来写爬虫 此语言有哪些优缺点?

    12 replies  •  2015-01-12 21:16:34 +08:00
    nilai
    nilai
    Jan 12, 2015
    1
    scrapy
    icedx
    icedx
    Jan 12, 2015 via Android
    2
    Python
    Gamon
    Gamon
    Jan 12, 2015
    3
    Python
    alexapollo
    alexapollo
    Jan 12, 2015
    4
    golang
    a2z
    a2z
    Jan 12, 2015
    5
    python,已实现
    vinthony
    vinthony
    OP
    Jan 12, 2015
    7
    @nilai
    @a2z 感觉推荐,现有的实现确实很好,但是还是想踩踩坑 ^_^
    tabris17
    tabris17
    Jan 12, 2015
    8
    C++
    vinthony
    vinthony
    OP
    Jan 12, 2015
    9
    @alexapollo 感谢推荐
    a2z
    a2z
    Jan 12, 2015
    10
    @vinthony
    有时间折腾可以搞搞,坑挺深的。
    Bluek404
    Bluek404
    Jan 12, 2015
    11
    go+1

    优点:多线程简单
    缺点:需要编译
    yakczh
    yakczh
    Jan 12, 2015
    12
    看了一个Scrapy, 抓取的规则还是写在代码里,这样如何网站改版以后,还会重新调试代码,有没有爬虫可以把抓取规则独立到文件或者 数据库的,如果网站改版了,就可以通过后台编辑这些规则采集数据了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1808 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 11:00 · PVG 19:00 · LAX 03:00 · JFK 06:00
    ♥ Do have faith in what you're doing.