xiaoyu9527
V2EX  ›  问与答

现在还有哪些免费的采集器?

  •  
  •   xiaoyu9527 · Jul 15, 2016 · 3021 views
  •   You need to sign in to view this topic
    This topic created in 3738 days ago, the information mentioned may be changed or developed.

    本来学 scarpy 目前学不起来。

    但是看看火车现在收费。

    还有哪几家采集器是免费的?

    17 replies  •  2016-07-19 14:53:04 +08:00
    Mirachael
        1
    Mirachael  
       Jul 15, 2016
    scrapy 拼都拼错了,确实学不起来。学个东西要用心啊。
    xiaoyu9527
        2
    xiaoyu9527  
    OP
       Jul 15, 2016
    @mojixiang1102 scrapy 到 xpath 呢 直接用 chrome 抓 老是有问题。

    自己写又不会写。。
    Mirachael
        3
    Mirachael  
       Jul 15, 2016
    @xiaoyu9527 我觉得没什么难的啊 找个教程写个 demo ,能跑起来就成功了。然后按照自己的需求改就行。楼主难道不会 python 吧?
    xiaoyu9527
        4
    xiaoyu9527  
    OP
       Jul 15, 2016
    @mojixiang1102 我就是找 demo 学呀。 但是 xpath 不行呀。
    woniu127
        5
    woniu127  
       Jul 15, 2016
    用 chrome 抓 xpath ,比如淘宝商品搜索结果的店铺名,抓两个店铺的 xpath ,哪里不同改哪里
    Mirachael
        6
    Mirachael  
       Jul 15, 2016
    @xiaoyu9527 有文档的,而且可以在 chrome 调试器下面测试 xpath 路径。
    xiaoyu9527
        7
    xiaoyu9527  
    OP
       Jul 15, 2016
    @mojixiang1102 哪里有 XPATH 的 CHROME 调试文档?
    ytmsdy
        8
    ytmsdy  
       Jul 15, 2016
    直接火车头吧,下一个 7.0 的破解版,一般来说都够用了。
    GreatMartial
        9
    GreatMartial  
       Jul 15, 2016
    gooseeker ,你可以试试
    xiaoyu9527
        10
    xiaoyu9527  
    OP
       Jul 15, 2016
    @ytmsdy 我是先想抓一部分数据。 这样明天我也去比较好安利一下
    notgod
        11
    notgod  
       Jul 15, 2016
    以前买过一个 zzcity 的 ettools 还是什么的
    100 多块 后来也没用

    这个一直有免费版的
    使用也小白

    不过我觉得还是自己写的采集工具比较好用
    可定制 自动化 还能针对性处理一些情况
    xiaoyu9527
        12
    xiaoyu9527  
    OP
       Jul 15, 2016
    @notgod 我是想先入一部分数据 至少得入个 1000 到 2000 篇。
    CosimoZi
        13
    CosimoZi  
       Jul 15, 2016
    scrapy 又不强迫你用 xpath,你可以用 beautifulsoup
    xiaoyu9527
        14
    xiaoyu9527  
    OP
       Jul 15, 2016
    @CosimoZi 不是 xpath 流行么。、
    Mirachael
        15
    Mirachael  
       Jul 15, 2016
    @xiaoyu9527 打开开发者工具,选中一个 dom 节点右击有个 copy 选项,里面有 copy xpath.
    xiaoyu9527
        16
    xiaoyu9527  
    OP
       Jul 15, 2016
    @mojixiang1102 我就是这样弄的 但是用起来感觉好累
    xiaoyu9527
        17
    xiaoyu9527  
    OP
       Jul 19, 2016
    有没有大牛再给我点方案呀。

    我是真想赶紧入库点数据
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3635 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 46ms · UTC 04:21 · PVG 12:21 · LAX 21:21 · JFK 00:21
    ♥ Do have faith in what you're doing.