oceantree

手把手爬虫教你写爬虫---电商爬虫、互联网金融爬虫

  •  
  •   oceantree · Jul 28, 2016 · 8792 views
    This topic created in 3755 days ago, the information mentioned may be changed or developed.

    爬虫爱好者一枚,写了两个系列的爬虫教程,分享给有需要的人,后续会不定时更新

    系列一:手把手教你写电商爬虫

    系列二: 互联网金融爬虫怎么写

    大家对什么爬虫最有兴趣,想用爬虫获取什么数据,有什么反馈建议,都欢迎留言

    37 replies  •  2017-05-14 22:53:41 +08:00
    oceantree
    oceantree
    OP
    Jul 28, 2016
    1
    不是刚发的帖子,怎么变成 4 小时之前的了
    sanwenshi
    sanwenshi
    Jul 28, 2016
    2
    支持一个
    oceantree
    oceantree
    OP
    Jul 28, 2016
    3
    一打开消息

    165 次点击 ∙ 14 人收藏

    就没人给个意见啥的
    qiayue
    qiayue
    Jul 28, 2016
    4
    90 分钟 16 个收藏很不错了,说明还是有人认可你的教程的
    oceantree
    oceantree
    OP
    Jul 28, 2016
    5
    @qiayue
    哈哈 多谢支持了
    ango
    ango
    Jul 28, 2016
    6
    收下了,有时间再看看
    Myflos
    Myflos
    Jul 28, 2016
    7
    干货,先收了
    qiayue
    qiayue
    Jul 28, 2016
    8
    @oceantree 上传个头像吧
    oceantree
    oceantree
    OP
    Jul 28, 2016
    9
    @qiayue
    好了,和博客一样的
    harry890829
    harry890829
    Jul 28, 2016
    10
    不知道评论什么,反正晚点回去看看
    kchum
    kchum
    Jul 28, 2016
    11
    是不是还可以上一下分布式爬虫,调度之类的。
    Wy4q3489O1z996QO
    Wy4q3489O1z996QO
    Jul 28, 2016
    12
    有什么办法使用 cacheImg 处理图片数组吗?
    aidoudou
    aidoudou
    Jul 28, 2016
    13
    先收藏,再慢慢看
    oceantree
    oceantree
    OP
    Jul 28, 2016
    14
    @kchum
    这个可以有
    oceantree
    oceantree
    OP
    Jul 28, 2016
    15
    @romotc
    用 for 循环,目前只能一个一个处理
    coolair
    coolair
    Jul 28, 2016
    16
    这些东西没什么意义吧?主要就是分析链接?
    推广你的“神箭手云爬虫 框架”?
    “神箭手云爬虫 框架”在哪?开源吗?
    abctest
    abctest
    Jul 28, 2016
    17
    @qiayue
    @ango
    @Myflos
    @harry890829
    @kchum
    @romotc
    @aidoudou
    你们回去都不用看了,我仔细看过了,好大一个安利,全是软文。
    oceantree
    oceantree
    OP
    Jul 28, 2016
    18
    @coolair
    你觉得没用的话,可以不看,帖子分享给有需要的人
    神箭手云爬虫框架,是一个云端运行爬虫的开发平台,用起来方便,所以才用的
    Wy4q3489O1z996QO
    Wy4q3489O1z996QO
    Jul 28, 2016
    19
    @oceantree cacheImg 返回了奇怪的东西: shenjianshou://http://image.xx.com/showImage.aspx?t=a1&v=10000A998
    qiayue
    qiayue
    Jul 28, 2016
    20
    文章还是有价值的,不过建议楼主(神箭手 CEO )下次来 V2EX 发帖,就正正当当的在文章开头表明身份表明利益关系更好。
    我玩 V2EX 五六年了,一般来讲真心实意来推广自己产品的,广大 V 友是欢迎的,但是如果遮遮掩掩来推广,反倒不受欢迎。
    比如前几天的 OneAPM 演了一场戏,结果被扒皮了。
    harry890829
    harry890829
    Jul 28, 2016
    21
    @abctest 我粗略看了一眼文章,大概了解了一下,发现是软文,或者说是推广吧,不过当时没有明说……
    oceantree
    oceantree
    OP
    Jul 28, 2016
    22
    @qiayue
    好吧,我想问下你怎么看出是神箭手 CEO 的,厉害,对这里情况不太了解
    的确是希望大家多多用下我们的平台,如果写的文章能给爬虫入门的人有帮助更好
    123s
    123s
    Jul 28, 2016 via iPhone
    23
    已加入豪华午餐
    qiayue
    qiayue
    Jul 28, 2016
    24
    @oceantree 你 csdn 有真名,然后一搜索就从出来了
    vtea
    vtea
    Jul 28, 2016 via iPhone
    25
    顶楼主,最近写爬虫卡在爬 ajax 类动态网页上了
    oceantree
    oceantree
    OP
    Jul 28, 2016
    26
    @vtea
    有帮助就好
    oceantree
    oceantree
    OP
    Jul 28, 2016
    27
    @romotc
    是这样的,通过 cacheImg 给 url 添加标识,这样才能正常将图片云托管到神箭手服务器上
    miao
    miao
    Jul 28, 2016
    28
    果然是软文. 好在可以防爬虫
    miao
    miao
    Jul 28, 2016
    29
    @miao 反爬虫
    upczww
    upczww
    Jul 28, 2016
    30
    神箭手的广告
    nikola
    nikola
    Jul 28, 2016
    31
    mark
    oceantree
    oceantree
    OP
    Jul 29, 2016
    32
    @miao
    恩,的确是希望大家多试用我们开发的平台写爬虫,对神箭手有什么意见建议也欢迎大家提出
    对爬虫有兴趣的,可以加入群交流, 56685526
    pheyer
    pheyer
    Jul 29, 2016
    33
    lz 有试过把淘宝全部商品爬完要多长时间吗?
    oceantree
    oceantree
    OP
    Aug 1, 2016
    34
    @pheyer
    这个没试过
    不过我们已经写好了淘宝的爬虫,有三种不同的。
    cangbaotu
    cangbaotu
    Aug 15, 2016
    35
    赞作者,刚好需要,赶紧去拜读一下( ̄▽ ̄)"
    ssllff123
    ssllff123
    Sep 9, 2016
    36
    @oceantree 能不能请教怎么处理的 js 啊
    jy00566722
    jy00566722
    May 14, 2017
    37
    @oceantree 太贵了,不给人入门窥探的机会。 我还充了值,以为市场里那些爬虫可以玩一把。
    仔细一看才发现自己多天真,原来是要会员等才可以用的。随便一个有用的都是个人旗舰版。还是整 scrapy 吧。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2504 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 57ms · UTC 05:23 · PVG 13:23 · LAX 21:23 · JFK 00:23
    ♥ Do have faith in what you're doing.