推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
lovebeyondalways
V2EX  ›  Python

第一个 python 程序,抓取某网站表情包

  •  1
     
  •   lovebeyondalways ·
    piaokorg · Jun 9, 2016 · 6964 views
    This topic created in 3802 days ago, the information mentioned may be changed or developed.

    python3 看了一个月了,爬虫也看了一个月,参考网上的例子自己做了个爬虫,调试中还有很多问题。
    希望 v 友们帮忙看看,有哪些不规范的地方,哪里需要改进。请指点一二。
    地址: https://github.com/piaokorg/download_qq.yh31.com_picture/blob/master/download.py

    Supplement 1  ·  Jun 10, 2016
    根据大家建议修改了一些,我觉得这下应该看得过去了吧哈哈
    28 replies  •  2016-06-11 09:58:46 +08:00
    lovebeyondalways
    lovebeyondalways
    OP
    Jun 9, 2016 via Android
    1
    我靠 端午没人吗
    eric6356
    eric6356
    Jun 9, 2016❤️1
    2
    1. page -= x 这一行似乎有错误吧,没太看懂;
    2. 你使用了 with open 的话,一般不需要手动 f.close() 了。
    icedx
    icedx
    Jun 9, 2016 via Android
    3
    一个月就这水平 看起来没救了
    binux
    binux
    Jun 9, 2016❤️1
    4
    你 try..except 之后 print('pages no found'),也不返回个空数组,后面 img_addrs 不一样要错,连错误原因都不知道,还不如直接抛异常呢。
    gkiwi
    gkiwi
    Jun 9, 2016❤️1
    5
    一点建议:函数返回一致性(瞎编的。。);

    find_img 这个函数在 try_catch 时候, catch 之后,最好返回一个空数组 `return []`,默认返回 None ,会触发 download 中的异常,也是完全没有必要的。返回同一种类型,否则容易造成困惑。。
    gkiwi
    gkiwi
    Jun 9, 2016
    6
    @gkiwi 删掉,参考 binux 就好。。回复慢了。。
    bdbai
    bdbai
    Jun 9, 2016 via Android
    7
    @icedx 大神给点建议呗
    300
    300
    Jun 9, 2016
    8
    第一个 python 程序不应该是 hello world! 吗乁(๑˙ω˙๑乁)
    mystryl
    mystryl
    Jun 9, 2016 via Android❤️1
    9
    ccfinfo.leanote.com
    不才一个月的爬虫产品 完全实用主义投产的。。抓行业网站写报告用 代码就不放了 非科班 能用就行。
    bingxx
    bingxx
    Jun 9, 2016 via iPhone❤️1
    10
    代码 os.mkdir 路径不应该写死吧
    GhostEX
    GhostEX
    Jun 9, 2016
    11
    @mystryl 好厉害,求 git 链接,我最近也在做类似的,不过抓去的是什么值得买的商品。。。
    lovebeyondalways
    lovebeyondalways
    OP
    Jun 9, 2016 via Android
    12
    @icedx 我靠不是吧 我之前没有编程基础
    lovebeyondalways
    lovebeyondalways
    OP
    Jun 9, 2016 via Android
    13
    吸取楼上所有建议
    goodan
    goodan
    Jun 9, 2016
    14
    @icedx 同求大神建议
    lovebeyondalways
    lovebeyondalways
    OP
    Jun 9, 2016 via Android
    15
    @eric6356 我是想递减的 请问怎么做
    eoo
    eoo
    Jun 9, 2016 via Android
    16
    爬虫一个月 速度确实“快”
    ila
    ila
    Jun 10, 2016 via Android
    17
    无任何基础一个月写出爬虫,前面开嘲讽光环的有意思吗?
    不如提点你们的经验吧。

    如果不用 scrapy 等框架,
    建议 requests+bs4 。
    简单快捷。
    然后打怪升级,
    爬一个感兴趣的项目和大众化的项目,
    例如汤不热的图片和电商的商品价格。
    汤不热现在需要翻墙。
    hellogbk
    hellogbk
    Jun 10, 2016❤️2
    18
    估计楼上那些讽刺楼主的都是刚出娘胎就会编程从来没有过新手期的牛人
    :)
    楼主加油。
    upczww
    upczww
    Jun 10, 2016 via Smartisan T1
    19
    楼主加油,谁都有菜的时候
    Lneayce
    Lneayce
    Jun 10, 2016
    20
    对没有接触过多少的, 又没人带, 自己搜集资料入门看书看基础什么的, 不管时间多久, 第一次在不熟悉的领域做出东西来的应该还是多点意见和意见吧, 喷真的没意义,
    建议楼主同时还可以打打基础, 思想是通用的, 这样以后换个语言环境什么的上手就会快点的,
    lovebeyondalways
    lovebeyondalways
    OP
    Jun 10, 2016 via Android
    21
    @eoo @ila @hellogbk @upczww @Lneayce 谢谢大家的鼓励和建议哈哈,编程真的很有趣,特别是可以用来做有意思的事,上下而求索吧
    msg7086
    msg7086
    Jun 10, 2016
    22
    零基础一个月能写出来挺好了。
    不过还是建议循序渐进一点点来,多积累一些打代码的经验,这样开发大项目的时候会顺手很多。
    eoo
    eoo
    Jun 10, 2016 via Android
    23
    @hellogbk 我只是觉得挺惊讶 ,楼猪学爬虫都能用一个月 ,换做是我 我绝对做不到。
    sparkssssssss
    sparkssssssss
    Jun 10, 2016
    24
    和楼主情况差不多.
    自己写了脚本抓取天气预报,天气预警,监控雪球,抓取什么值得买,然后入库.

    还没有用到多线程,scrapy,其实自学这种东西能坚持下去就是胜利.与所有自学人共勉.
    eric6356
    eric6356
    Jun 10, 2016
    25
    @lovebeyondalways range(page, 0, -1)
    RqPS6rhmP3Nyn3Tm
    RqPS6rhmP3Nyn3Tm
    Jun 10, 2016 via Android
    26
    比我的第一个爬虫好
    lane3000
    lane3000
    Jun 11, 2016
    27
    楼主加油,比我第一个写到爬虫要好不少了~
    sola97
    sola97
    Jun 11, 2016
    28
    我第一个爬虫是爬教务系统..
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4983 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 58ms · UTC 07:38 · PVG 15:38 · LAX 23:38 · JFK 02:38
    ♥ Do have faith in what you're doing.