我看很多人都从爬虫入手学习 python 啊，可是在我的认识里，基本上是个网站都有各种防爬措施了吧，那你们到底在爬什么呢？如何区分是自己的程序有问题还是被对方给防御了？
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3395 days ago, the information mentioned may be changed or developed.
Supplement 1 · Jul 18, 2017
如何区分是自己的程序有问题还是被对方给防御了？
 |
duan602728596Jul 17, 2017 via iPhone
1
爬手机某些 app 的数据，爬某些网站的数据并实时发送到群里，脚本节省人工的时间
|
 |
tgxhJul 18, 2017 via Android
2
爬某番号站的磁力链接
|
 |
cnbeiningJul 18, 2017
3
爬 Chegg 的答案 HTML 解析成 Markdown 渲染成 PDF 就可以丢 iPad 上随时看了（暴露年龄）
|
 |
ricemoJul 18, 2017 via iPad
4
爬美女图片呀
|
 |
am241Jul 18, 2017
5
合法福利图片
历史价格记录 公开的非直接提供的数据 |
 |
TunarJul 18, 2017 via Android
6
。宅男福利图片
|
 |
MutooJul 18, 2017
7
例如在墨尔本，政府有开放数据平台，可以获得各种有意思的社会化数据。有提供相应的 API 接口读取，可以用爬虫自己采集整合到自己的网站。
https://data.melbourne.vic.gov.au/ |
 |
hotsymbolJul 18, 2017
8
爬知乎的各种照片
|
 |
laoyuanJul 18, 2017
9
害羞组？
|
 |
11
请问有没有爬汤不热的啊
 https://carry9109.tumblr.com/archive [NSFW] |
3 |
xiayibuJul 18, 2017
12
中纪委数据
|
 |
janxinJul 18, 2017
13
爱情动作片？ XX 照？
如果实在没什么要爬的，你也没必要非爬不可 |
 |
lxmlJul 18, 2017
14
Javbus， 一个 Java 学习网站
|
 |
AEANWspPmj3FUhDcJul 18, 2017 via Android
15
1024
|
|
janxinJul 18, 2017
16
|
 |
jeffersonpigJul 18, 2017
17
爬写真集的下载链接然后自动下载解压
|
 |
gauzeehomJul 18, 2017
19
爬山爬树
|
 |
annielongJul 18, 2017
20
爬汤的太多了，但都没有管理功能，爬一次以后，不能检测更新文件
|
 |
jiangzhuoJul 18, 2017
21
看最近有谁出什么问题八卦了，爬他相关的社交账号内容，顺手 archive。等他删除后把黑料卖给利益相关的。
|
 |
DiagnosticErrorJul 18, 2017
23
爬花瓣和 p 站的图到本地 做个本地备份
|
 |
timweiJul 18, 2017
25
页游的推广码
|
 |
myself659410Jul 18, 2017
27
爬数据： 房价， 股票
|
 |
aaronzjwJul 18, 2017 via Android
28
煎蛋妹子图，知乎，豆瓣不要害羞小组，国外高清大图，汤不热，p**nhub 等
|
 |
syncherJul 18, 2017 via Android
30
爬楼梯
|
 |
ikeeperJul 18, 2017
31
mark 了，回头把你们说的都爬一下
|
 |
jaky666Jul 18, 2017
32
mark
|
 |
caniuseJul 18, 2017
34
人体艺术图片
|
 |
6388xE5FRKTNUT9xJul 18, 2017
35
看来 PYTHON 还是得学
|
 |
BadManJul 18, 2017
37
我是从写脚本入门 Python 的，够小清新吧
|
 |
2929899530pgyJul 18, 2017
38
一般晚上爬
|
 |
wolffnJul 18, 2017
39
我一般都爬山。
|
 |
ss0xtJul 18, 2017
40
第一印象 想说爬山的。。。
|
 |
af463419014Jul 18, 2017
42
爬 V2EX 的文章,看这些文章哪些被删了,哪些被移动了,什么时间操作的
然后可以给 livid 统计一下他的工时 |
 |
mnhkahnJul 18, 2017
43
豆瓣害羞组
|
 |
44
@lxml 前不久用 PHP 爬过，3 大类的车牌差不多 34 万+，磁力 85 万+，各类图片 1 千万+（下载下来 4 百多 G，开了 30 个 PHP 进程来抓，花了 1 天多）
|
 |
a68UkLHpycW7ImyVJul 18, 2017
45
@myself659410 用的哪的接口啊？
|
 |
Kalv8nJul 18, 2017 via Android
46
hentai 网站，不过看腻了又不想玩了
|
 |
OpenJerryJul 18, 2017
48
mark
|
 |
gulangyuJul 18, 2017
49
豆瓣害羞组爬虫已写好，高速运行中... 多谢科普！
|
 |
stzzJul 18, 2017
50
靠,本来自制力就弱,结果不小心点开这个帖子
今天鸡儿又没得放假了😢 |
 |
ddjianJul 19, 2017
52
mark 了 谢谢各位！
|
 |
wqqdheroJul 19, 2017
53
mark 感谢各位司机
|
|
myself659410Jul 19, 2017
54
@wlbcs 强行爬取
|
 |
linus3389Jul 19, 2017
55
pixiv
|
 |
icerwinterJul 19, 2017 via iPhone
56
A 级通缉令的数据
|
 |
niuohJul 19, 2017
57
推荐一个 http 代理网站 http://www.ip-chi.net
|
 |
58
tumblr、1024、各种视频网站，应有尽有
|
 |
sunwei0325Jul 19, 2017
59
给老司机们跪了
|
 |
MaviousJul 25, 2017 via iPhone
60
在线学习，20 分钟要确认一次在线。机器代挂机。
对搜罗各种数据没有兴趣。只是拿来辅助人工而已。偷偷懒。 |
Select Language