可能是我没配对环境,反正 scrapy 现在用不了,就只能写正常脚本爬,除了加 time.sleep 还有啥注意事项啊,没用过几次 requests 库...
可能是我没配对环境,反正 scrapy 现在用不了,就只能写正常脚本爬,除了加 time.sleep 还有啥注意事项啊,没用过几次 requests 库...
|
freeminderMar 9, 2017
1
换 UA ,有条件就换 IP ,最好把不是必要的 BS4 解析移出去,比如最终需要的那个页面先别做结构化解析,保留 html 就好。另外注意列表页的互斥,尽量在爬列表页的时候保证列表的内容也没什么重复最好。
|
|
chendajunMar 9, 2017
2
配置 scrapy 环境, linux 比 windows 简单些。
|
|
AkkumanMar 9, 2017 via Android
3
soup 解析,一般可以一行写完,用列表推导式
|