想爬点 ZOL 的手机数据，看到 http://detail.zol.com.cn/robots.txt 上面似乎限制爬虫爬取
Disallow: https://detail.zol.com.cn/*
我理解，这样爬虫就无法访问产品数据了？这怎么办呢？有什么变通方法可以爬取。
Disallow: https://detail.zol.com.cn/*
我理解，这样爬虫就无法访问产品数据了？这怎么办呢？有什么变通方法可以爬取。
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3031 days ago, the information mentioned may be changed or developed.
 |
EthanpJul 18, 2018 via Android
1
你都知道看 robots 了不小白了
|
 |
alvin666Jul 18, 2018 via Android
2
悄悄，慢慢地爬，自己用，或者换网站。
人家不让你爬，无解 |
 |
xpresslinkJul 18, 2018
3
那个 robots.txt 主要是给搜索引擎来指引的。和你没有什么关系。
|
 |
geekcornJul 18, 2018 via iPhone
4
robots.txt 只是对搜索引擎爬虫的建议性限制吧，理论上正常用户在客户端浏览器能看到什么，操作什么，机器就可以做到什么
|
 |
5
robots.txt 只是君子协议。。。就比如你家门开着，贴张纸，写着小偷别进来，小偷就真不进了么。。。
|
1 |
0x5fJul 18, 2018
6
伪造正常浏览器 ua 啊
|
 |
liupanhiJul 18, 2018
7
你确实是小白,哈哈哈
|
 |
arctanxJul 18, 2018
11
楼主很有节操 233
|
 |
ml1344677Jul 18, 2018
12
破坏计算机信息罪了解一下 23333
|
 |
musclepandaJul 18, 2018
13
你用 scrapy 的？ scrapy 在设置文件里面设置下就好了，有一个 Allow_robots 这样的设定，关了就好
|
 |
16
@musclepanda 我用的 python2 的 request，写了个很简单的，伪装成 360 的 agent,可以用
|
Select Language