某众点评网的反爬措施是真的🐮，但误伤率也比较高。如果没有加农炮（加强型爬虫代理 IP ），获取到的数据量会少之又少。
除此之外，该网站设置了多种反爬措施，多种数据逻辑障碍等来 ban 爬虫，是我目前为止碰到的最难缠的网站。
但是如果你真的造完该站点的爬虫程序，你会发现维护很累，基本上一天一个样（可能有点夸张）。但是作为训练目标，真的很有收获。
https://github.com/Northxw/Dianping 项目已提交 github，欢迎提交 issue。
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2749 days ago, the information mentioned may be changed or developed.
 |
1
我记得在一篇文章里面读到过一个说法，反爬不是为了阻止爬虫，而是为了增加爬虫难度，所以要一天一个样，比的就是勤勉。
有谁能够讲一讲爬虫和反爬的道理？论理不论事。请不吝赐教！ |
1 |
KlingonApr 25, 2019
2
#1 "比的就是勤勉" 🐂
|
 |
dcalskyApr 25, 2019 via Android
4
楼主有研究过登录吗？登录接口需要带 cookie 才能成功的那种，而 cookie 的获取方式需要在页面上触发 click 事件从而发 http request。
|
 |
dot2017Apr 25, 2019
6
点评是真的变态，我现在网页版基本就处于没法用的状态，打开一家餐厅就验证，验证以后还不会自动跳转
|
 |
lithiumiiApr 25, 2019
7
点评我网页版也经常用不了，后来才知道是反爬……
|
 |
n329291362Apr 25, 2019 via Android
8
爬客户端协议🌚
|
 |
9
|
 |
10
@PP 高德的反爬从来不会限制你 IP 对服务器的访问，我需要抓取的数据里面有一个 list,顺序很重要。高德的反爬是将这个 list 的排序打乱，而你又要花计算成本去计算这个 list 是否正确。所以根本不是反爬虫，而增加了爬虫成本。
|
|
11
|
 |
l0wkeyApr 25, 2019
14
17 年时候学习 pyspider 框架时候练手爬过， 爬了 1200w+的页面，基本没感受到反爬😂...
|
 |
TheBestSivirApr 25, 2019
15
别光爬啊，多用用我司产品啊。再爬就给你们爬倒闭了呀
|
 |
stephenliubpApr 25, 2019
16
看看我的这个 Web 端反爬虫方案 ： https://github.com/FantasticLBP/Anti-WebSpider
|
|
17
|
 |
AliennnnnnApr 25, 2019
19
@dcalsky 用 puppeteer 呀
|
 |
20
说到某团我就来气。
去年我们好好地爬着 x 红书，给客户做媒体方案，顶多限制 ip 频次，但也能用。 然后大众 X 评 tm 就整个爬了 x 红书，把一堆现成的帖子评论放自己产品里，结果 x 红书立刻升级了反爬…… 大众 X 评自己嘛坑得一逼，贼当久了看谁都像贼。网页版正常访问，开一个页面都要验证至少两次。 已经删了，偶尔用下小程序。 |
|
n329291362Apr 25, 2019
21
@Northxw 他们客户端类似于 https 加密 好像没做反爬
|
|
22
|
 |
aver4vexApr 25, 2019
23
我碰到过必须开启 JavaScript 的网站，只能用 selinum 搞。
|
|
dcalskyApr 25, 2019 via Android
25
@Aliennnnnn puppeteer 慢呀 高并发需求
|
 |
tikazyqApr 25, 2019
26
已 star，考虑用 crawlab 来运行一下，https://github.com/tikazyq/crawlab
|
 |
jccg90Apr 25, 2019
30
这垃圾网站，别说爬虫了。。。人去看都费劲。。。
用 app 的接口爬还行 |
 |
akiraApr 25, 2019
31
反爬只能增加爬虫成本 并不能杜绝
|
 |
luanguangApr 25, 2019 via Android
34
大佬歪个楼……我想请问一下你是怎么提升爬虫技术水平的
我是一开始是使用 pyspider 爬取一些网站，然后对爬虫开始感兴趣，然后看书敲代码，学 scrapy 框架。不过遇到反爬厉害一点的网站就只会用 selenium+代理池强行怼……所以想问问有什么继续进阶的方向。 |
 |
fenghuangApr 25, 2019
37
是不是必须有代理池才能玩
|
|
38
|
 |
miaomiao0323Apr 25, 2019
39
@stephenliubp #16 我的理解是对数字做了一次自定义的加密，但是前端解密肯定是在 js 的啊，爬虫可以找到这段 js，把你的算法解出来
|
|
PPApr 25, 2019 via iPad
40
@JCZ2MkKb5S8ZX9pq 哈哈哈哈，笑死我了。
|
 |
matsuzApr 25, 2019
43
大众点评虽然爬起来比较麻烦，不过还好吧
最麻烦的我感觉是天猫淘宝的搜索页 |
 |
redsonicApr 25, 2019
44
说实在的,啥时候有基于人工智能的爬虫.
|
 |
rocketman13Apr 29, 2019
47
问一下计算偏移量的公式在那个文件可以找到呢
|
|
48
@rocketman13 可以的，数字的偏移量计算比较固定，文字的偏移量计算比较多变，我在 md 文档里面有说明，你可以看下
|
 |
49
@PP 可以看下这个图,我也刚尝试爬虫,但是觉得这个图让我更好的理解了爬虫与反爬虫的思路
http://www.bituplink.com/python-crawler-study-six-level-graph.html |
Select Language