1.代理 IP 池： https://github.com/qiyeboy/IPProxys 作者七夜的故事，他的书我买了，很不错的，要吐槽的是他在博客里说没女朋友，到书中就有了。明显欺骗观众 2.代理 IP 的自动化： http://www.kohn.com.cn/wordpress/?p=208#comment-1993 作者 kohn
This topic created in 3179 days ago, the information mentioned may be changed or developed.
 |
1
shuizhengqi Nov 30, 2017
没看懂你要说什么
|
 |
2
Mrkon OP @shuizhengqi
我想分享的是如何更好的使用代理 IP 池。语言表达不清楚，见谅。。。。原文一部分如下： scrapy 提供下载中间件机制, 可以在请求队列与下载请求之间做一些动作. scrapy 本身也提供了一个 ProxyMiddleware, 但是它只能使用固定的 IP 地址, 由于免费的代理相当不稳定, 很多代理其实根本不能用. 因此需要对 ProxyMiddleware 改造使得这个 middleware 能够发现代理不可用, 并且在发现不可用的时候切换到另一个代理. |
Select Language