查了一会 Google 说 Scrapy 基于 Twisted 所以是单线程的，写的 Scrapy 爬虫运行了半天没爬多少网页。。
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 3064 days ago, the information mentioned may be changed or developed.
 |
yrjJun 19, 2018 via iPad
1
pyspider 国人作品 文档友好。
|
 |
2
单线程不是 scrapy 慢的原因
|
1 |
3
twisted 是异步 io 可以很快爬取
scrapy 做为 py 爬虫框架老大 并非浪得虚名 |
 |
4
单线程很好啊，运行效率比那些天天线程切换的方案好多了。
|
 |
5
可考虑，先批量生产任务放到队列里，然后开很多节点消费任务，效率奇高
|
 |
6
感觉瓶颈是网速吧
|
 |
7
一般情况 scrapy 异步比多线程快，你爬的慢可能是你程序写的有问题
|
 |
8
爬的再快 有啥用那，太快 网站直接封了你了，别光想着快，要持久。
|
 |
9
java--webmagic
python--scrapy go--go_spider 也就那么回事 |
 |
encroJun 19, 2018
10
scrapy 能够设置并发数的。你用的是假 google 吧
|
|
11
在 google 前请先看文档
|
 |
12
Node.js 也是单线程，怎么能做到那么多并发？多线程只是实现高并发的一种手段。
|
 |
13
你可能还不知道 python （ cpython ）只支持单线程
|
 |
14
@biaodianfu 不是这样的吧 多线程支持的 只是有 GIL
|
|
15
给你一个传送门，以前我写的关于爬虫方面的资料。
爬虫框架比较： https://c4ys.com/archives/450 如何用 python 实现一个高自由度爬虫： https://c4ys.com/archives/718 |
 |
LeiggJun 20, 2018 via iPhone
16
scrapy 不设置延时足够爬到网站不能自理，在你会不会用。
|
Select Language