Scrapy 里的 job 是指的什么东西呢？

This topic created in 3182 days ago, the information mentioned may be changed or developed.

想要爬虫可以恢复继续工作，看了 Scrapy 文档里 Jobs: pausing and resuming crawls 这一章，但是没看懂 job 到底是指个啥东西呢？<br>
求指点~
https://doc.scrapy.org/en/latest/topics/jobs.html

6 replies • 2018-02-18 21:53:09 +08:00

gouchaoer

Feb 18, 2018 via Android

要想自己定制就别用 scrapy

ila

Feb 18, 2018 via Android

@gouchaoer 用啥？除了自己写，pyspider 吗

zeq

Feb 18, 2018 via iPhone

涉及暂停恢复，那么 job 的定义就是一次抓取，现象成一组 URL 的集合。

zeq

Feb 18, 2018 via iPhone

@zeq 有几个错别字😒

一个 job，简单的理解就是一次 scrapy crawl ... 执行过程。

gouchaoer

Feb 18, 2018 via Android

@ila 用 requests+bs4 就完了

GlobalNPC

Feb 18, 2018 via Android

可以理解为定时任务？