scrapy-redis 的 start_urls 需要去 redis 添加,可是当添加多个 url 的时候很麻烦,有没有方便的做法
|
PythoneerDev6May 26, 2017
1
麻烦之处 在哪
|
|
qsnow6May 26, 2017
2
start_requests
|
|
knightdfMay 26, 2017
3
同问怎么麻烦?虽然没用 scrapy-redis
|
|
4
@PythoneerDev6 #1
@knightdf #3 需要很长一串啊 一个一个加进去 比如我有 50 个页码怎么加 ``` 127.0.0.1:6379> lpush yourspider:start_urls https://www.v2ex.com/t/363913 ``` 这样的 url 不是要写 50 个? |
|
5
@qsnow6 #2 这个写在 spider 里面吗
|
|
knightdfMay 26, 2017
6
@HGladIator 循环啊,你是手动加的么?直接写个 py 脚本不一下加进去了
|
|
7
@knightdf #6 我才不会手动呢,我想着应该会有更便捷的高级方法
|
|
8
我还是老老实实写脚本吧
|
|
sunchenMay 26, 2017
9
start_requests 读文件
|
|
shimmerhMay 26, 2017
10
大哥,你写个 python 脚本来导入这么难吗?
|
|
11
@shimmerh #10 看这便捷的方法不是找到了吗, start_requests 读文件啊
|