有时候写了一些爬虫脚本，但都是单文件的，每次都要指定好数据库字段，然后运行爬虫爬取数据。 我就在想，有没有可以管理爬虫脚本的项目，支持将爬虫脚本编辑和运行，支持预览爬取的数据，可以配置 ip 代理池。我在 github 上找了一下，没有找到。自己开发的话，感觉是个大工程。
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 576 days ago, the information mentioned may be changed or developed.
 |
1
bqzzd Feb 26, 2025  1
crawlab 、scrapyweb
|
 |
2
suckinbottle Feb 26, 2025
这种带有自定义的功能，建议是自己开发一个。另外，建议将脚本集成到框架中去管理，这样就更加方便。
|
 |
3
xixiv5 Feb 26, 2025
代理池有推荐的吗
|
 |
4
yb8Qes1Qae01H0xy Feb 26, 2025
用 scrapy 开发了一些脚本，比较稳定
scrapyweb ，用过一段时间，bug 很多 ，现在用 crontab 调用 scrapy ，稳的一笔 |
 |
5
macaodoll Mar 25, 2025
我都是自己开发,
|
Select Language