有没有爬虫管理开源项目，可以管理爬虫脚本、ip 代理池、数据可视化

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 621 days ago, the information mentioned may be changed or developed.

有时候写了一些爬虫脚本，但都是单文件的，每次都要指定好数据库字段，然后运行爬虫爬取数据。我就在想，有没有可以管理爬虫脚本的项目，支持将爬虫脚本编辑和运行，支持预览爬取的数据，可以配置 ip 代理池。我在 github 上找了一下，没有找到。自己开发的话，感觉是个大工程。

爬虫管理

ip代理池

数据可视化

5 replies • 2025-03-25 14:35:10 +08:00

bqzzd

Feb 26, 2025

crawlab 、scrapyweb

suckinbottle

Feb 26, 2025

这种带有自定义的功能，建议是自己开发一个。另外，建议将脚本集成到框架中去管理，这样就更加方便。

xixiv5

Feb 26, 2025

代理池有推荐的吗

yb8Qes1Qae01H0xy

Feb 26, 2025

用 scrapy 开发了一些脚本，比较稳定
scrapyweb ，用过一段时间，bug 很多，现在用 crontab 调用 scrapy ，稳的一笔

macaodoll

Mar 25, 2025

我都是自己开发,