pyspider 如何对某一个抓取值去重，不是 url 去重
比如我抓了很多文章，同样文章标题的不去抓取，过滤掉
请问怎么怎么设置，谢谢
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2756 days ago, the information mentioned may be changed or developed.
 |
estApr 23, 2019 via Android
1
pyspider 都会了还不会去重？最笨的办法就是用 == 逐个比
|
 |
seaguestApr 23, 2019
2
数据量大的时候可以考虑 bloom filter，cuckoo filter。
|
 |
ztcaoll222Apr 23, 2019
3
不就是和 url 去重一样吗
url 你怎么去重标题就怎么去重 |
 |
NorthxwApr 23, 2019
4
如果你存数据库，可以尝试 md5 一个唯一值，然后检查（或者布隆过滤器？不清楚）
|
 |
lanpongApr 23, 2019 via iPhone
6
楼上作者出没
|
 |
KyonLiApr 23, 2019 via iPhone
7
自定义 taskid 吧
|
Select Language