如题，给个网页能不能实现自动提取，文章标题，文章正文，发布时间，来源等这些需要的内容。目前，我就是写正则来匹配和 XPath 来提取。可是很恶心。有没有什么好办法呢？各位大腿们
蟹蟹，目前有 X 千个源。后续可能还会有新的
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3728 days ago, the information mentioned may be changed or developed.
Supplement 1 · Aug 19, 2016
我现在找到了 boilerpipe 这个正文提取的很不错，就是如果想提取新闻发布时间和新闻来源的，也是尴尬（我看文档看的迷迷糊糊的）。
--------------------
重要的是，同一站点下新闻链接的抓取也是头疼。不标准的站太多，同一个栏目下，文章的链接不规则，自己配正则还好，自动的话。（抓狂）
-----------------------
OS:我只是实习生啊~~~~~~
--------------------
重要的是，同一站点下新闻链接的抓取也是头疼。不标准的站太多，同一个栏目下，文章的链接不规则，自己配正则还好，自动的话。（抓狂）
-----------------------
OS:我只是实习生啊~~~~~~
 |
tumb8rAug 19, 2016
1
title 好说，但是想正文、发布时间、来源等，每个源的标签是一样的吗？如果是一样的很好爬，如果不一样就需要针对每个源写规则，麻烦。
|
 |
dsg001Aug 19, 2016
2
https://github.com/vinta/awesome-python
有自动提取正文的库，但只能针对标准网页，如果太过杂乱也没辙 |
 |
naomhanAug 19, 2016
3
正文还好说 标题 时间提取真的不容易 暂时没人研究 我们暂时是通过百度搜索相关新闻 因为百度搜索都结构化处理了 时间 标题获取就很容易
|
 |
laoyurAug 19, 2016
4
用 readability
|
 |
5
看看我写的这个把 https://github.com/ququzone/smart-extractor
基于 Readability ，支持 Docker 的微服务 |
2 |
MarcoQinAug 19, 2016
6
python-goose 应该可以应付大多数标准的信息源。再配合部分 xpath 应该可以的
|
 |
7
我之前做了一个应用，用来提取 hackernews 上新闻的正文，这是我用来提取的库 https://github.com/polyrabbit/hacker-news-digest/tree/master/page_content_extractor ，至少 hackernews 上 X 千的新闻源提取效果蛮好的。
|
 |
8
|
 |
xhsmileAug 19, 2016
10
Python+ requests
接着写脚本 import requests html = requests.get(url).text print(html) 然后 re 解析？ |
 |
reyoung1110Aug 19, 2016
13
groose
|
|
reyoung1110Aug 19, 2016
14
|
 |
ambwAug 19, 2016
15
boilerpipe 也不错，是我觉得最好用的
|
 |
17
1. python-readability
https://github.com/buriy/python-readability 2. newspaper3k https://github.com/codelucas/newspaper 3. readabilityBUNDLE https://github.com/srijiths/readabilityBUNDLE 4. Dragnet https://github.com/seomoz/dragnet 5. Diffbot http://www.diffbot.com/products/automatic/article/ 各种工具都借鉴了比较多的算法，其中原始的 readability （ 1 ）是被一个叫 Pocket 的 app 商业化使用的，应该还可以；第 3 个 BUNDLE 是综合了三种基于 readability 的算法；第 5 个是基于 CV 的算法 |
 |
tianshiyebenAug 19, 2016
18
想自动提取的话，比较难，我前段时间写过提取新闻网站的正文。
实现自动提取标题，正文，发布时间 但是正文提取有误差，准确率大概 98%吧 可以参考下 https://github.com/tianshiyeben/draw |
|
19
@tianshiyeben 大概看了你写的，标题，您好像直接取得 mata 里的 title ，在我这儿行不通。谢谢分享！
|
 |
wowo2088Aug 19, 2016
20
非标准网页很多，没有特别通用的方法，还是正则吧
|
 |
XnameAug 20, 2016
21
这种情况当然是火车头了 C#来的 功能强大
|
 |
guorueiAug 20, 2016
22
换个思路吧。你把一个站抓下来。
每页内容一样的是什么？是广告样式和导航。这个是有规律的。 不一样的是什么？是正文。它长短不一，还图文混排。 你只需把有规律的内容去掉就剩下正文了。 这。。。 |
 |
FallenMaxAug 20, 2016 via Android
23
我写了一个叫 smart toc 的 chrome 扩展（有同名 github ），用于抽取网页内容和标题等级。中间包含一个简单的内容抽取算法。可以试试效果如何～
（不过弊端是：这算法需要在浏览器上运行，因为依赖计算出的内容样式） |
 |
madxzbAug 20, 2016
24
可参考我以前写的，网页正文提取算法研究[非正则]
http://xuzhibin.com/2010/11/11/text-extraction/ 我当时用 c ＃写的，参考思路即可。发布时间，列表页的内容链接块其实都可以按这个思路获取到。当然也不是 100%的。 |
Select Language