求推荐好用的网页减噪的 Python 库

[Feiox]

需要抓取很多新闻网站，但这些页面很多是极其不规范的使用 html ，那么如何自动化提取这些网页中的正文部分呢？
试用了几个，感觉还是有一些问题。。。。求推荐

[shierji]

额 XPath选取还行啊

我遇到的主要是改版问题 不过我感觉逻辑上多处理一下也行
我遇到的问题是很多新闻网站旧链接是孤岛 没法从当前时间递归抓取 不知道楼主有这个问题没有？

[Valyrian]

每个网站单独处理。。我上个实习就是干这个的，没有什么好办法

[binux]

现在正常一点的 html 库都能做到兼容不规范的 html
要不你试试 lxml

[fy]

@shierji 文不对题啊，楼主说的是那种自动分析网页，猜测正文大概位置的库。并不是说xpath选取不准确。

[fy]

= = 好像也并不是来着，如果是这样的话lxml的xpath确实已经够用了。

[alexapollo]

web extractor

[binux]

@fy 还真是「正文大概位置的库」，这种涉及策略的东西，想要好，就自己写一个吧。

[TuxcraFt]

你需要人工智能黑科技…… （逃

[zts1993]

招点实习生吧

[simo]

看下qq收藏网页助手，插件应该能反编吧

[nbndco]

libextract

[hewigovens]

Diffbot?

[xixijun]

不知道楼主说的不规则具体指的是什么。
bootstrap可以自动补全

[zog]

pip install html2text

[zhicheng]

https://github.com/rodricios/eatiht

[13k]

https://github.com/codelucas/newspaper

[zztt168]

在学习爬虫，感谢楼主和楼上的分享！

[bigbook]

https://github.com/buriy/python-readability
这个算是最好用的了

具体遇到什么问题了呢？

[pango]

楼主遇到点什么小问题？请具体说说。
一直在用python-goose爬youtube，从来没有出过什么问题。

[shiznet]

印象笔记在chrome的插件可以实现类似的功能