自动提取网页内容

[cai72738]

如题，给个网页能不能实现自动提取，文章标题，文章正文，发布时间，来源等这些需要的内容。目前，我就是写正则来匹配和 XPath 来提取。可是很恶心。有没有什么好办法呢？各位大腿们

---

蟹蟹，目前有 X 千个源。后续可能还会有新的

[Xname]

这种情况当然是火车头了 C#来的 功能强大

[guoruei]

换个思路吧。你把一个站抓下来。

每页内容一样的是什么？是广告样式和导航。这个是有规律的。
不一样的是什么？是正文。它长短不一，还图文混排。

你只需把有规律的内容去掉就剩下正文了。

这。。。

[FallenMax]

我写了一个叫 smart toc 的 chrome 扩展（有同名 github ），用于抽取网页内容和标题等级。中间包含一个简单的内容抽取算法。可以试试效果如何～

（不过弊端是：这算法需要在浏览器上运行，因为依赖计算出的内容样式）

[madxzb]

可参考我以前写的，网页正文提取算法研究[非正则]
http://xuzhibin.com/2010/11/11/text-extraction/
我当时用 c ＃写的，参考思路即可。发布时间，列表页的内容链接块其实都可以按这个思路获取到。当然也不是 100%的。