新闻聚合网站是怎么做的？

[colorsand]

就是实时抓取其它网站上的内容实现的吗？

[newtonisaac]

难道是打电话问的？

[liangguan5]

@newtonisaac 哈哈哈

[alexapollo]

抓取+优质内容筛选+推荐系统

[colorsand]

@alexapollo 有这方面的经验吗？请教一下：
主动抓取怎么保证实时性？
内容筛选是不是需要人工完成？

[colorsand]

@newtonisaac 我想是不是通过 api 获取的数据

[vstar]

我更关注是否会造成侵权等法律问题

[Moker]

@colorsand 有 api 和 rss 当然最好。。没有就用爬虫了。。。实时的话爬虫频率高点了。。不过有可能会被封

[IanPeverell]

Python 基础教程里面有一个新闻聚合类的初级教程，可以先用 Python 的 NNTP 把信息下载下来，然后再传到网站里，实时性的话可以通过定时启动脚本更新数据就行吧…

[alexapollo]

@colorsand 大部分不是实时的。。但也有实时系统（量非常大），实际上相当于一个用户代理

[em70]

抓取页面，把纯内容提取出来，这个看起来简单，其实算法非常难，各种网站页面结构不一样，要考虑各种奇葩情况。

[mutalisk]

TF-IDF