抓取热点数据 mysql 该如何存取

[dbdoer]

新手求教，刚学爬虫，想写个简单的抓新闻热点的练练手。

在存入 mysql 时，每小时爬取一次，爬取完先 delete 表里的数据，再插入新的数据。

如果想存下历史记录，会有个重复问题。这个时候该如何处理呢？ 新建个历史表，每次插入最新的榜单之前，判断每条的标题是否历史库中已经存在，如果存在就将历史库中的删除。历史数据多了，不知道这个过程会不会很慢。。。

想问下各位大哥，上面的想法是否正确，有没有更好的方式，谢谢

[dbdoer]

@also24 感谢，之前确实只盯着标题了，有了帖子 id 后面做比较就好多了

[dbdoer]

@crella 谢谢，学到了新思路，先在 python 里处理数据

[dbdoer]

@lostpupil 谢谢，学到了，对于标题或者内容进行 MD5 摘要

[dbdoer]

@CatTom 感谢，学到了

[dbdoer]

@l3n641 谢谢，记上 redis

[hushao]

如果保留历史记录，那么就只需要插入而不需要删除 /更新，取出的时候按照时间戳取最新结果就行。

如果需要按标题判断，可以直接按标题建 unique key，然后 insert into on duplicate update...，另外标题可以做 md5 之类优化。

另外 sqlite 直接可以 insert or update 吧。

[hushao]

。。。没看完回复，发现有人说过了，不好意思😂