爬虫应该用什么数据库存储？

[qw7692336]

我以前队列是直接在内存里，程序停了又要重头开始。。。。
所以队列应该保存在数据库当中会好一点

[demoslam]

看需求，正常爬虫存的数据库可以随便选。inverted index的存储可能要额外考虑其他的数据库

[itfanr]

leveldb rocksdb

[shoumu]

想用什么数据库就用什么数据库，等数据库性能遇到瓶颈了还能学学数据库的东西

[Comdex]

redis/mongodb

[qw7692336]

@Comdex
redis和mongodb分别怎么用？

[mcwanderer]

mongodb

[qw7692336]

@mcwanderer
不说原因的都是耍流氓

[Comdex]

@qw7692336 可以上 http://w3cschool.cc看看菜鸟教程

[qw7692336]

@Comdex
用在什么地方？分别存储什么？

[zjq426]

爬和解析分开，爬下来的rawdata直接存文件不好吗。。。

[bengtuo]

直接存文件

[qw7692336]

@zjq426
@bengtuo
那怎么判断重复数据，就是一个数据，之前可以已经爬过了

[ksupertu]

@qw7692336 bloomfilter