爬虫数据用什么数据库储存最合适?

2016-11-28 17:12:13 +08:00
 ctftemp
需求如下:
数据主要包括请求的 url , headers , body ,响应的 html 文档。
数据之间没有复杂的关联,只有一个请求来自于某个请求这样的树型关系。
不需要联合查询,不需要事务。
数据量比较大。

目前了解的有关系型数据库、 mongodb 、 HBase 、 es 。不知道哪种数据库最适合这种场景呢?希望各位给些建议,感谢。
2434 次点击
所在节点    问与答
3 条回复
Felldeadbird
2016-11-28 17:41:45 +08:00
公司一个爬虫项目, PHP+mysql 得。 基本固定的几百万爬虫数据(会定期删除过期数据,因此基本固定数据) + 整合,分析,最终在页面展示耗时大约在 0.1S 内完成。
内容主要是: URL+ 页面标题+页面特定内容。
exalex
2016-11-28 17:44:37 +08:00
@Felldeadbird 大概什么方向的内容啊
Felldeadbird
2016-11-28 22:31:58 +08:00
@exalex 做数据分析的,爬某个特定行业的数据。然后拿数据做…具体大概就这样

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/323887

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX