存储几百 G 到上 T 的数据库怎么架构

2016-05-11 14:40:11 +08:00

laodao

用爬虫爬了很多网页数据，按速度很快会几百 G 到几个 T 。
话说这些数据怎么存储和建站展示？对一个个人开发者来说性价比高？
本身不是做运维的，面对这数据了有点不知所措。。

目前数据库是 mongodb

1319 次点击

所在节点

1 条回复

cuiqiangtj

2016-05-12 14:00:08 +08:00

先看会有什么查询在考虑怎么存,
mongo 只要加好索引,查询速度还凑活,前提是你别有太诡异的查询
有些查询能虽然能实现,不过速度不敢保证.

第 1 页／共 1 页

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.