大佬们!~进来看下~~mongodb 和磁盘性能问题请教

2020-07-28 11:10:55 +08:00
 dtgxx

目前服务器有一块做了 raid0 的 4T 的 5400 转的盘,还有两块做了 raid1 的 7200 转的 6T 的盘。


我有 2T 的文件目前存储在 raid1 的 6T 盘中,文件都是小文件,大约有 110 万个文件。


mongodb 的数据文件存储在 6T 盘里面


我现在想把这 110 万个文件,用 mongoinmport 的形式导入 mongodb,大家觉得这些文件放在 6Traid1 的盘中(同盘导入),导入 mongodb 效率高,还是把这些文件放到 raid0 的盘再导入效率高?


6T 的读写性能肯定高于 4T 的,但是考虑到 mongo 也在 6T 里面,同盘同转速和不同盘不同转速不知道哪种选择好一点。。

1241 次点击
所在节点    问与答
9 条回复
ilucio
2020-07-28 11:38:29 +08:00
复制数据的话直接拷贝文件夹也可以的
dtgxx
2020-07-28 13:52:34 +08:00
@ilucio #1 你没看明白我的问题。
koharu
2020-07-28 14:02:28 +08:00
转速不一样挺难做比较的,理论 raid0 肯定比 1 快但是考虑到同盘我选择方案 1 同盘导入
wellsc
2020-07-28 14:02:55 +08:00
存文件映射不就好了
qping
2020-07-28 14:03:10 +08:00
我觉得是网络不是瓶颈的情况下,使用不同盘效率高,理由是 5400 转的磁头负责读,7200 转的负责写,不用同时负责读写。

只是我的猜想,建议你尝试两种方案各 100M 试下
dtgxx
2020-07-28 15:18:05 +08:00
@koharu 确实是有点难凭感觉比较,感谢。
@qping 我也有这样的感觉,像是做了读写分离,具体只能测试下了。
ilucio
2020-07-28 16:48:15 +08:00
我的意思是直接用拷贝文件夹的方式就行了,不需要使用 mongoinmport
dtgxx
2020-07-28 16:59:37 +08:00
@ilucio #7 我没太理解,拷贝过去 mongodb 里面怎么使用呢?即使能用数据也不会走 zstd 之类的压缩了吧
ilucio
2020-07-28 18:00:31 +08:00
@dtgxx 关掉 mongodb 服务,将整个 mongdb 数据文件夹拷贝过去,删除 diagnostic.data 文件夹,然后把旧的 mongodb 配置拷贝过来,修改下数据文件路径,这样 mongodb 就可以启动了。这种方法不会改变压缩方式等其它配置,因为只修改了数据文件路径

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/693684

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX