有自建网盘的 V 友吗?

2020 年 8 月 12 日
 naohion

主要用来存实验数据(还有 djj )小文件特别多( 300 万个),加起来没多大,4T 左右。百度盘超级会员还有 2 年,前几天公开课被百度替换成 8 秒教育片,实在忍不了,开了一个月 10TB Google One (因为 G Suite 有 40 万文件限制),rclone 用了半个月传完,发现文件夹大小都看不了,文件传没传完都不知道,打算自建。目前服务器用的是 Nextcloud,别的没问题,3900X + 32GB RAM 的服务器 300 万文件光索引就用了 2 天。干什么都要扫描 2 天,搜索一次 20 分钟没出结果。查了下有人推荐 Filerun 听说对大量文件支持很好。不知道有没 V 友用过?

11333 次点击
所在节点    云计算
56 条回复
keventseng
2020 年 8 月 13 日
不想白裙,那就上台黑裙:P )入台矿渣就满足需求了。
naohion
2020 年 8 月 13 日
@vislins 私有云怎么说也比公有云安全,而且我还自动备份到公有云。Apple ID 莫名被封后使用公有云就比较谨慎。
KagurazakaNyaa
2020 年 8 月 13 日
这种情况还是用对象存储吧,gcp 的 Storage 或者 AWS 的 S3 都不错
evilic
2020 年 8 月 13 日
我的建议是一台高性能的 nas,加一台多盘位的低性能 nas 做备份(或者直接忽略此项)。

高性能的 nas 开启 webdav,如果有外网 ip 或者能穿透的话,所有平台使用 raidrive 之类的挂载到本地电脑上。nas 可以同时开启索引功能,由于性能高,或许能够解决些问题。备份的话,将指定的目录直接同步到多个 google 或其它平台的对象存储上(如果不放心,就找另外一台 nas 自动同步过去备份)。

个人使用的话,我是不建议搭建 ceph, hadoop 对象存储, openstack 对象存储 这类的。因为多副本硬盘成本太高了不说,集群网络性能的要求也不低。价格成本和学习成本太高了。
byzf
2020 年 8 月 13 日
三百万文件扫两天? 一秒扫 17 个文件? 你这索引是不是把文件内容也索引了?
我觉得肯定没到机器性能问题这一步.
chins
2020 年 8 月 13 日
有,但是是 cloudreve 哈哈哈
pkwenda
2020 年 8 月 13 日
minio,碎文件小文件---大文件(5T) 都可,存储非结构化数据,自带类似百度网盘的分享,上亿文件也没问题,搭建很简单

https://niubility.me/1b67547c71f64aec889fd5b9f47cedd2
xmh51
2020 年 8 月 13 日
seafile 试一下 存储机制不一样
darkerlight
2020 年 8 月 13 日
在等易有云 2 完善
locoz
2020 年 8 月 13 日
nextcloud 和 seafile 都一样,碰到大量文件就特别慢,但是不至于慢到扫描两天...建议检查一下具体是哪里的问题。
junefox
2020 年 8 月 13 日
可道云?
xz410236056
2020 年 8 月 13 日
@naohion 3900X 功耗太大,淘宝 or 咸鱼买星级蜗牛这种矿难机。300 来块且低功耗,店家还给你装好黑群。省事不操心
TEwrc
2020 年 8 月 13 日
nextcloud 确实是慢 我之前有十多万张图片传上去,移动端 app 连上去经常加载不出来,刷新都很费劲
mmdsun
2020 年 8 月 14 日
@naohion 用 OneDrive 做存储总比网盘好吧。账号也是自己的。
smallthing
2020 年 8 月 15 日
@naohion 3900x 没独显能开机吗 还真没试过
shentar
2020 年 8 月 16 日
对象存储适合存储数据,前缀(目录)检索。
但是 djj 哪家都不会收,除非自己重新编码一下文件。
推荐本地 windows server + everything,300 万毫无压力。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/697741

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX