云上 NAS 存的数据如何同步到 OneDrive?

2023-03-26 04:16:16 +08:00
 MrLonely
之前搞活动的时候买了个 4T HDD 的 VPS 来当云上 NAS 。下载 PT 到 NAS 里不难,上传到 OneDrive 应该也不难。但实际上现在处处碰壁。

之前在这里发帖问了要怎么限制 CPU 使用来符合 VPS 商家的 ToC,最后用了 cpulimit 。

现在 limit 了以后倒是不会用量过高而被停机了,但是我从 PT 上下载到 VPS 里的 2T 视频不知道要怎么搞出来。

这 2T 视频都是一个种子的资源,想要通过尽量简单的方式把所有视频上传到一个 5T 的 OneDrive 里。

一开始的方法是通过 docker 部署了一个 firefox ,把文件目录挂载进去,然后通过浏览器窗口进行上传。在关掉 cpulimit 的时候用量会很高。打开之后倒是看起来似乎能正常上传,但是上传一段时间后就会中断,并且报告说无法上传。

打开 onedrive 能看到部分上传的文件。后续我把文件大概拆为 3 份,每次上传 1/3 也是同样的结果。再拆更多份可能会过于麻烦,也还没去尝试。


后来我又试了 rclone copy 。因为 cpulimit 的原因,rclone 在 terminal 里的进程一段时间后会 stop ,然后又从后台继续进行。但是这时候 shell 本身是没有 attach 的。也就无从查看实际的进行步骤。

刚开始的时候通过 top 还能看到 rclone copy 的进程时不时地出现在顶部。但是后来就看不到了。通过网卡速度也能看出这个 rclone 大概率是停掉了。

所以有什么办法可以让这个上传操作在不违反 CPU 用量的情况下实现呢?
1160 次点击
所在节点    VPS
5 条回复
ruixue
2023-03-26 11:16:35 +08:00
rclone 都经常 stop ,这 cpu limit 到底是有多狠,给 rclone 限一下速试试,onedrive 的 api 本身也有比较严格的速率限制,跑快了也会经常被服务器拒绝传输,即使是用限制最小的 onedrive 官方客户端,每天上传 900 多 G 后当天也无法继续上传了

如果还不行,现在能想到的方案就是暂时停止 torrent 客户端,另外开一个允许长时间跑满 cpu 的大流量 vps ,比如 hetzner 的 cloud ,用 scp 、rsync 、webdav 之类的协议把文件拖出来再上传 onedrive
leaflxh
2023-03-26 11:56:15 +08:00
在 screen 里执行 rclone copy 会挂吗
wxxxcxx
2023-03-26 15:56:13 +08:00
nohup 或者 tmux/screen 运行 rclone 试试
MrLonely
2023-03-26 23:05:54 +08:00
@ruixue onedrive 本身的 limit 我倒是忘记关注了。所以 onedrive 如果用浏览器上传的 limit 是多少呀?用另外的机器的话,其实对我来说这个 4T 的 VM 就意义不大了。本来它就是用来倒腾种子和视频的。再搞个其他的机器我不如直接用那个机器处理了。


@leaflxh 大概率会,这个不是我的 ssh 断了,而是 ssh 里的 shell 和 rclone copy 这个进程断开了链接。 有点像是 ssh 运行中按 ctrl+c 的效果。


@wxxxcxx nohup 我觉得可以试一下。

多谢各位指点。
ruixue
2023-03-27 10:50:04 +08:00
@MrLonely onedrive 用浏览器上传经常会出现超时,所以也不清楚 limit 到底是多少

如果有其它网盘比如 google drive 也可以试一试 rclone 上传到这些网盘,最后再用 mover 转移到 onedrive

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/927203

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX