各位递归下载使用的什么方法?

2021-09-05 16:26:24 +08:00
 yQiW5pwLNQ

目前使用"github"的项目搭建了一个网盘的索引页面

我想要批量将文件转存下来(因为转存的网盘不一样,所以不存在一键等便携的转存方式)

我最开始的想法是利用 wget -r -c -np url

但是后面发现部分子目录可以成功拉取(有的缺少文件,有的完整)

目前来说,我想拉取一个目录,目录下面有 n 个 n 级目录

部分目录会变成 wget 的索引文件,打开文件会列出目录内的文件与文件的部分 path

(例如域名为 a.com ,一级目录为 1,二级目录为 2,以此类推

原本三级目录下的那个文件路径是 a.com/1/2/3/wenjia)

索引文件内的 url 就只是为 wenjian,而没有前面的 a.com/1/2/3

当然,以上可能是 wget 的记录方式

但是我后来发现 wget 不会检查三级目录内的文件是否拉取就结束了(也就是说三级目录内的文件依旧是处于索引状态而没有被成功拉取)

各位是如何正确递归拉取的?或者是我的参数有问题吗?

我知道可以再次执行相同的命令,再次运行 wget

但是我发现再次执行时,wget 会将(a.com/1)这种 url 认为是一个文件(其实是目录),wget 会检测当前本地的下载目录下存在一个相同名字的目录,就会停止进入 url 内检查这个到底是不是一个目录

而我本地的索引文件也不会被 wget 再次检测到

wget 载我再次执行时,只会告诉我(a.com/1:Is a directory)

1039 次点击
所在节点    问与答
3 条回复
felixcode
2021-09-05 16:52:03 +08:00
用 wget 的--mirror 参数试试
maomaochong199
2021-09-05 17:01:25 +08:00
我也需要解决方法
yQiW5pwLNQ
2021-09-06 16:03:58 +08:00
@felixcode 我刚刚尝试完毕,依旧存在下载不完全的问题(wget -m url)

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/799976

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX