求大数据的大佬解答下疑惑,想咨询下一些关于 hadoop 的问题

2022-11-30 23:17:37 +08:00
 sunpengliang

想问下大佬几个关于 hadoop 的问题,因为本人对 hadoop 的了解非常肤浅,有一些工作上的问题

1.hadoop distcp 的时候拷贝的是 src 目录那个时间节点的状态 2.如果拷贝途中 src 目录有增删文件的行为,拷贝一定会失败吗 3 如果拷贝失败以后,distcp 参数加上--uodate 能保证 dst 和 src 相同吗,原先失败的任务拷贝的文件拷贝到 dst 以后会不会影响下一次拷贝(-update 模式下认为该文件已经拷贝,但是由于上一次任务失败导致拷贝文件不全。导致最终拷贝到 dst 的文件不完整)

我自己的理解是 1 是不是拷贝的是 src 当时的快照 2 增加文件没问题,但是删除文件会导致任务失败 3 没啥想法

还请各位大佬能够指点一二,给一些链接或者参考下,谢谢大佬

578 次点击
所在节点    程序员
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/899200

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX