服务器磁盘有限，怎么打包传输零散文件

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 2177 天前的主题，其中的信息可能已经有所发展或是发生改变。

同一个目录下，都是图片文件，数量庞大。想打包传输到另外一个服务器。
但是剩余空间不足，请问有什么方法解决这个问题？
希望速度比 SCP 快，SCP 传零散文件速度感人。

谢谢。

11 条回复 • 2018-05-09 14:01:39 +08:00

Trim21

2018-05-09 06:14:47 +08:00 via Android

干过一次类似的事情，起了个 http server，在另一台服务器上用多线程爬虫爬下来

billlee

2018-05-09 06:18:19 +08:00

tar -c | ssh tar -x

clino

2018-05-09 06:23:24 +08:00 via Android

应该用楼上 tar 的方法，没有实际 tar 文件生成

vibbow

2018-05-09 06:26:55 +08:00

移动硬盘...

luban

2018-05-09 06:59:27 +08:00 via iPhone

磁盘空间不足，那就部分打包，传输完成删除

opengps

2018-05-09 07:14:52 +08:00 via Android

千兆内网共享，用自己电脑或者配合移动硬盘

Mutoo

2018-05-09 08:09:29 +08:00

rsync over ssh 了解一下，支持打包传送。

stiekel

2018-05-09 09:19:40 +08:00

这种情况，rsync 应该是最好的解决方案了。

alvinbone88

2018-05-09 13:03:47 +08:00

tar 打包，lz4 压缩，ssh 传输
详细可以看 http://www.orczhou.com/index.php/2013/11/tranfer-data-faster-on-the-fly/
据博主自己测试，传输速率可以达到 249MB/s

Qzier

2018-05-09 13:34:01 +08:00 via iPhone

tar 打包，然后 xz 压缩

shiji

2018-05-09 14:01:39 +08:00

@Qzier
@alvinbone88
磁盘空间有限，打包不到四分之一磁盘就满了