V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
tigiyj
V2EX  ›  问与答

4000w 每个 10kb 左右的文件如何快速压缩部署到服务器上

  •  
  •   tigiyj · 2018-03-23 09:33:51 +08:00 · 3178 次点击
    这是一个创建于 2198 天前的主题,其中的信息可能已经有所发展或是发生改变。
    文件是在本地的,现在打算压缩上传到服务器上,不知道是不是硬盘小文件太多,导致压缩的速度很慢(7z 压缩,仅存储模式),公司其他几台电脑压缩很快(700w 个文件,5000KB/S),但是我用来放数据的硬盘特别慢(碎片整理前 1000kb/s,整理后 300kb/s 更慢了).
    21 条回复    2018-03-27 10:36:29 +08:00
    kokutou
        1
    kokutou  
       2018-03-23 09:36:52 +08:00 via Android
    上固态。或者晚上下班挂着,下周上班再传。
    机械盘小文件就是很慢。
    natforum
        2
    natforum  
       2018-03-23 09:43:24 +08:00 via Android
    sync
    pkookp8
        3
    pkookp8  
       2018-03-23 09:46:52 +08:00 via Android
    直接拷贝整个分区怎么样
    aksoft
        4
    aksoft  
       2018-03-23 09:51:00 +08:00
    ghost~~
    tigiyj
        5
    tigiyj  
    OP
       2018-03-23 09:59:07 +08:00
    @kokutou 复制文件很慢(20 几 w 要 1 个多小时),测试过从数据硬盘复制到其他电脑,大概 20 几万的文件,压缩起来很快
    zn
        6
    zn  
       2018-03-23 10:05:16 +08:00 via iPhone
    直接做硬盘镜像可能还快一些。
    tigiyj
        7
    tigiyj  
    OP
       2018-03-23 10:06:49 +08:00
    @aksoft
    @zn
    服务器是 linux 的,想问问如何操作?
    aksoft
        8
    aksoft  
       2018-03-23 10:19:48 +08:00
    忽略我。。做硬盘镜像
    tees
        9
    tees  
       2018-03-23 11:07:59 +08:00
    感觉你可以试试 tar -cvf
    打包成一个文件先。
    msg7086
        10
    msg7086  
       2018-03-23 11:54:14 +08:00   ❤️ 2
    分目录打包。有条件的,先 dd 到 SSD 再处理。

    想起之前一个呆逼公司,用 36 块 4T 阵列硬盘硬钢 MySQL 升级,结果 5 个月完成了 20%的故事。
    不要重蹈他们的覆辙,买一块 SSD,节约你宝贵的生命。

    https://thoughts.t37.net/how-we-upgraded-a-22tb-mysql-cluster-from-5-6-to-5-7-in-9-months-cc41b391895d
    why1
        11
    why1  
       2018-03-23 13:08:09 +08:00
    把文件存入数据库呢
    qinrui
        12
    qinrui  
       2018-03-23 13:15:23 +08:00 via iPhone
    地图瓦片?
    7654
        13
    7654  
       2018-03-23 13:16:14 +08:00
    @tigiyj #7 双硬盘直接 dd
    云服务器 dd img
    tigiyj
        14
    tigiyj  
    OP
       2018-03-23 13:32:15 +08:00
    @msg7086 有分几个大目录,其中一个稍微小一点的文件夹,200w 数据 10G 内容,已经压缩了 5 小时多,才 65%进度.

    @why1 我采集数据的时候是存数据库的,单表 300g= =,然后把他生成一个个文件了

    @7654 数据是本地的,不知道该如何操作
    jemyzhang
        15
    jemyzhang  
       2018-03-23 14:21:16 +08:00
    不知道这样会不会快一点

    tar cf - . | (cd /path/to/new/disk && tar xf -)
    gleymonkey
        16
    gleymonkey  
       2018-03-23 14:29:00 +08:00
    rsync 推过去
    goodryb
        17
    goodryb  
       2018-03-23 15:10:37 +08:00
    linux 的话 直接 dd 出来,然后再 dd 进去 应该会快一些吧
    zn
        18
    zn  
       2018-03-23 16:19:43 +08:00 via iPhone
    @tigiyj dd if=/dev/源磁盘 of=目标文件.img
    akira
        20
    akira  
       2018-03-24 02:30:24 +08:00
    打包 不要压缩
    flynaj
        21
    flynaj  
       2018-03-27 10:36:29 +08:00 via Android
    这个跟操作系统,还有杀毒软件有关,我猜应该是 win7 以下系统还安装了杀毒软件
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5671 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 43ms · UTC 01:45 · PVG 09:45 · LAX 18:45 · JFK 21:45
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.