git
› Pro Git
› Atlassian Git Tutorial
› Pro Git 简体中文翻译
› GitX
nealwx
V2EX  ›  git

git 有没有什么好的方法可以抓超过 10G 的 code

  •  
  •   nealwx · Nov 9, 2016 · 6120 views
    This topic created in 3648 days ago, the information mentioned may be changed or developed.

    前提:公司的代码托管在 xp-dev 上,主分支大概 10G 多

    国内直接抓的话速度在 20~30k/s
    
    使用代理( ss )抓的话,速度能到 2~3M/s 。
    
    但问题是, 每次透过 ss 进行 git clone 的时候,代码大概抓了 3G 多的时候,就会提示
    
    Write failed : Broken pipe
    fatal: The remote end hung up unexpectedly
    .....
    
    然后就结束了,什么都没有抓下来
    

    请问:有没有什么好一点的方法可以相对快速的将代码抓回本地,谢谢。

    34 replies  •  2016-11-10 17:45:51 +08:00
    kmahyyg
    kmahyyg
    Nov 9, 2016 via Android
    1
    先抓到 vps 再拖回来
    run2
    run2
    Nov 9, 2016
    2
    10G 多...
    完全无法想象,不能分 submodule 么?
    jwk345
    jwk345
    Nov 9, 2016 via iPhone
    3
    压缩拷回来
    wohenyingyu02
    wohenyingyu02
    Nov 9, 2016 via iPhone
    4
    --depth=1 ?
    lhbc
    lhbc
    Nov 9, 2016
    5
    git clone
    tar Jcf source.tar.xz source
    nealwx
    nealwx
    OP
    Nov 9, 2016
    6
    @wohenyingyu02 试过,还是抓不下来
    nealwx
    nealwx
    OP
    Nov 9, 2016
    7
    @jamesxu 可是没有操作权限
    akira
    akira
    Nov 9, 2016
    8
    临时租个近一点的 vps ,把代码克隆下来以后压缩慢慢拉回来
    wsy2220
    wsy2220
    Nov 9, 2016
    9
    git bundle
    pagxir
    pagxir
    Nov 9, 2016 via Android
    10
    1 你需要的是一个稳定的网络,把代码同步完然后 git bundle create 。。。。。
    2 试试每次只 fetch 少量的 commit 。 git fetch origin commit 这么操作。
    iCyMind
    iCyMind
    Nov 9, 2016
    11
    不要把思路局限在 git 上, 试试别的什么 Resilio sync 之类的
    iminto
    iminto
    Nov 9, 2016
    12
    试试其他版本控制系统
    gky99
    gky99
    Nov 9, 2016 via iPhone
    13
    ss 不适合你的需求,搭个 vpn 吧。
    走 ipv6 会更好
    tinyproxy
    tinyproxy
    Nov 9, 2016
    14
    这么肥的仓库,最快的方式不是让你同事打包.git 文件夹拷贝给你么?
    如果你是远程工作或者你在的 site 只有你一个人干这个活当我没说。。。
    misaka19000
    misaka19000
    Nov 9, 2016
    15
    找个在外国的人帮忙抓取一下然后打包发给你
    Tink
    Tink
    Nov 9, 2016
    16
    是在 github 上吗? 是的话我还是建议直接下载 zip,能续传
    winglight2016
    winglight2016
    Nov 9, 2016
    17
    可以压缩 git 库的呀, github 都有这功能
    haozibi
    haozibi
    Nov 9, 2016 via Android
    18
    fetch 好像支持断点续传,没试过这么大的仓库
    bramblex
    bramblex
    Nov 9, 2016❤️1
    19
    6666

    肯定绝大多数都不是代码,而是二进制文件。 /w\
    Chrisplus
    Chrisplus
    Nov 9, 2016
    20
    直接抓
    git clone
    然后,回家睡觉
    exch4nge
    exch4nge
    Nov 9, 2016
    21
    话说楼主不会用了 http/https 的方式吧……
    waytoexplorer
    waytoexplorer
    Nov 9, 2016 via iPhone
    22
    先克隆到自己在国外的 vps 上,然后再打包下载
    Liutos
    Liutos
    Nov 9, 2016
    23
    难道是游戏代码+素材
    nealwx
    nealwx
    OP
    Nov 9, 2016 via Android
    24
    @exch4nge 不是,是 ssh 的方式
    lzhr
    lzhr
    Nov 9, 2016
    25
    csdn 、 oschina 的可以导入 github 的项目,试试?
    nealwx
    nealwx
    OP
    Nov 9, 2016 via Android
    26
    @Liutos @bramblex 最早的 git log 是 08 年的,全是 c/c++ 以及一些页面和图片
    nealwx
    nealwx
    OP
    Nov 9, 2016
    28
    @exch4nge 明天试试
    Technetiumer
    Technetiumer
    Nov 9, 2016
    29
    这个 xp-dev 是啥?如果是百度第一个结果,注册时候不是有地区么,找个那个地区的 VPS ,先 clone 到 VPS 上。

    @lzhr oschina 和 coding 的导入基本没戏,太大了肯定失败。

    ( oschina 和 coding 不是只能导入 github 的项目,其他也可以)
    Monad
    Monad
    Nov 9, 2016
    30
    @nealwx 这个方法可以 我当初就是用这个方法 clone 了一个 Chromium...
    itlr
    itlr
    Nov 9, 2016
    31
    是不是把 window7 的盗版盘都 commit 进去了:)
    nexusone
    nexusone
    Nov 10, 2016 via Android
    32
    我这有爬 github 项目的爬虫,通过 http 爬取,后台用多线程下载,一般挺快
    holy_sin
    holy_sin
    Nov 10, 2016
    33
    真倒霉,我之前也遇到过这种情况,里面好多提交都有 *.lib ,一个文件就 100 M 大小
    ivechan
    ivechan
    Nov 10, 2016
    34
    试过用 ipv6 下载过 chromium 源码, 20 多 G 把, 10M/s 的速度.
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2717 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 64ms · UTC 14:03 · PVG 22:03 · LAX 06:03 · JFK 09:03
    ♥ Do have faith in what you're doing.