提高GitClone速度的方法

一、网络优化

1、选择合适的源:Git底层是利用HTTP/HTTPS或SSH协议传输数据的,不同的Git源服务器地理位置不同、网络带宽也不同,选择合适的源对于Git Clone的速度有巨大的影响。GitHub和GitLab因为国内网络封锁问题,所以访问速度相对较慢,可以选择一些国内的Git镜像,如:阿里云、华为云、清华大学、中科院等。

2、修改Git默认缓存:Git 1.8版本后默认开启了HTTP缓存,
缓存数据保存在~/.gitconfig中,这里主要讲的是位于缓存数据中的HTTP数据缓存。如果git clone一个存在大量小文件的仓库,而HTTP响应头中Content-Length 不存在或错误就会影响性能,这是因为如果长度错误,缓存有可能还会等待服务器发送数据。而如果服务器使用chunked编码则会缓存全部内容,从而浪费空间且降低性能。修改Git默认缓存的方法是在~/.gitconfig中添加下列代码:

[http]
    postBuffer = 524288000
    maxRequestBuffer = 100M
    maxBufferSize = 5G

二、开启SHALLOW Clone

默认情况下,Git Clone会将整个项目从服务器上完整的clone下来,这通常会包含每一个历史commit,这意味着你的clone会非常庞大,时间也非常长,是非常低效的。而开启shallow clone可以只下载一个项目的补丁(patch),让clone速度更快。

使用Shallow Clone只需要在clone时添加–depth参数,后面跟的数字表示只clone最近的多少个commit速度就会大大提升,虽然不是完整的,但对于开发者而言已经足够了,对于那些只需要关注某一版本的人工作足矣。

git clone --depth=1 git://github.com/user/repo.git

三、使用git-lfs

大型仓库往往会包含许多大文件,Git v1.5.6及之前版本并没有提供大文件处理的相关功能,然而,Git官方却开发出一个名为 Git Large File Storage 的扩展 Git-lfs。Git LFS 用于管理Git仓库中的徐大文件(大于100 MB),并以异步形式在本地和远程仓库之间传递。使用 Git-lfs 可以使大型仓库的checkouts和clones速度得到大幅提升。

可以使用以下步骤安装Git LFS:

  1. 安装git-lfs。具体安装步骤参阅:https://git-lfs.github.com/。
  2. 确保Git LFS文件正确地提交到仓库。在提交前,请使用以下命令将您的大文件标记为“指针”:
  3. git lfs track "*.mp4"
  4. 提交更改,并push到远程仓库。

四、使用 Gitsync 进行多线程Clone

大型代码库的Clone非常耗时间,尤其是在有些环境下Git服务器的带宽受到限制。在这种情况下,您需要让Clone并行,以加速clone速度。Gitsync 工具提供了一种自动化多线程Clone方法。Gitsync 并行clone多个时可以充分利用服务器性能,加快clone的速度。

以下是使用 Gitsync 进行多线程Clone的步骤:

  1. 安装Gitsync: pip3 install gitsync
  2. 编写配置文件:
    {
        "github.com/user/repo": {
            "dst": "/path/to/clone/directory",
            "timeout": 10,
            "n_process": 4,  
            "depth": 1,
            "extra": "--stategy=ours"
    
        }
    }
     
  3. 运行gitsync:gitsync --conf conf.json

这里conf.json文件中的各个参数说明如下:

  • github.com/user/repo:是需要clone的项目
  • dst:本地目录
  • timeout:连接超时时间,单位是秒
  • n_process:同时运行clone的数量
  • depth: –depth 参数,类似 –depth=1
  • extra:额外的参数。可以为git clone命令提供额外的参数

原创文章,作者:小蓝,如若转载,请注明出处:https://www.506064.com/n/186203.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
小蓝小蓝
上一篇 2024-11-27 05:44
下一篇 2024-11-27 05:44

相关推荐

  • 解决.net 6.0运行闪退的方法

    如果你正在使用.net 6.0开发应用程序,可能会遇到程序闪退的情况。这篇文章将从多个方面为你解决这个问题。 一、代码问题 代码问题是导致.net 6.0程序闪退的主要原因之一。首…

    编程 2025-04-29
  • ArcGIS更改标注位置为中心的方法

    本篇文章将从多个方面详细阐述如何在ArcGIS中更改标注位置为中心。让我们一步步来看。 一、禁止标注智能调整 在ArcMap中设置标注智能调整可以自动将标注位置调整到最佳显示位置。…

    编程 2025-04-29
  • Python创建分配内存的方法

    在python中,我们常常需要创建并分配内存来存储数据。不同的类型和数据结构可能需要不同的方法来分配内存。本文将从多个方面介绍Python创建分配内存的方法,包括列表、元组、字典、…

    编程 2025-04-29
  • Python中init方法的作用及使用方法

    Python中的init方法是一个类的构造函数,在创建对象时被调用。在本篇文章中,我们将从多个方面详细讨论init方法的作用,使用方法以及注意点。 一、定义init方法 在Pyth…

    编程 2025-04-29
  • 用不同的方法求素数

    素数是指只能被1和自身整除的正整数,如2、3、5、7、11、13等。素数在密码学、计算机科学、数学、物理等领域都有着广泛的应用。本文将介绍几种常见的求素数的方法,包括暴力枚举法、埃…

    编程 2025-04-29
  • 使用Vue实现前端AES加密并输出为十六进制的方法

    在前端开发中,数据传输的安全性问题十分重要,其中一种保护数据安全的方式是加密。本文将会介绍如何使用Vue框架实现前端AES加密并将加密结果输出为十六进制。 一、AES加密介绍 AE…

    编程 2025-04-29
  • Python中读入csv文件数据的方法用法介绍

    csv是一种常见的数据格式,通常用于存储小型数据集。Python作为一种广泛流行的编程语言,内置了许多操作csv文件的库。本文将从多个方面详细介绍Python读入csv文件的方法。…

    编程 2025-04-29
  • Python学习笔记:去除字符串最后一个字符的方法

    本文将从多个方面详细阐述如何通过Python去除字符串最后一个字符,包括使用切片、pop()、删除、替换等方法来实现。 一、字符串切片 在Python中,可以通过字符串切片的方式来…

    编程 2025-04-29
  • 用法介绍Python集合update方法

    Python集合(set)update()方法是Python的一种集合操作方法,用于将多个集合合并为一个集合。本篇文章将从以下几个方面进行详细阐述: 一、参数的含义和用法 Pyth…

    编程 2025-04-29
  • Vb运行程序的三种方法

    VB是一种非常实用的编程工具,它可以被用于开发各种不同的应用程序,从简单的计算器到更复杂的商业软件。在VB中,有许多不同的方法可以运行程序,包括编译器、发布程序以及命令行。在本文中…

    编程 2025-04-29

发表回复

登录后才能评论