投稿
  1. 簡單一點首頁
  2. 投稿

教你如何搭建Docker私有倉庫，docker私有倉庫搭建

投稿專員 • • 投稿

Docker容器應用的開發和運行離不開可靠的鏡像管理，雖然Docker官方也提供了公共的鏡像倉庫，但是從安全和效率等方面考慮，部署我們私有環境內的Registry也是非常必要的。Harbor 是由VMware公司開源的企業級的Docker Registry管理項目，它包括許可權管理(RBAC)、LDAP、日誌審核、管理界面、自我註冊、鏡像複製和中文支持等功能。

Harbor 的所有組件都在 Dcoker 中部署，所以 Harbor 可使用 Docker Compose 快速部署。

註： 由於 Harbor 是基於 Docker Registry V2 版本，所以 docker 版本必須 > = 1.10.0 docker-compose >= 1.6.0

Harbor的目標是幫助用戶迅速搭建一個企業級的Docker registry服務。它以Docker公司開源的registry為基礎，額外提供了如下功能:

  • 基於角色的訪問控制(Role Based Access Control)
  • 基於策略的鏡像複製(Policy based image replication)
  • 鏡像的漏洞掃描(Vulnerability Scanning)
  • AD/LDAP集成(LDAP/AD support)
  • 鏡像的刪除和空間清理(Image deletion & garbage collection)
  • 友好的管理UI(Graphical user portal)
  • 審計日誌(Audit logging)
  • RESTful API
  • 部署簡單(Easy deployment)

架構圖#

  • https://github.com/goharbor/harbor

Harbor的每個組件都是以Docker容器的形式構建的，可以使用Docker Compose來進行部署。如果環境中使用了kubernetes，Harbor也提供了kubernetes的配置文件。

Harbor大概需要以下幾個容器組成：ui(Harbor的核心服務)、log(運行著rsyslog的容器，進行日誌收集)、mysql(由官方mysql鏡像構成的資料庫容器)、Nginx(使用Nginx做反向代理)、registry(官方的Docker registry)、adminserver(Harbor的配置數據管理器)、jobservice(Harbor的任務管理服務)、redis(用於存儲session)。

Harbor是一個用於存儲和分發Docker鏡像的企業級Registry伺服器，整體架構還是很清晰的。下面借用了網上的架構圖:

「Harbor學習筆記」-教你快速搭建Docker私有倉庫

Harbor依賴的外部組件#

  • -> Nginx(即Proxy代理層): Nginx前端代理，主要用於分發前端頁面ui訪問和鏡像上傳和下載流量; Harbor的registry,UI,token等服務，通過一個前置的反向代理統一接收瀏覽器、Docker客戶端的請求，並將請求轉發給後端不同的服務。
  • -> Registry v2: 鏡像倉庫，負責存儲鏡像文件; Docker官方鏡像倉庫, 負責儲存Docker鏡像，並處理docker push/pull命令。由於我們要對用戶進行訪問控制，即不同用戶對Docker image有不同的讀寫許可權，Registry會指向一個token服務，強制用戶的每次docker pull/push請求都要攜帶一個合法的token, Registry會通過公鑰對token進行解密驗證。
  • -> Database(MySQL或Postgresql)：為core services提供資料庫服務，負責儲存用戶許可權、審計日誌、Docker image分組信息等數據。

Harbor自有組件#

  • -> Core services(Admin Server): 這是Harbor的核心功能，主要提供以下服務：
    • -> UI：提供圖形化界面，幫助用戶管理registry上的鏡像（image）, 並對用戶進行授權。
    • -> webhook：為了及時獲取registry 上image狀態變化的情況， 在Registry上配置webhook，把狀態變化傳遞給UI模塊。
    • -> Auth服務：負責根據用戶許可權給每個docker push/pull命令簽發token. Docker 客戶端向Regiøstry服務發起的請求,如果不包含token，會被重定向到這裡，獲得token後再重新向Registry進行請求。
    • -> API: 提供Harbor RESTful API
  • -> Replication Job Service：提供多個 Harbor 實例之間的鏡像同步功能。
  • -> Log collector：為了幫助監控Harbor運行，負責收集其他組件的log，供日後進行分析。

核心組件#

  • Proxy：一個nginx的前端代理，代理Harbor的registry,UI, token等服務。-通過深藍色先標識
  • db：負責儲存用戶許可權、審計日誌、Dockerimage分組信息等數據。
  • UI：提供圖形化界面，幫助用戶管理registry上的鏡像, 並對用戶進行授權。
  • jobsevice：jobsevice是負責鏡像複製工作的，他和registry通信，從一個registry pull鏡像然後push到另一個registry，並記錄job_log。通過紫色線標識
  • Adminserver：是系統的配置管理中心附帶檢查存儲用量，ui和jobserver啟動時候回需要載入adminserver的配置。通過灰色線標識；
  • Registry：鏡像倉庫，負責存儲鏡像文件。當鏡像上傳完畢後通過hook通知ui創建repository，上圖通過紅色線標識，當然registry的token認證也是通過ui組件完成。通過紅色線標識
  • Log：為了幫助監控Harbor運行，負責收集其他組件的log，供日後進行分析。過docker的log-driver把日誌匯總到一起，通過淺藍色線條標識

安裝#

1. 下載離線安裝包#

  • Harbor以容器的形式進行部署, 因此可以被部署到任何支持Docker的Linux發行版, 要使用Harbor，需要安裝docker和docker-compose編排工具
  • 訪問harbor release page，下載Harbor軟體tgz壓縮包
  • 或執行如下命令 wget https://storage.googleapis.com/harbor-releases/release-2.0.0/harbor-offline-installer-latest.tgz
  • 解壓tgz壓縮包 tar xvf harbor-offline-installer-<version>.tgz

2. 配置 harbor.cfg （harbor.yml）#

註： 新版本是.yaml文件，之前版本是.conf 或者 .cfg文件

  • 解壓後文件在當前目錄下的harbor/目錄下 cd harbor/ vim harbor.cfg harbor_admin_password = Harbor12345

3. 啟動 Harbor#

  • 配置完後，執行安裝腳本 ./install.sh #會拉取好幾個鏡像下來，及檢查環境 Note: docker version: 1.12.5 Note: docker-compose version: 1.9.0 [Step 0]: checking installation environment … …. [Step 1]: loading Harbor images … …. [Step 2]: preparing environment … …. [Step 3]: checking existing instance of Harbor … …. [Step 4]: starting Harbor … ✔ —-Harbor has been installed and started successfully.—- … For more details, please visit https://github.com/vmware/harbor . 安裝完成後，會發現解壓目錄harbor下面多了一個docker-compose.yml文件，裡面包含了harbor依賴的鏡像和對應容器創建的信息
  • 執行 docker-compose ps (執行docker-compose需在包含docker-compose.yml的目錄) , 確保 container 的狀態都是up (healthy).
  • 如果安裝一切順利，通過之前在harbor.cfg配置的hostname即可以訪問到前端了.

安裝配置問題#

Harbor安裝 之後，需要用docker-compose ps 命令去查看狀態，保證所有docker 容器都是 healthy, 否則 很可能login harbor 失敗

「Harbor學習筆記」-教你快速搭建Docker私有倉庫

如果那個service 啟動不正常，就去查看/var/log/harbor/ 下對應的log

owen@swarm-node-107:/disk/harbor_v2.0.0$ ls /var/log/harbor/ -lht
總用量 22M
-rw-r--r-- 1 10000 10000 3.5M 12月 15 23:03 registryctl.log
-rw-r--r-- 1 10000 10000 5.4M 12月 15 23:02 core.log
-rw-r--r-- 1 10000 10000 4.4M 12月 15 23:02 portal.log
-rw-r--r-- 1 10000 10000 4.9M 12月 15 23:02 registry.log
-rw-r--r-- 1 10000 10000 1.2M 12月 15 23:02 proxy.log
-rw-r--r-- 1 10000 10000 392K 12月 15 23:00 redis.log
-rw-r--r-- 1 10000 10000 1.6M 12月 15 23:00 jobservice.log
-rw-r--r-- 1 10000 10000  53K 12月 14 21:42 postgresql.log
-rw-r--r-- 1 10000 10000  65K 7月   7 23:35 clair.log
-rw-r--r-- 1 10000 10000 1.2K 7月   5 11:43 clair-adapter.log
-rw-r--r-- 1 10000 10000 1.4K 7月   5 11:38 chartmuseum.log

修改harbor的運行配置，需要如下步驟：

# 停止 harbor
 docker-compose down -v
# 修改配置
 vim harbor.cfg
# 執行./prepare已更新配置到docker-compose.yml文件
 ./prepare
# 啟動 harbor
 docker-compose up -d

問題-1 服務啟動異常#

ubuntu@172-20-16-51:/opt/harbor$ docker login 192.20.16.51
Username: admin
Password:
Error response from daemon: login attempt to http://192.20.16.51/v2/ failed with status: 502 Bad Gateway

Harbor-db service 不能正常啟動，最後查看postgresql.log 發現下面 message.

 | initdb: directory "/var/lib/postgresql/data" exists but is not empty
 | If you want to create a new database system, either remove or empty
 | the directory "/var/lib/postgresql/data" or run initdb
 | with an argument other than "/var/lib/postgresql/data".

因為當時/data/datebase 目錄下，確實不是empty, 手動改了docker-compose.yml ，然後 docker-compose up -d 重新啟動容器，服務正常

  postgresql:
    image: goharbor/harbor-db:v2.0.0
    container_name: harbor-db
    restart: always
    cap_drop:
      - ALL
    cap_add:
      - CHOWN
      - DAC_OVERRIDE
      - SETGID
      - SETUID
    volumes:
      - /data/database:/var/lib/postgresql/data:z

問題-2- dial tcp xxx.xxx.xxx.xxx:443: connect: connection refused#

# docker login 192.20.16.51:80
Username: admin
Password:
Error response from daemon: Get https://192.20.16.51:80/v2/: http: server gave HTTP response to HTTPS client
或者
Error response from daemon: Get https://192.168.31.107/v2/: dial tcp 192.168.31.107:443: connect: connection refused

docker1.3.2版本開始默認docker registry使用的是https，·Harbor默認安裝使用的是HTTP協議·，所以當執行用docker login、pull、push等命令操作非https的docker regsitry的時就會報錯。

臨時解決辦法：需要在每一台harbor客戶端機器都要設置”insecure-registries” (徹底解決需要啟動Harbor HTTPS證書)

  • 如果系統是MacOS，則可以點擊「Preference」裡面的「Advanced」在「Insecure Registry」里加上hostname (e.g. docker.bksx.com)，重啟Docker客戶端就可以了。
  • 如果系統是Ubuntu，則修改配置文件/lib/systemd/system/docker.service，修改[Service]下ExecStart參數，增加–insecure-registry hostname (e.g. docker.bksx.com)
  • 如果系統是Centos，可以修改配置/etc/sysconfig/docker，將OPTIONS增加 –insecure-registry hostname (e.g. docker.bksx.com)

如果是新版本的docker在/etc/sysconfig/ 沒有docker這個配置文件的情況下。

#在daemon.json中添加以下參數
[root@localhost harbor]# cat /etc/docker/daemon.json
{
  "insecure-registries": [
    "hostname"
  ]
}

注意：該文件必須符合 json 規範，否則 Docker 將不能啟動。另外hostname 必須與harbor.cfg 里的hostname 一致。

添加完了後重新啟動 docker：systemctl daemon-reload && systemctl enable docker && systemctl restart docker

登錄後，賬號信息都保存到本機的~/.docker/config.json

owen@swarm-manager-105:~/gitee/vnote_notebooks$ docker login 192.168.31.107
Username: admin
Password: 
WARNING! Your password will be stored unencrypted in /home/owen/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded
owen@swarm-manager-105:~/gitee/vnote_notebooks$ cat ~/.docker/config.json 
{
	"auths": {
		"192.168.31.107": {
			"auth": "YWRtaW46SGFyYm9yMTIzNDU="
		}
	},
	"HttpHeaders": {
		"User-Agent": "Docker-Client/19.03.14 (linux)"
	}

問題-3 防止容器進程沒有許可權讀取生成的配置#

「Harbor學習筆記」-教你快速搭建Docker私有倉庫

原創文章，作者：投稿專員，如若轉載，請註明出處：https://www.506064.com/zh-tw/n/229959.html

贊 (0)
打賞 微信掃一掃 微信掃一掃 支付寶掃一掃 支付寶掃一掃
投稿專員的頭像投稿專員
0 0
上一篇 2024-12-10 13:17
下一篇 2024-12-10 13:17

相關推薦

發表回復

登錄後才能評論