harbor镜像仓库原理和安装

原地址：harbor镜像仓库

目录

一：Harbor简介

1. docker registry的缺点：

2. Harbor优点

3. Harbor介绍

Harbor官方网站：http://vmware.github.io/harbor/

二：Harbor主要组件

三：Harbor架构

1. Harbor登录过程

2. Docker push 的过程

四:harbor镜像仓库部署

1. 安装harbor环境

2. 安装harobr镜像仓库

五：Harbor使用

2. 创建镜像项目kubernetes

3. 测试harbor仓库可用性

报错1：镜像直接上传到harbor正常，但是通过nginx一直显示超时：

报错2: 在拉取镜像的时候，会抛出仓库不受信任的异常。

六：harbor镜像仓库高可用

高可用方案有两种：

1. 双主复制

2. 多harbor实例共享后端存储，

1. 创建用户

2. 项目中添加用户

3. 仓库管理中添加目标

4. 添加复制规则

5. 测试harbor仓库可用性

镜像自动化删除

问题：registry https://192.168.70.120 is unhealthy: unhealthy

一：Harbor简介

Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器。

Harbor和Registry都是Docker的镜像仓库，但是Harbor作为更多企业的选择，是因为相比较于Regisrty来说，它具有很多的优势。

1. docker registry的缺点：

  • 缺少认证机制，任何人都可以随意拉取及上传镜像，安全性缺失
  • 缺乏镜像清理机制，镜像可以push却不能删除，日积月累，占用空间会越来越大
  • 缺乏相应的扩展机制

2. Harbor优点

a.提供分层传输机制，优化网络传输

Docker镜像是是分层的，而如果每次传输都使用全量文件(所以用FTP的方式并不适合)，显然不经济。必须提供识别分层传输的机制，以层的UUID为标识，确定传输的对象。

b.提供WEB界面，优化用户体验

只用镜像的名字来进行上传下载显然很不方便，需要有一个用户界面可以支持登陆、搜索功能，包括区分公有、私有镜像。

c.支持水平扩展集群

当有用户对镜像的上传下载操作集中在某服务器，需要对相应的访问压力作分解。

d.良好的安全机制

企业中的开发团队有很多不同的职位，对于不同的职位人员，分配不同的权限，具有更好的安全性。

e.Harbor提供了基于角色的访问控制机制，并通过项目来对镜像进行组织和访问权限的控制。

kubernetes中通过namespace来对资源进行隔离，在企业级应用场景中，通过将两者进行结合可以有效将kubernetes使用的镜像资源进行管理和访问控制，增强镜像使用的安全性。尤其是在多租户场景下，可以通过租户、namespace和项目相结合的方式来实现对多租户镜像资源的管理和访问控制。

3. Harbor介绍

镜像的存储harbor使用的是官方的docker registry(v2命名是distribution)服务去完成。harbor在docker distribution的基础上增加了一些安全、访问控制、管理的功能以满足企业对于镜像仓库的需求。harbor以docker-compose的规范形式组织各个组件，并通过docker-compose工具进行启停。

docker的registry是用本地存储或者s3都是可以的，harbor的功能是在此之上提供用户权限管理、镜像复制等功能，提高使用的registry的效率。Harbor的镜像拷贝功能是通过docker registry的API去拷贝，这种做法屏蔽了繁琐的底层文件操作、不仅可以利用现有docker registry功能不必重复造轮子，而且可以解决冲突和一致性的问题。

Harbor官方网站：http://vmware.github.io/harbor/

Harbor源码地址：https://github.com/vmware/harbor/

二：Harbor主要组件

Proxy：对应启动组件nginx。它是一个nginx反向代理，代理Notary client（镜像认证）、Docker client（镜像上传下载等）和浏览器的访问请求（CoreService）给后端的各服务；

UI（Core Service）：对应启动组件harbor-ui。底层数据存储使用mysql数据库，主要提供了四个子功能：

  • UI：一个web管理页面ui；
  • API：Harbor暴露的API服务；
  • Auth：用户认证服务，decode后的token中的用户信息在这里进行认证；auth后端可以接db、ldap、uaa三种认证实现；
  • Token服务（上图中未体现）：负责根据用户在每个project中的role来为每一个docker push/pull命令issuing一个token，如果从docker client发送给 registry的请求没有带token，registry会重定向请求到token服务创建token。

Registry：对应启动组件registry。负责存储镜像文件，和处理镜像的pull/push命令。Harbor对镜像进行强制的访问控制，Registry会将客户端的每个pull、push请求转发到token服务来获取有效的token。

Admin Service：对应启动组件harbor-adminserver。是系统的配置管理中心附带检查存储用量，ui和jobserver启动时候需要加载adminserver的配置；

Job Sevice：对应启动组件harbor-jobservice。负责镜像复制工作的，他和registry通信，从一个registry pull镜像然后push到另一个registry，并记录job_log；

Log Collector：对应启动组件harbor-log。日志汇总组件，通过docker的log-driver把日志汇总到一起；

Volnerability Scanning：对应启动组件clair。负责镜像扫描

Notary：对应启动组件notary。负责镜像认证

DB：对应启动组件harbor-db，负责存储project、 user、 role、replication、image_scan、access等的metadata数据。

需要说明的是，harbor的每个组件都是以Docker容器的形式构建的，可以使用Docker Compose来进行部署，当然，如果你的环境中使用了kubernetes，harbor也提供了kubernetes的配置文件。

docker镜像：harbor-jobservice, nginx, harbor-core, redis, harbor-portal, harbor-db, registry, registryctl, harbor-log

harbor共有8个容器组成：

  • ui：harbor的核心服务。
  • log：运行着rsyslog的容器，进行日志收集。
  • mysql：由官方mysql镜像构成的数据库容器
  • nginx：使用Nginx做反向代理
  • registry：官方的Docker registry
  • adminserver：harbor的配置数据管理器
  • jobservice：Harbor的任务管理服务。
  • redis：用于存储session

三：Harbor架构

1. Harbor登录过程

假设Harbor部署在IP为192.168.1.10的主机上。用户运行docker命令将登录请求发送到Harbor：

$ docker login 192.168.1.10

用户输入所需凭证后，Docker客户端向地址“192.168.1.10/v2/”发送HTTP GET请求。Harbor的不同容器将按照以下步骤进行处理：

（a）首先，该请求由监听端口80的代理容器接收。容器中的Nginx将请求转发到后端的registry容器。

（b）Registry容器已配置为基于令牌的身份验证，因此它返回错误代码401，通知Docker客户端从指定的URL获取有效的令牌。在Harbor，这个URL指向核心服务的令牌服务;

（c）Docker客户端收到此错误代码后，会根据HTTP规范的基本认证向令牌服务URL发送请求，将请求头部嵌入用户名和密码;

（d）通过端口80将该请求发送到代理容器后，Nginx会根据预先配置的规则再次将该请求转发给UI容器。UI容器内的令牌服务接收请求，解码请求并获取用户名和密码;

（e）获取用户名和密码后，令牌服务将检查数据库，并通过MySql数据库中的数据验证用户。当令牌服务配置为LDAP / AD身份验证时，它将对外部LDAP / AD服务器进行身份验证。认证成功后，令牌服务返回一个表示成功的HTTP代码。HTTP响应体包含由私钥生成的令牌。

2. Docker push 的过程

（我们省略了代理转发步骤，上图显示了Docker推送过程中不同组件之间的通信）

用户成功登录后，Docker Image将通过Docker Push命令发送到Harbor：

# docker push 192.168.1.10/library/hello-world

（a）首先，码头客户端通过向注册表发送请求重复类似登录的过程，然后取回令牌服务的URL;

（b）随后，当接触令牌服务时，Docker客户端提供附加信息以在image（library/ hello-world）上应用推送操作的令牌;

（c）收到Nginx转发的请求后，令牌服务查询数据库查询用户的角色和权限，以推送image。如果用户具有适当的权限，则对Push操作的信息进行编码，并用私钥对其进行签名，并向Docker客户端生成一个令牌;

（d）在Docker客户端获取令牌之后，它向包含令牌的头部向Registry发送推送请求。一旦Registry接收到请求，它将使用公钥解码令牌并验证其内容。公钥对应于令牌服务的私钥。如果Registry找到令牌有效推送Image，则Image传输过程开始。

四:harbor镜像仓库部署

四:harbor镜像仓库部署

1. 安装harbor环境

系统版本： centos7.6

确认docker 和 docker-compose版本号（docker和docker-compose安装）

[[email protected] harbor]# docker version
Client: Docker Engine - Community
 Version:           18.09.7
Server: Docker Engine - Community
  Version:          18.09.7
[[email protected] harbor]# docker-compose --version
docker-compose version 1.24.1, build 4667896

2. 安装harobr镜像仓库

github官网地址 https://github.com/goharbor/harbor/releases

[[email protected] ~]#  wget https://github.com/goharbor/harbor/releases/download/v1.9.3/harbor-offline-installer-v1.9.3.tgz
[[email protected] ~]# tar -zxvf harbor-offline-installer-v1.9.1.tgz 
[[email protected] ~]# cd harbor/
[[email protected] harbor]# ls
harbor.v1.9.1.tar.gz  harbor.yml  install.sh  LICENSE  prepare
[[email protected] harbor]# ls keys/   #自己制作证书的位置
ikan.key  ikan.pem
 

3.修改主机名，开启https认证并安装

不需要添加域名，到时候nginx直接转发过来即可，和主机名同时支持

数据默认放置在data_volume: /data下，日志在/var/lib/harbor下

[[email protected] harbor]# vim harbor.yml #修改以下这些地方
hostname: harbor1.ikan.com
https:
  port: 443
  certificate: /root/harbor/keys/ikan.pem
  private_key: /root/harbor/keys/ikan.key


[[email protected] harbor]# ./prepare 


prepare base dir is set to /root/harbor


Generated configuration file: /config/log/logrotate.conf


Generated configuration file: /config/log/rsyslog_docker.conf


Generated configuration file: /config/nginx/nginx.conf


Generated configuration file: /config/core/env


Generated configuration file: /config/core/app.conf


Generated configuration file: /config/registry/config.yml


Generated configuration file: /config/registryctl/env


Generated configuration file: /config/db/env


Generated configuration file: /config/jobservice/env


Generated configuration file: /config/jobservice/config.yml


loaded secret from file: /secret/keys/secretkey


Generated certificate, key file: /secret/core/private_key.pem, cert file: /secret/registry/root.crt


Generated configuration file: /compose_location/docker-compose.yml


Clean up the input dir


[[email protected] harbor]# ./install.sh 


 


[Step 0]: checking installation environment ...


 


Note: docker version: 19.03.2


 


Note: docker-compose version: 1.24.1


 


[Step 1]: loading Harbor images ...


cad87ea2da29: Loading layer [==================================================>]  77.02MB/77.02MB


 


安装完成后，它会提示你访问harbor的地址是多少，你就可以直接在浏览器中访问这个地址了。


    

  • 停止服务： docker-compose stop
    • 

  • 开始服务： docker-compose start
    • 




五：Harbor使用


1. 通过界面登陆harbor


https://harbor1.ikan.com ,开启https后默认只走这个





默认用户名和密码 admin Harbor12345





2. 创建镜像项目kubernetes


路径：项目 -> 新建项目 -> 项目名称 kubernetes -> 确认





3. 测试harbor仓库可用性


[[email protected]rbor2 ~]# docker login harbor1.ikan.com


Username: admin


Password:


WARNING! Your password will be stored unencrypted in /root/.docker/config.json.


Configure a credential helper to remove this warning. See


https://docs.docker.com/engine/reference/commandline/login/#credentials-store


 


Login Succeeded


[[email protected] ~]# # 登陆成功后，token会存放在 ～/.docker/config.json.文件里


 


[[email protected] ~]# docker tag busybox harbor.ikan.com/kubernetes/busybox:v0.3


[[email protected] ~]# docker push harbor.ikan.com/kubernetes/busybox:v0.3


The push refers to repository [harbor.ikan.com/kubernetes/busybox]


eac247cb7af5: Layer already exists 


v0.3: digest: sha256:24fd20af232ca4ab5efbf1aeae7510252e2b60b15e9a78947467340607cd2ea2 size: 527




报错1：镜像直接上传到harbor正常，但是通过nginx一直显示超时：


[[email protected] ~]# docker push harbor.ikan.com/kubernetes/busybox:v0.3


The push refers to repository [harbor.ikan.com/kubernetes/busybox]


eac247cb7af5: Retrying in 10 seconds 


解决：需要修改安装包里面Nginx配置文件，删掉scheme的那几行，在反向代理的配置上如果有写的话



报错2: 在拉取镜像的时候，会抛出仓库不受信任的异常。


解决：需要在所有的docker客户端的docker配置文件/etc/docker/daemon.json中添加如下配置：


{ "insecure-registries": ["https://harbor1.ikan.com"], }




六：harbor镜像仓库高可用


高可用方案有两种：


1. 双主复制


所谓的双主复制其实就是复用主从同步实现两个harbor节点之间的双向同步，来保证数据的一致性，然后在两台harbor前端顶一个负载均衡器将进来的请求分流到不同的实例中去，只要有一个实例中有了新的镜像，就是自动的同步复制到另外的的实例中去，这样实现了负载均衡，也避免了单点故障，在一定程度上实现了Harbor的高可用性：




这个方案有一个问题就是有可能两个Harbor实例中的数据不一致。假设如果一个实例A挂掉了，这个时候有新的镜像进来，那么新的镜像就会在另外一个实例B中，后面即使恢复了挂掉的A实例，Harbor实例B也不会自动去同步镜像，这样只能手动的先关掉Harbor实例B的复制策略，然后再开启复制策略，才能让实例B数据同步，让两个实例的数据一致。


在实际生产使用中，主从复制有时候会出现报错。



2. 多harbor实例共享后端存储，


共享后端存储算是一种比较标准的方案，就是多个Harbor实例共享同一个后端存储，包括数据库，redis和本地存储数据；任何一个实例持久化到存储的镜像，都可被其他实例中读取。通过前置LB进来的请求，可以分流到不同的实例中去处理，这样就实现了负载均衡，也避免了单点故障：





这个方案在实际生产环境中部署需要考虑三个问题：


    

      

    1. 共享存储的选取，Harbor的后端存储目前支持AWS S3、Openstack Swift, Ceph等，在我们的实验环境里，就直接使用nfs
      2. 

    2. Session在不同的实例上共享，这个现在其实已经不是问题了，在最新的harbor中，默认session会存放在redis中，我们只需要将redis独立出来即可。可以通过redis sentinel或者redis cluster等方式来保证redis的可用性。在我们的实验环境里，仍然使用单台redis
      3. 

    3. Harbor多实例数据库问题，这个也只需要将harbor中的数据库拆出来独立部署即可。让多实例共用一个外部数据库，数据库的高可用也可以通过数据库的高可用方案保证。
      4. 

    




目前，Harbor官方并未给出具体的高可用部署方案，用户需要根据自己的情况来设计合适的高可用方案并完成部署。主从同步高可用方案，只是一种简单的实现。



0.1 已经有了另一台镜像仓库harbor2


1. 创建用户





2. 项目中添加用户





3. 仓库管理中添加目标


    

  1. 选择系统管理中的仓库管理，点击“新建目标”，如下图
    2. 

  2. 输入对应信息。
    3. 



    

      

    1. 目标名和描述随意，
      2. 

    2. 目录URL为另一台地址，如果为https协议，则证书需要安全。（制作免费的https证书.note）
      3. 

    3. Access ID和Access Secret为有同步权限的账号即可
      4. 

    



    

  1. 点击“测试链接”，显示“测试链接成功”，则表示权限通过，点解“确认”添加即可
    2. 






4. 添加复制规则


    

  1. 在系统管理的复制管理里，点击“新建规则”，如下图
    2. 

  2. 添加规则信息
    3. 



    

      

    1. 名称和描述随意
      2. 

    2. 选择复制模式：Push-based 从本地仓库推送到远程仓库，Pull-based 拉去镜像到本地仓库
      3. 

    3. 镜像过滤规则，包括包含名称，标签等
      4. 

    4. 选择远程镜像仓库和命名空间
      5. 

    5. 选择触发模式，分为手动/定时/事件，镜像是否强制覆盖，是否启动规则等
      6. 

    






5. 测试harbor仓库可用性


这时你推送镜像到镜像仓库harbor1,则在镜像仓库harbor2上也能看到


[[email protected] ~]# docker tag busybox harbor.ikan.com/kubernetes/busybox:v0.4


[[email protected] ~]# docker push harbor.ikan.com/kubernetes/busybox:v0.4


The push refers to repository [harbor.ikan.com/kubernetes/busybox]


eac247cb7af5: Layer already exists 


v0.3: digest: sha256:24fd20af232ca4ab5efbf1aeae7510252e2b60b15e9a78947467340607cd2ea2 size: 527



镜像自动化删除


默认情况下，Harbor将镜像存储在本地磁盘，随着镜像越来越多，可能会导致磁盘空间不够。为了提供磁盘的利用率，需要把不用或者多余的镜像删除。 Harbor提供了删除镜像的功能，但需要手动去处理。


可以采用cron job定期去运行镜像删除脚本来实现镜像自动化删除。脚本通过调用Harbor的RESTful API，来获取要删除镜像的名称和tag。删除镜像的过程如下：


1) 获取所有project并解析project_id字段，得到project的个数；


2) 获取每个project的repo名称；


3) 根据repo名称获取每个repo下的tag并统计个数；


4) 若tag数大于规定的个数，进行排序，删除最早的tag（并不会删除镜像）；


5) 删除镜像，命令如下：


docker-compose stop；


docker run -it --name gc --rm --volumes-from registry vmware/registry:2.6.1-photon garbage-collect /etc/registry/config.yml；


docker-compose start；




问题：registry https://192.168.70.120 is unhealthy: unhealthy




解决：证书自签名，不被信任。





原文地址：https://www.cnblogs.com/wangzhangtao/p/12076441.html
				


				
时间： 2024-10-02 14:20:02 

		


		


	

	
	

		


		
harbor镜像仓库原理和安装的相关文章


								

		

			

                Harbor镜像仓库部署
			

		

		

									

				一.简介 Harbor是VMware中国研发团队开发并开源企业级Registry,对中文支持很友好. Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器. Harbor具有如下特点: 1.基于角色的访问控制 - 用户与Docker镜像仓库通过"项目"进行组织管理,一个用户可以对多个镜像仓库在同一命名空间(project)里有不同的权限. 2.镜像复制 - 镜像可以在多个Registry实例中复制(同步).尤其适合于负载均衡,高可用,混合云和多云的场景. 3.			

		

	

				

		

			

                搭建Vmware Harbor 镜像仓库
			

		

		

									

				1.前置条件 : 需要有docker docker-compose 2.准备安装: mkdir /data mkdir /data/cert 上传server.crt server.key 证书文件到/data/cert下: LDAP服务器防火墙规则加入Harbor IP地址 3. 安装docker yum install docker 4.安装docker-compose curl -L https://github.com/docker/compose/releases/download/1			

		

	

				

		

			

                harbor镜像仓库-https访问配置
			

		

		

									

				1. 证书的生成 在测试或开发环境中,您可以选择使用自签名证书,而不是来自受信任的第三方CA的证书.以下内容将向您展示如何创建自己的CA,并使用您的CA签署服务器证书和客户端证书. 1.1 生成ca证书 [[email protected] ~]# mkdir /docker [[email protected] ~]# cd /docker/ [[email protected] docker]# ll 总用量 0 [[email protected] docker]# openssl gen			

		

	

				

		

			

                CentOS部署Harbor镜像仓库
			

		

		

									

				关于Harbor Harbor是用于存储和分发Docker镜像的镜像仓库服务,相比Docker Registry,Harbor在安全.标识.管理等方面做了增强,更适合企业使用: 官方网站:https://goharbor.io/ 官方开源:https://github.com/goharbor/harbor 环境信息 今天要部署的Harbor版本是1.9.0,本次部署用的机器信息如下: 操作系统:CentOS Linux release 7.7.1908 Docker:19.03.2 docke			

		

	

				

		

			

                Harbor镜像仓库使用精简指南
			

		

		

									

				一.使用管理员分配用户 使用管理员登录harbor控制台,进入"系统管理"--"用户管理",点击创建用户: 填写创建用户表单,即分配一个用户账号: 二.新建项目 使用刚才创建的testuser登录harbor控制台,点击右侧"新建项目" 填写项目名称,并设置项目镜像仓库是否支持公开访问(这里设置为公开 ): 创建完成后,可以看到所建的镜像项目的管理界面: 可以针对该项目,添加可以访问的成员,并赋予权限: 其中, 1)概要:显示项目的总体容量,镜像			

		

	

				

		

			

                Centos 7.x部署Harbor镜像仓库
			

		

		

									

				一.环境准备 OS:CentOS Linux release 7.5.1804 (Core)?IP:172.16.8.46 安装要求如下: 二.docker安装 参考https://blog.csdn.net/xiegh2014/article/details/80454019 三.安装docker-compose curl -L https://github.com/docker/compose/releases/download/1.21.0/docker-compose-$(uname -			

		

	

				

		

			

                docker镜像仓库（3）
			

		

		

									

				目录 搭建镜像仓库 harbor基础 harbor使用 搭建镜像仓库 harbor基础 Docker镜像仓库自建仓库的必要性 默认第三方提供的镜像仓库在海外,例如https://hub.docker.com/,太慢了,所以我们要自己搭建 第三方镜像仓库一般不允许有太多的私有镜像 Harbor镜像仓库的搭建前提条件: 需要安装docker 需要有docker-compose Harbor离线版安装下载地址 下载离线安装的版本,上传到服务器,解压https://github.com/goharbor			

		

	

				

		

			

                巧用Docker镜像仓库Harbor部署私有Mirror服务
			

		

		

									

				本文作者付广平,UnitedStack有云存储工程师,北京邮电大学硕士,从事大数据和云计算相关工作,2016年毕业后加入UnitedStack大数据&容器组,负责Docker.Magnum和Sahara相关工作,Openstack.Docker社区活跃者. 作者别出心裁地使用Harbor搭建了私有Mirror服务,加速外部Docker镜像的下载.编者对原文做了少量修改. Harbor是VMware公司最近开源的企业级Docker Registry项目(https://github.com/vmw			

		

	

				

		

			

                私有镜像仓库Harbor基础介绍与部署
			

		

		

									

				企业级私有镜像仓库Harbor 一:介绍 Harbor,是一个英文单词,意思是港湾,港湾是干什么的呢,就是停放货物的,而货物呢,是装在集装箱中的,说到集装箱,就不得不提到Docker容器,因为docker容器的技术正是借鉴了集装箱的原理.所以,Harbor正是一个用于存储Docker镜像的企业级Registry服务. Registry是Docker官方的一个私有仓库镜像,可以将本地的镜像打标签进行标记然后push到以Registry起的容器的私有仓库中.企业可以根据自己的需求,使用Dokcerf