使用nodejs+ harbor rest api 进行容器镜像迁移

最近因为基础设施调整,需要进行harbor 镜像仓库的迁移,主要是旧版本很老了,不想使用,直接
打算部署新的,原以为直接使用复制功能就可以,但是发现版本差异太大,直接失败,本打算使用中间
版本过度进行迁移,但是需要测试,好多功能,而且配置有点费事,尽管官方提供了升级说明,但是没敢
用,就怕出故障

解决方法

  • rest api 请求流程
    还好harbor 提供了rest api,还算比较全,project , repo,tags, 因为harbor 的界面就是基于bff 模式开发
    的,所以直接通过查看web 的api 请求,直接可以方便的了解api 的请求流程。
  • 镜像迁移流程
    容器镜像的额复制功能在harbor早期版本(新版没有太多了解),实际上就是pull push
    所以我的处理方式:
    有两个harbor 服务:新的以及旧的,同时都配置了ssl 证书(可信)
    调用api 获取实际需要的docker image : 格式dockerimagehost/project/image:tag
    处理同步:
docker pull dockerimageold/project/image:tag
docker tag dockerimageold/project/image:tag  dockerimagenew/project/image:tag
docker push dockerimagenew/project/image:tag

详细处理

为了简化同步,使用了管理员的权限,同时对于project 的权限,也是可以通过rest api 操作的

准备上边的同步shell

为了方便使用nodejs 开发

  • 项目准备
yarn init -y
  • 添加rest api 请求处理npm 包
yarn add node-fetch 
  • 添加npm scripts 并行处理npm 包
yarn  add  npm-run-all --dev 
  • 简单代码演示

    因为项目原因,只粘贴部分代码,如果后边有时间可以搞成一个通用的服务,同时演示的代码是固定project的,
    当然这样是有原因的,类似分治,可以方便问题project 单独快速处理

const fetch = require(‘node-fetch‘);
var project_images = []
// fetch project repos
fetch(`https://dockerimageold/api/repositories?project_id=projectid`, {
    method: ‘GET‘,
    headers: {
        ‘Content-Type‘: ‘application/json‘,
        "Authorization": "Basic base64username+password"
    }
}).then(res => res.json()).then(repos => {
    repos.forEach(repo => {
        setTimeout(() => {
            fetch(`https://dockerimageold/api/repositories/tags?repo_name=${repo}`, {
                    method: ‘GET‘,
                    headers: {
                        ‘Content-Type‘: ‘application/json‘
                    }
                })
                .then(res => res.json())
                .then(tags => {
                    if (tags.length > 0) {
                        tags.forEach(tag => {
                                let imageinfo = {
                                    reponame: repo,
                                    oldimageinfo: `dockerimageold/${repo}:${tag}`,
                                    newimageinfo: `dockerimagenew/${repo}:${tag}`,
                                    repo_image: `${repo}:${tag}`
                                };
                                project_images.push(imageinfo)
                        });
                    }
                })
                .catch(err => {
                    console.log(repo)
                })
        }, 1000)
    })
})
setTimeout(() => {
    project_images.forEach(item => {
        pull_push_sh = `docker pull dockerimageold/${item.repo_image} && docker tag dockerimageold/${item.repo_image} dockerimagenew/${item.repo_image} && docker push dockerimagenew/${item.repo_image}`
        console.log(pull_push_sh)
    })
}, 10000)
  • 以上代码说明
    代码很简单,就是循环处理docker image,因为我们需要的也是docker image
  • npm script 添加
    为了方便project,快速生成使用了npm-run-all 可以并行以及串行,快速的生成,很灵活,配置如下:
"scripts": {
    "run-all":"npm-run-all remove:sh --parallel g:*",
    "remove:sh":"rm -rf sh/*",
    "g:activitycenter": "node activitycenter.js > sh/activitycenter.sh",
    "g:common": "node common.js > sh/common.sh",
    "g:coredns": "node coredns.js > sh/coredns.sh",
    "g:dalong": "node dalong.js > sh/dalong.sh",
    "g:demo-space": "node demo-space.js > sh/demo-space.sh",
    "g:demoapp": "node demoapp.js > sh/demoapp.sh",
    "g:droneci": "node droneci.js > sh/droneci.sh",
    "g:formbuilder": "node formbuilder.js > sh/formbuilder.sh",
    "g:gf-performance-bulletin": "node gf-performance-bulletin.js > sh/gf-performance-bulletin.sh",
    "g:gitbase": "node gitbase.js > sh/gitbase.sh",
    "g:graylog": "node graylog.js > sh/graylog.sh",
    "g:ingress-nginx": "node ingress-nginx.js > sh/ingress-nginx.sh",
    "g:itapiway": "node itapiway.js > sh/itapiway.sh",
    "g:java": "node java.js > sh/java.sh",
    "g:jenkins-docker": "node jenkins-docker.js > sh/jenkins-docker.sh",
    "g:jenkins": "node jenkins.js > sh/jenkins.sh",
    "g:jira": "node jira.js > sh/jira.sh"
  }

说明:
我没生成的使用都是执行 yarn run-all 但是为了保证数据都是新的,每次都先删除老的shell,重新生成,同时对于生成
是并行的,可以快速帮助我们生成shell

  • 项目结构
    项目结构大体如下:(我删除了部分)
├── README.md
├── code
│ ├── activitycenter.js
│ ├── app.js
│ ├── common.js
│ ├── coredns.js
│ ├── dalong.js
│ ├── demo-space.js
│ ├── demoapp.js
│ ├── droneci.js
│ ├── formbuilder.js
│ ├── gf-performance-bulletin.js
│ ├── gitbase.js
│ ├── graylog.js
│ ├── ingress-nginx.js
│ ├── itapiway.js
  .......
│ ├── java.js
│ ├── jenkins-docker.js
│ ├── rhel7.js
│ ├── sh
│ │ ├── activitycenter.sh
│ │ ├── common.sh
│ │ ├── coredns.sh
│ │ ├── dalong.sh
│ │ ├── demo-space.sh
│ │ ├── demoapp.sh
 ......
│ │ ├── droneci.sh
│ │ ├── formbuilder.sh
│ │ ├── gf-performance-bulletin.sh
│ │ ├── gitbase.sh
│ │ ├── graylog.sh
│ │ ├── ingress-nginx.sh
│ └── yarn.lock
└── run.sh
  • 一键式同步
    因为上边以及生成的单proejct 的同步shell,所以为了方便,外部有一个run.sh 的文件,可以批量执行同步,之后就是dns 记录的修改了
    新镜像使用以前的域名(这个需要重新生成安装,但是因为数据是使用了数据卷,没关系)
    代码如下:
#!/usr/bin/sh
for file in code/sh/*.sh; do
   ./$file
done

同步执行

很简单,我们只需要执行 sh run.sh 就可以了,注意shell 脚本需要添加执行权限

说明

对于用户、权限的额同步,以上没有列出来,但是我们也是可以调用rest api 处理的,而且上边的代码,部分是写死的,后边
找点时间重构下,搞成一个通用的工具,方便迁移

参考资料

https://github.com/goharbor/harbor 
https://github.com/mysticatea/npm-run-all 
https://github.com/bitinn/node-fetch

原文地址:https://www.cnblogs.com/rongfengliang/p/11067839.html

时间: 2024-10-10 23:41:47

使用nodejs+ harbor rest api 进行容器镜像迁移的相关文章

阿里云开源 image-syncer 工具,容器镜像迁移同步的终极利器

为什么要做这个工具? 由于阿里云上的容器服务 ACK 在使用成本.运维成本.方便性.长期稳定性上大大超过公司自建自维护 Kubernets 集群,有不少公司纷纷想把之前自己维护 Kubernetes 负载迁移到阿里云 ACK 服务上.在迁移过程中,往往会碰到一个不大不小的坑:那就是怎么把已有的容器镜像平滑的迁移到阿里云镜像服务 ACR 上.这个问题看起来非常简单,如果只有三五个镜像,只要做一次 docker pull/docker push 就能完成,但实际生产中涉及到成千上百个镜像,几 T 的

Harbor实现容器镜像仓库的管理和运维

本次分享主要讲述了在开发运维中的管理容器镜像方法.为了便于说明原理,较多地使用Harbor作为例子. 内容主要包括: 开发和生产环境中镜像仓库的权限控制: 镜像远程同步(复制)的原理: 大规模应用镜像发布方式: 镜像删除和空间回收: Registry高可用性设计. 首先简单介绍一下Harbor项目.Harbor是由VMware中国研发团队负责开发的开源企业级Registry,可帮助用户迅速搭建企业级的Registry服务.该项目发布5多个月以来,深受用户喜爱,在GitHub获得了近1000个点赞

私有容器镜像仓库harbor

私有镜像仓库Harbor 1.Harbor概述 Habor是由VMWare公司开源的容器镜像仓库.事实上,Habor是在Docker Registry上进行了相应的企业级扩展,从而获得了更加广泛的应用,这些新的企业级特性包括:管理用户界面,基于角色的访问控制 ,AD/LDAP集成以及审计日志等,足以满足基本企业需求. 官方地址:https://vmware.github.io/harbor/cn/ 各组件功能如下: harbor-adminserver:配置管理中心 harbor-dbMysql

离线方式对企业级容器镜像仓库Harbor进行搭建

Harbor简述 Habor是由VMWare公司开源的容器镜像仓库.事实上,Habor是在Docker Registry上进行了相应的企业级扩展,从而获得了更加广泛的应用,这些新的企业级特性包括:管理用户界面,基于角色的访问控制 ,AD/LDAP集成以及审计日志等,足以满足基本企业需求. 官方地址:https://vmware.github.io/harbor/cn/ Harbor三种角色: Guest:对指定项目只读权限 Developer:开发人员,读写项目的权限 Admin:项目管理,所有

Docker使用Dockerfile创建支持ssh服务自启动的容器镜像

1. 首先创建一个Dockerfile文件,文件内容如下 # 选择一个已有的os镜像作为基础 FROM centos:centos6 # 镜像的作者 MAINTAINER Fanbin Kong "[email protected]" # 安装openssh-server和sudo软件包,并且将sshd的UsePAM参数设置成no RUN yum install -y openssh-server sudo RUN sed -i 's/UsePAM yes/UsePAM no/g' /

运行docker容器镜像

docker容器可以理解为在盒中运行的进程. 这个盒包含了该进程运行所必须的资源,包括文件系统.系统类库.shell 环境等等. 但这个盒默认是不会运行任何程序的. 1.运行镜像之前,可以先查看本地有那些镜像. # docker images 2.最简单的运行镜像的命令: # docker run 镜像名称 3.查看运行中的容器: # docker ps 4.查看所有的容器镜像 # docker ps -a 5.刚开始使用 Docker ,运行完一个容器,再次运行这个容器,原来的容器内的内容已经

容器镜像国内下载加速----借助阿里

转载自: https://www.cnblogs.com/atuotuo/p/6264800.html 整理归纳: 配置阿里云加速器 1.登录阿里开发平台:https://dev.aliyun.com/search.html 2.点击"创建我的容器镜像" 3. 借助淘宝账号或者新注册的账号登录 4. 登录成功后,左边的 Tab--镜像加速器, 根据不同的操作系统进行配置 下面的截图是以Ubuntu 为例子, Tip: 记得重新加载服务,并且重启docker 服务 原文地址:https:

【K8S学习笔记】Part2:获取K8S集群中运行的所有容器镜像

本文将介绍如何使用kubectl列举K8S集群中运行的Pod内的容器镜像. 注意:本文针对K8S的版本号为v1.9,其他版本可能会有少许不同. 0x00 准备工作 需要有一个K8S集群,并且配置好了kubectl命令行工具来与集群通信.如果未准备好集群,那么你可以使用Minikube创建一个K8S集群,或者你也可以使用下面K8S环境二者之一: Katacoda Play with Kubernetes 如果需要查看K8S版本信息,可以输入指令kubectl version. 在本练习中,我们将使

[Docker]容器镜像

 1.rootfs的基础知识 Mount namespaces 隔离的是文件系统挂接点,它使每个容器能看到不同的文件系统层次结构,即每当创建一个新容器时,希望容器进程看到的文件系统时一个独立的隔离环境,而不是继承自宿主机的文件系统. Mount Namespace修改的是容器进程对文件系统挂载点的认知.这意味着只有在挂载操作(mount)发生之后,进程的视图才会发生改变,而在此之前,新创建的容器会直接继承宿主机的各个挂载点.因而在创建新进程时,除了声明要启用的Mount  Namespace之外