使用nodejs+ harbor rest api 进行容器镜像迁移

最近因为基础设施调整，需要进行harbor 镜像仓库的迁移，主要是旧版本很老了，不想使用，直接
打算部署新的，原以为直接使用复制功能就可以，但是发现版本差异太大，直接失败，本打算使用中间
版本过度进行迁移，但是需要测试，好多功能，而且配置有点费事，尽管官方提供了升级说明，但是没敢
用，就怕出故障

解决方法

• rest api 请求流程
  还好harbor 提供了rest api，还算比较全，project , repo,tags, 因为harbor 的界面就是基于bff 模式开发
  的，所以直接通过查看web 的api 请求，直接可以方便的了解api 的请求流程。
• 镜像迁移流程
  容器镜像的额复制功能在harbor早期版本（新版没有太多了解），实际上就是pull push
  所以我的处理方式：
  有两个harbor 服务：新的以及旧的，同时都配置了ssl 证书（可信）
  调用api 获取实际需要的docker image ： 格式dockerimagehost/project/image:tag
  处理同步：

 

docker pull dockerimageold/project/image:tag

docker tag dockerimageold/project/image:tag  dockerimagenew/project/image:tag

docker push dockerimagenew/project/image:tag

详细处理

为了简化同步，使用了管理员的权限，同时对于project 的权限，也是可以通过rest api 操作的

准备上边的同步shell

为了方便使用nodejs 开发

• 项目准备

yarn init -y

• 添加rest api 请求处理npm 包

yarn add node-fetch 

• 添加npm scripts 并行处理npm 包

yarn  add  npm-run-all --dev 

• 简单代码演示

  因为项目原因，只粘贴部分代码，如果后边有时间可以搞成一个通用的服务,同时演示的代码是固定project的，
  当然这样是有原因的，类似分治，可以方便问题project 单独快速处理

 

const fetch = require('node-fetch');

var project_images = []

// fetch project repos

fetch(`https://dockerimageold/api/repositories?project_id=projectid`, {

    method: 'GET',

    headers: {

        'Content-Type': 'application/json',

        "Authorization": "Basic base64username+password"

    }

}).then(res => res.json()).then(repos => {

    repos.forEach(repo => {

        setTimeout(() => {

            fetch(`https://dockerimageold/api/repositories/tags?repo_name=${repo}`, {

                    method: 'GET',

                    headers: {

                        'Content-Type': 'application/json'

                    }

                })

                .then(res => res.json())

                .then(tags => {

                    if (tags.length > 0) {

                        tags.forEach(tag => {

                                let imageinfo = {

                                    reponame: repo,

                                    oldimageinfo: `dockerimageold/${repo}:${tag}`,

                                    newimageinfo: `dockerimagenew/${repo}:${tag}`,

                                    repo_image: `${repo}:${tag}`

                                };

                                project_images.push(imageinfo)

                        });

                    }

                })

                .catch(err => {

                    console.log(repo)

                })

        }, 1000)

    })

})

setTimeout(() => {

    project_images.forEach(item => {

        pull_push_sh = `docker pull dockerimageold/${item.repo_image} && docker tag dockerimageold/${item.repo_image} dockerimagenew/${item.repo_image} && docker push dockerimagenew/${item.repo_image}`

        console.log(pull_push_sh)

    })

}, 10000)

• 以上代码说明
  代码很简单，就是循环处理docker image，因为我们需要的也是docker image
• npm script 添加
  为了方便project，快速生成使用了npm-run-all 可以并行以及串行，快速的生成，很灵活，配置如下：

 

"scripts": {

    "run-all":"npm-run-all remove:sh --parallel g:*",

    "remove:sh":"rm -rf sh/*",

    "g:activitycenter": "node activitycenter.js > sh/activitycenter.sh",

    "g:common": "node common.js > sh/common.sh",

    "g:coredns": "node coredns.js > sh/coredns.sh",

    "g:dalong": "node dalong.js > sh/dalong.sh",

    "g:demo-space": "node demo-space.js > sh/demo-space.sh",

    "g:demoapp": "node demoapp.js > sh/demoapp.sh",

    "g:droneci": "node droneci.js > sh/droneci.sh",

    "g:formbuilder": "node formbuilder.js > sh/formbuilder.sh",

    "g:gf-performance-bulletin": "node gf-performance-bulletin.js > sh/gf-performance-bulletin.sh",

    "g:gitbase": "node gitbase.js > sh/gitbase.sh",

    "g:graylog": "node graylog.js > sh/graylog.sh",

    "g:ingress-nginx": "node ingress-nginx.js > sh/ingress-nginx.sh",

    "g:itapiway": "node itapiway.js > sh/itapiway.sh",

    "g:java": "node java.js > sh/java.sh",

    "g:jenkins-docker": "node jenkins-docker.js > sh/jenkins-docker.sh",

    "g:jenkins": "node jenkins.js > sh/jenkins.sh",

    "g:jira": "node jira.js > sh/jira.sh"

  }

说明：
我没生成的使用都是执行 yarn run-all 但是为了保证数据都是新的，每次都先删除老的shell，重新生成，同时对于生成
是并行的，可以快速帮助我们生成shell

• 项目结构
  项目结构大体如下：（我删除了部分）

 

├── README.md

├── code

│ ├── activitycenter.js

│ ├── app.js

│ ├── common.js

│ ├── coredns.js

│ ├── dalong.js

│ ├── demo-space.js

│ ├── demoapp.js

│ ├── droneci.js

│ ├── formbuilder.js

│ ├── gf-performance-bulletin.js

│ ├── gitbase.js

│ ├── graylog.js

│ ├── ingress-nginx.js

│ ├── itapiway.js

  .......

│ ├── java.js

│ ├── jenkins-docker.js

│ ├── rhel7.js

│ ├── sh

│ │ ├── activitycenter.sh

│ │ ├── common.sh

│ │ ├── coredns.sh

│ │ ├── dalong.sh

│ │ ├── demo-space.sh

│ │ ├── demoapp.sh

 ......

│ │ ├── droneci.sh

│ │ ├── formbuilder.sh

│ │ ├── gf-performance-bulletin.sh

│ │ ├── gitbase.sh

│ │ ├── graylog.sh

│ │ ├── ingress-nginx.sh

│ └── yarn.lock

└── run.sh

• 一键式同步
  因为上边以及生成的单proejct 的同步shell，所以为了方便，外部有一个run.sh 的文件，可以批量执行同步，之后就是dns 记录的修改了
  新镜像使用以前的域名（这个需要重新生成安装，但是因为数据是使用了数据卷，没关系）
  代码如下：

 

#!/usr/bin/sh

for file in code/sh/*.sh; do

   ./$file

done

同步执行

很简单，我们只需要执行 sh run.sh 就可以了，注意shell 脚本需要添加执行权限

说明

对于用户、权限的额同步，以上没有列出来，但是我们也是可以调用rest api 处理的，而且上边的代码，部分是写死的，后边
找点时间重构下，搞成一个通用的工具，方便迁移

参考资料

https://github.com/goharbor/harbor 
https://github.com/mysticatea/npm-run-all 
https://github.com/bitinn/node-fetch