Harbor 批量清理历史镜像
公司 Harbor 仓库一年多没清理,硬盘被堆满了,为此写了个批量清除的 Python 脚本。
# coding: utf-8
from operator import itemgetter
from urllib import parse
import requests
import datetime as dt
# import maya
import logging
logging.basicConfig(filename='harbor_clean.txt', filemode="w", level=logging.INFO)
logger = logging.getLogger(__name__)
"""
清理 Harbor 仓库的老镜像
"""
class HarborCleaner(object):
delete_status = {
200: "Delete tag successfully.",
400: "Invalid repo_name.",
401: "Unauthorized.",
403: "Forbidden.",
404: "Repository or tag not found.",
}
def __init__(self, user: str, password: str, hostname: str, port: int, use_https=True):
scheme = "https" if use_https else "http"
api_base = f"{scheme}://{hostname}:{port}/api"
self.search_api = api_base + "/search?q={key_word}"
self.projects_api = api_base + "/projects"
self.repository_query_api = api_base + "/repositories?project_id={project_id}"
# repo_name 一般为 "project_name/repo_name" 格式,必须做转义处理(因为中间有斜杠)
self.repository_tags_api = api_base + "/repositories/{repo_name}/tags"
self.repository_tag_api = self.repository_tags_api + "/{tag}"
self.session = requests.Session()
self.session.verify = False # 如果公司是使用自签名证书,不能通过 SSL 验证,就需要设置这个
self.session.headers = {
"Accept": "application/json"
}
self.session.auth = (user, password)
def get_all_projects(self):
resp = self.session.get(self.projects_api)
success = resp.status_code == 200
return {
"success": success,
"data": resp.json() if success else resp.text
}
def get_all_repos(self, project: dict):
url = self.repository_query_api.format(project_id=project['project_id'])
resp = self.session.get(url)
success = resp.status_code == 200
return {
"success": success,
"data": resp.json() if success else resp.text
}
def get_all_tags(self, repo: dict):
"""repo_name 需要做转义"""
repo_name = parse.quote(repo['name'], safe="")
url = self.repository_tags_api.format(repo_name=repo_name)
resp = self.session.get(url)
success = resp.status_code == 200
return {
"success": success,
"data": resp.json() if success else resp.text
}
def get_tags_except_lastest_n(self, repo: dict, n: int):
"""获取除了最新的 n 个 tag 之外的所有 tags"""
# 如果 tags 数小于 n + 1,说明该镜像不需要做清理。
if repo['tags_count'] <= n+1: # +1 是因为 latest 是重复的 tag
return []
result = self.get_all_tags(repo)
tags: list = result['data']
for tag in tags:
# tag['time'] = maya.MayaDT.from_iso8601(tag['created'])
# '2019-04-09T11:33:49.296960745Z'
# # python 自带的解析函数,只能处理 6 位小数,下面截去多余的三位
timestamp = tag['created'][:-4] + 'Z'
tag['time'] = dt.datetime.strptime(timestamp, r'%Y-%m-%dT%H:%M:%S.%fZ')
tags.sort(key=itemgetter('time')) # 使用 time 键进行原地排序
return tags[:-n-1] # expect the latest n tags, -1 是因为 latest 是重复的 tag
def soft_delete_tag(self, repo: dict, tag: dict):
"""repo_name 需要做转义
这里删除后,还需要进行一次 GC,才能真正地清理出可用空间。
"""
repo_name = parse.quote(repo['name'], safe="")
url = self.repository_tag_api.format(repo_name=repo_name, tag=tag['name'])
resp = self.session.delete(url)
return {
"success": resp.status_code == 200,
"message": self.delete_status.get(resp.status_code)
}
def soft_delete_all_tags_except_latest_n(self, n):
"""从每个仓库中,删除所有的 tags,只有最新的 n 个 tag 外的所有 tags 除外"""
res_projects = self.get_all_projects()
if not res_projects['success']:
logger.warning("faild to get all projects, message: {}".format(res_projects['data']))
logger.info("we have {} projects".format(len(res_projects['data'])))
for p in res_projects['data']:
res_repos = self.get_all_repos(p)
if not res_projects['success']:
logger.warning("faild to get all repos in project: {}, message: {}".format(p['name'], res_repos['data']))
logger.info("we have {} repos in project:{}".format(len(res_repos['data']), p['name']))
for repo in res_repos['data']:
logger.info("deal with repo: {}".format(repo['name']))
old_tags = self.get_tags_except_lastest_n(repo, n)
logger.info("we have {} tags to delete in repo: {}".format(len(old_tags), repo['name']))
for tag in old_tags:
logger.info("try to delete repo:{}, tag: {}, create_time: {}".format(repo['name'], tag['name'], tag['created']))
result = self.soft_delete_tag(repo, tag)
if result['success']:
logger.info("success delete it.")
else:
logger.warning("delete failed!, message: {}".format(result['message']))
if __name__ == "__main__":
# 1. 通过 harbor 的 restful api 进行软删除
harbor_cleaner = HarborCleaner(
user="admin",
password="Admin123",
hostname="reg.harbor.com",
port=8321
)
harbor_cleaner.soft_delete_all_tags_except_latest_n(10) # 每个镜像只保留最新的十个 tag
# 2. 进行一次 GC,清除掉所有已软删除的 images
# 2.1 harbor 1.7 之前的版本,需要停机才能 GC
"""
cd /volume1/docker/harbor/harbor
docker-compose down # 停机
# 下面的 tag 'v2.6.2-v1.4.0' 需要换成当前使用的 registry-photon 镜像的版本号
# --dry-run 表示尝试进行 GC,输出 log 与正式 gc 一致,可用于提前发现问题
docker run -it --name gc --rm --volumes-from registry vmware/registry-photon:v2.6.2-v1.4.0 garbage-collect --dry-run /etc/registry/config.yml
# 正式 gc,这个才会真正的 gc 掉已经软删除的镜像
docker run -it --name gc --rm --volumes-from registry vmware/registry-photon:v2.6.2-v1.4.0 garbage-collect /etc/registry/config.yml
"""
# 2.2 harbor 1.7+ 可以通过 restful api 进行在线 GC 或定期自动 GC。
Harbor 批量清理历史镜像的更多相关文章
- 【转载】Docker registry仓库历史镜像批量清理
前言 在jenkins CI/CD流水线中以自动打包并push镜像的方式运行了一段时间之后, docker registry中堆积的历史镜像数量极多,磁盘空间告急,为此,有必要定期做镜像的清理,并释放 ...
- harbor批量导出镜像
工作中遇到一个问题,要把某个项目的harbor镜像库全部迁移到其他环境的harbor上,由于网络不通,只能导出来,传给同事,让同事导入到他们的harbor上: 记录下我的操作方法. 参考博客园的一篇博 ...
- harbor自动清理镜像
harbor定时清理镜像 分享下最近写harbor仓库镜像自动清理脚本思路,很长时间不写shell脚本,这次的脚本也是匆匆写的,还有很多可优化点,感兴趣的可以参考自己优化下,写的不完善地方也希望指 ...
- Harbor作为Docker的镜像中心
转载于网络 我们采用Harbor作为Docker的镜像中心. 有几个原因: Harbor采用Docker Compose拉起维护,简单方便. 采用Nginx作为入口网关,各种参数配置相对熟悉. 基于N ...
- (十七)VMware Harbor 垃圾清理
1. 在线垃圾清理 注意:从Harbor中删除镜像时不释放空间,垃圾收集是通过从清单中不再引用文件系统中删除blob来释放空间的任务. 注意:在执行垃圾收集时,Harbor将进入只读模式,并且禁止对d ...
- 微软在MSDN中更新了Win8.1批量授权版镜像(中文版更新完毕&版本说明)
微软在MSDN中更新了Win8.1大客户专业版和企业版镜像,零售版镜像(即专业版+核心版二合一镜像)没有更新,依然是9月份发布的版本.已证实,新的批量授权版镜像是集成了GA Rollup A更新,并且 ...
- 使用Harbor配置Kubernetes私有镜像仓库
通常情况下,在私有云环境中使用kubernetes时,我们要从docker registry拉取镜像的时候,都会给docker daemo配置–insecure-registry属性来告诉docker ...
- Nginx 负载均衡的Cache缓存批量清理的操作记录
1)nginx.conf配置 [root@inner-lb01 ~]# cat /data/nginx/conf/nginx.conf user www; worker_processes 8; #e ...
- docker 定时清理none镜像
=============================================== 2019/3/31_第1次修改 ccb_warlock == ...
随机推荐
- linux cat 文件编码
test.log是utf-16的编码 cat test.log会报错 但是我们可以cat的时候指定编码格式 iconv -f 文件编码 -t 终端编码 input.log iconv -f utf-1 ...
- Qt Resource System Qt资源体系(qrc rcc)
Qt资源体系采用平台独立机制来存储应用程序执行时的二进制文件.这种机制在应用程序需要一些确定的文件(图标.翻译文件等等)而且又不想冒丢失文件的风险时是有用的. 资源体系依赖于 qmake, rcc ( ...
- Object.keys()、Object.values()、Object.entries()的用法
一.Object.keys(obj) 参数:要返回其枚举自身属性的对象 返回值:一个表示给定对象的所有可枚举属性的字符串数组 处理对象,返回可枚举的属性数组 let person = {name:&q ...
- 搭建Nuxt项目(搭配Element UI、axios)
使用Nuxt Nuxt.js文档:https://zh.nuxtjs.org/guide/ 开始 初始化Nuxt项目 npx create-nuxt-app <项目名> // or yar ...
- Linux永久挂载新的硬盘
1. 查看设备挂载的情况 fdisk -l 2. 查看数据盘是否格式化 lsblk -f 3. 如果没有,格式化硬盘 sudo mkfs.xfs /dev/vdb 4. 创建挂载点,例如 mkdir ...
- 移动端IM系统的协议选型:UDP还是TCP?(转)
源: 移动端IM系统的协议选型:UDP还是TCP?
- ISO/IEC 9899:2011 条款6.5.16——赋值操作符
6.5.16 赋值操作符 语法 1.assignment-expression: conditional-expression unary-expression assignment-opera ...
- Spring cloud微服务安全实战-3-2 第一个API及注入攻击防护
先来写一些用户的基础数据的管理的api.就是用户的基本的增删改查.用spring boot可以很容易的写出这种api 首先新建maven的项目 依赖关系 引入依赖.用最新的spring boot ht ...
- linux中导入sql文件
在linux中导入sql文件的方法分享(使用命令行转移mysql数据库) 因导出sql文件 在你原来的网站服务商处利用phpmyadmin导出数据库为sql文件,这个步骤大家都会,不赘述. 上传sql ...
- 基于Broadcast 状态的Flink Etl Demo
接上文: [翻译]The Broadcast State Pattern(广播状态) 最近尝试了一下Flink 的 Broadcase 功能,在Etl,流表关联场景非常适用:一个流数据量大,一个流数据 ...