公司 Harbor 仓库一年多没清理,硬盘被堆满了,为此写了个批量清除的 Python 脚本. 源代码见 github-harbor_clean.py # coding: utf-8 from operator import itemgetter from urllib import parse import requests import datetime as dt # import maya import logging logging.basicConfig(filename='harb

前言 在jenkins CI/CD流水线中以自动打包并push镜像的方式运行了一段时间之后, docker registry中堆积的历史镜像数量极多,磁盘空间告急,为此,有必要定期做镜像的清理,并释放镜像占用的存储空间. 清除原理 Docker registry提供有restful api进行镜像管理,参考官方文档:https://docs.docker.com/registry/spec/api/ Docker存储使用的aufs文件系统分层存储结构,将容器文件以读写分层的形式存储在宿主机中.在

最近在做基于容器的CI/CD, 一个朴素的自动部署的思路是: 从Git Repo打出git tag,作为镜像Tag ssh远程登录到部署机器 向部署环境注入镜像Tag,拉取镜像,重新部署 下面分享我是如何在K8s.docker-compose中注入镜像TAG(持续部署)? k8s 熟悉k8s的同学知道, K8s有一个强大的原生配置管理工具:Kustomize工具. Kustomize 以一种无模板的方式来定制应用程序配置,从而简化了现有应用程序的使用.现在kustomize已经以apply -k

SQL Server镜像自动生成脚本 镜像的搭建非常繁琐,花了一点时间写了这个脚本,方便大家搭建镜像 执行完这个镜像脚本之后,最好在每台机器都绑定一下hosts文件,不然的话,镜像可能会不work 192.168.1.1 WSQL01192.168.1.2 WSQL02192.168.1.3 WWEB03 SQL2008R2升级到SQL2014,升级之前先对数据库进行完整和日志备份,以免升级失败 请注意:--★Do部分都是需要填写的 -- ============================

不知道大家那有没有要清理的这个事情.需要清理目录历史文件.可能后续也会有很多其他地方需要清理历史文件,可能会用到. 我这两天空闲写了个脚本,清理比较方便,有要进行清理的大量历史文件的话可以用. 脚本用到的命令只有linux才有,像solaris等就不支持,所以只能在linux上运行.如果是nas存储的话,可以挂载到一个linux主机上跑脚本清理. 另外,脚本查找文件用的是ls,但是ls也有最大文件的限度(大概10w以内),如果每天文件很多,每天都是10w+的,运行可能提示文件数过多无法ls. 还

harbor API 官方swagger swagger在线查看 harbor tag 清理 python程序 import requests import json class RequestClient(object): def __init__(self, login_url, username, password): self.username = username self.password = password self.login_url = login_url self.sess

elastic索引日志清理不及时,很容易产生磁盘紧张,官网给出curl -k -XDELETE可以清理不需要的索引日志. 清理脚本 #!/bin/bash #Author: 648403020@qq.com #date: 2019.03.28 # 需要清理几天以前的索引日志 CLEAN_DAY=7 # 获取N天以前的年月日 YEAR=$(date -d "$(date -I) -$CLEAN_DAY"day"" +%Y) MONTH=$(date -d "

官方自动tag plugin/docker 已支持自动标签,使用方法如下 steps: - name: docker image: plugins/docker settings: repo: foo/bar auto_tag: true 其中的auto_tag: true就是启用自动tag 如果是git tag触发的构建,则会自动使用git tag作为镜像tag, 并且会自动分割主版本号和副版本号 如git tag是1.0.0  则镜像tag为[1, 1.0, 1.0.0] 如git tag是

用友云开发者中心是基于Docker容器进行微服务架构应用的落地与管理.相信各位同学在使用的过程中,会发现随着Docker镜像的增多,占用磁盘空间也约来越多.这时我们需要清理私有镜像仓库中不需要的镜像.但在实际操作时,才会发现这本以为很简单的任务中却暗藏玄机,遇到了不少的麻烦.在这里我们分享一下清理镜像仓库时遇到的坑点.想要直接寻求解决方案的同学可以直接看第二部分. 一.那些年,我们在清理镜像仓库时走过的坑 坑点1:官方提供的接口并不能真正的删除镜像 这着实是最大的坑点.很多同学查资料发现,官方已

Docker用户会在使用docker一段时间后发现宿主机的磁盘很容易就快被占满,并且手动docker rmi [imgName]似乎并不能释放磁盘,貌似想删掉的镜像依然在宿主机中,下面针对这一问题提出一些解决方案. Docker空间占用查看 1.13版本后Docker提供给了一些System命令,例如df命令查看Docker占用分布: $ docker system df TYPE TOTAL ACTIVE SIZE RECLAIMABLE Images 3 0 5.373GB 5.373GB

hive在运行过程中,我们经常会发现 hdfs /tmp/hive/hive or hdfs 目录占用空间巨大,我这里已经清理过了所以,相对较小.但是初次使用hive的用户,一定会发现 随着时间的推移,/tmp/hive 目录一定会变的越来越庞大,这主要是hive在运行过程中会生产大量的中间会话在/tmp目录下,如果hive正常运行结束,临时会话会被自动清理掉, 但是如果中间出现hive中断,或者异常退出,这些中间会话就会一直保存在hdfs上,久而久之,越来越多,造成大量无用的积压文件.必须手动

一. 简介 linux是一个很能自动产生文件的系统,日志.邮件.备份等.虽然现在硬盘廉价,我们可以有很多硬盘空间供这些文件浪费,让系统定时清理一些不需要的文件很有一种爽快的事情.不用你去每天惦记着是否需要清理日志,不用每天收到硬盘空间不足的报警短信,想好好休息的话,让我们把这个事情交给机器定时去执行吧. 二. 分析日志 查看日志路径和日志命名规则: 要清理这个目录下面如此命名规则的日志. 三.方法 这时我想的肯定是希望能写一个脚本把这些日志清除掉,但不是删除掉.那么现在需要实现3步: 1.找到所

https://hub.docker.com/_/microsoft-dotnet-core-sdk/ 微软的dotnet sdk 的 tag 微软貌似改默认镜像 dockerhub 里面的tag与 他自己的tag不一样了..

cacheClean.sh #!/bin/bash # 日期: # 作者: 黄慧丰/何鹏举 # 说明: fastdfs所在的linux系统的buffer cache过大, 且并没有有效的自动回收, 因此手动编写脚本定时执行 # 参考: https://blog.csdn.net/c123m/article/details/78060149 log=cacheClean.log echo "***开始***" >> $log date '+%Y-%m-%d %H:%M:%S'

elasticsearch随着保存的数据越来越多,磁盘占用越来越大,有必要进行定期自动清理. 直接上脚本 cat es-index-clear.sh #/bin/bash #查看索引信息 #curl -XGET 'http://172.16.80.28:9200/_cat/indices/?v' #elasticsearch数据存放路径默认为/var/lib/elasticsearch/nodes//indices/ #指定日期(7天前) DATA=`date -d "1 week ago&qu

用dockerfile生成镜像并挂载数据卷 编写dockerfile文件 创建dockerfile01 文件 # 基础镜像 FROM centos VOLUME ["volume01", "volume02"] CMD echo "-----end----" docker build 构建镜像 docker build -f ./dockerfile01 -t xiao-centos . 启动镜像 docker run -it 镜像ID /bin

公司统一配的笔记本Thinkpad T440p,超级难用,常常内存占满.硬盘卡死,还管不了机!心里那个不爽啊!哎,不说了. 自己写了个脚本,用来强制关闭不须要的进程. 脚本例如以下: ---------------------------------killtask.bat-------------------------------------- @echo off & setlocal enabledelayedexpansion rem 例如以下列表是不须要关闭的进程,能够自行加入 set

@ECHO OFF @echo @echo @echo 清理几个比较多垃圾文件的地方 DEL /F /S /Q "C:\WINDOWS\PCHealth\ERRORREP\QSIGNOFF\*.*" DEL /F /S /Q "C:\WINDOWS\PCHealth\ERRORREP\UserDumps\*.*" DEL /F /S /Q "C:\WINDOWS\system32\LogFiles\HTTPERR\*.*" DEL /F /S /

使用crontab定时每天自动清理系统内存 00 00 * * * /root/Cached.sh [root@localhost ~]# cat Cachec.sh #! /bin/bash# cache释放:# To free pagecache:syncsync#echo 1 > /proc/sys/vm/drop_caches# To free dentries and inodes:#echo 2 > /proc/sys/vm/drop_caches# To free pagecac

es-index-clear.sh: #!/bin/bash#----------------------------------------------# Module: es-index-clear# Comment: To clear elastic-index on interval!# Date: 2018/10/5# Author: aodi# Version: 1.0#---------------------------------------------- #循环清理过期索引w

for /f "tokens=*" %%a in ('dir obj /b /ad /s ^|sort') do rd "%%a" /s/q for /f "tokens=*" %%a in ('dir bin /b /ad /s ^|sort') do rd "%%a" /s/q del /s/q/f *.user del /s/q/f *.suo