1. 安装minio 使用docker 安装 参考项目 https://github.com/rongfengliang/mino-thumbor-openresty 备注: 因为是一个集成项目可能会有点复杂使用了docker-compsoe 以及图片缩略图 2. 配置 a. 配置s3 mkdir -p ~/.aws touch credentials [default] aws_access_key_id = 7V9OLKA3W322WMJIE09R aws_secret_access_key…

cronicle 后端存储是可配置的 ,通过使用不同的存储配置,我们可以解决多实例部署以及数据共享的问题 cronicle 的后端存储模型,设计的特别方便,包含了基于文件的,基于s3 的,同时我们也可以开发自己的 存储引擎 以下是一个集成minio s3 部署单master,多slave 实际上我们可以扩展为多master 环境准备 docker-compose 文件   version: "3" services: s3: image: minio/minio command: se…

介绍 ChartMuseum是一个用Go(Golang)编写的开源Helm Chart Repository服务器 ChartMuseum是一个用Go(Golang)编写的开源Helm Chart Repository服务器,支持云存储后端,包括Google云存储,Amazon S3,Microsoft Azure Blob存储,阿里云OSS存储,Openstack对象存储和Oracle云基础架构 对象存储. 部署ChartMuseum 1.chart地址:https://github.com/…

备注:   预备环境需要安装helm  1. 安装chartmuseum  参考 # on Linux curl -LO https://s3.amazonaws.com/chartmuseum/release/latest/bin/linux/amd64/chartmuseum # on macOS curl -LO https://s3.amazonaws.com/chartmuseum/release/latest/bin/darwin/amd64/chartmuseum # on Win…

一.下载安装包 #在master节点中执行,以下这条命令就是下载文件到当前目录而已,下载完成之后让我们将chartmuseum赋予权限,就是可执行了chmod chartmuseum,然后移动到/usr/local/bin. [root@k8s-master-- ~]# curl -LO https://s3.amazonaws.com/chartmuseum/release/latest/bin/linux/amd64/chartmuseum [root@k8s-master-- ~]# ch…

这篇文章介绍一下,如何使用VS2017给asp.net core添加容器支持,并发布镜像到私有docker hub,然后用chart管理容器镜像的操作流程. 话不多说,just do it. 新建项目 首先新建一个asp.net core项目,这里我新建一个WebApi默认项目. 这里我就不启动项目了,模板项目肯定是能跑起来的. 对项目添加docker容器支持 右键项目>>添加>>容器支持 选择Linux. 之后项目会添加一个DockerFile文件.这个dockerfile可以跟…

具体streamsets crate 集成可以参考 streamsets crate 以下文档只关注minio 集成的配置 minio 服务 搭建 具体搭建参考: https://www.cnblogs.com/rongfengliang/p/9197315.html 创建bucket (crate 集成使用) 测试的csv 文件从https://www.streamsets.com/documentation/datacollector/sample_data/tutorial/nyc_tax…

尽管s3 很不错,但是ftp 也有自己存在的价值,以下是一个简单的通过s3-sftp-proxy 暴露minio s3 数据为ftp 的访问方式 环境准备 docker-compose 文件 version: "3" services: minio: image: minio/minio command: server /export ports: - "9000:9000" environment: - "MINIO_ACCESS_KEY=dalongd…

1.概述 helm使得在k8s集群里面部署应用变得更简单,就像在linux系统里面使用yum安装软件一样,helm主要是利用的chart,首先看一下chart的结构: # tree zipkin zipkin ├── charts ├── Chart.yaml ├── templates │   ├── deployment.yaml │   ├── _helpers.tpl │   ├── ingress.yaml │   ├── NOTES.txt │   └── service.yaml…

通过helm在k8s上部署kafka.zookeeper 通过helm方法安装 k8s上安装kafka,可以使用helm,将kafka作为一个应用安装.当然这首先要你的k8s支持使用helm安装.helm的介绍和参考见:https://yq.aliyun.com/articles/159601 helm仓库地址https://github.com/helm/charts    通过阿里仓库安装kafka helm repo add incubator https://aliacs-app-cat…

minio 是一个aws s3 兼容的对象存储系统,我们可以通过s3fs 进行数据桶的挂载,这样可以做好多方便的事情 环境准备 使用docker-compose 运行 minio docker-compose 文件 version: "3" services: s3: image: minio/minio command: server /export ports: - "9000:9000" volumes: - ./data:/data - ./config:/…

Helm 致力于成为 Kubernetes 的包管理工具,可以方便地发现.共享和构建 Kubernetes 应用,它包含几个基本概念: Chart:一个 Helm 包,其中包含了运行一个应用所需要的镜像.依赖和资源定义等,还可能包含 Kubernetes 集群中的服务定义,类似 Homebrew 中的 formula,APT 的 dpkg 或者 Yum 的 rpm 文件: Release: 在 Kubernetes 集群上运行的 Chart 的一个实例.在同一个集群上,一个 Chart 可以安装…

对于新版本的nexus 已经支持s3 存储了(3.12),但是企业内部可能还是需要使用私有部署的 还好我们有minio,具体的介绍就不说了 minio 项目运行 参考项目: https://github.com/rongfengliang/mino-thumbor-openresty 尽管里面的功能有点多,但是可以了解下,我们只需要使用minio 功能就可以了 具体的启动 docker-compose build && docker-compose up -d minio 服务信息 doc…

官方建议是用 helm 进行安装,但是helm 有点费事(各种原因...) 所以使用官方说的使用docker-compose 但是默认官方的compose 跑起来 还是真费事,经过调整,修改了一版支持直接使用docker-compose 可以运行起来 的版本,可以方便测试使用 参考项目代码 https://github.com/rongfengliang/monocular-docker-compose 项目运行 clone 代码 git clone https://github.com/ron…

作为k8s现在主流的一种包部署方式,尽管不用,也需要进行一些了解.因为,它确实太流行了. 这一套太极拳打下来,感觉helm这种部署,目前还不太适合于我们公司的应用场景.它更适合需要手工编程各种yaml文件,使用模板减少工作量和出错. 而我们已实现了web方式的yaml文件编辑,使用Helm意义不大,只能起到优化yaml存储的作用,但同时会使我们的配置文件深度依赖helm. 一,Helm用途 Helm把Kubernetes资源(比如deployments.services或 ingress等) 打…

Ubuntu 18 Kubernetes集群的安装和部署 以及Helm的安装完成了k8s的集群和helm的安装,今天我们来看看Prometheus的监控怎么搞.Prometheus Operator 是 CoreOS 开发的基于 Prometheus 的 Kubernete s监控方案,也可能是目前功能最全面的开源方案.更多信息可以查看https://github.com/coreos/prometheus-operator 创建命名空间 为方便管理,创建一个单独的 Namespace moni…

对于容器编排工具k8s来说,你可以使用它规定的yaml格式的脚本,使用客户端kubectl来与k8s进行通讯,将你定义好的yaml部署脚本应用到k8s集群上,而这对yaml脚本一般来说都是很像的,就是说,你需要反复的使用同样结构的代码,这对于开发人员来说不是一个好的信号,所以helm出现了,它是一种模板化的部署工具,你定义好模板之后,把变量的对象放在values.yaml里就可以了. 引起的问题 在使用helm进行部署时出现了一个问题,使用镜像时习惯的使用了latest这个版本,也就是最新版本,…

通过前面两篇文章,我们已经有了一个"嗷嗷待哺"的K8s集群环境,也对相关的概念与组件有了一个基本了解(前期对概念有个印象即可,因为只有实践了才能对其有深入理解,所谓"纸上得来终觉浅,绝知此事要躬行"),本文从实践角度介绍如何结合我们常用的Gitlab与Jenkins,通过K8s来实现项目的自动化部署,示例将包括基于SpringBoot的服务端项目与基于Vue.js的Web项目. 本文涉及到的工具与技术包括: Gitlab -- 常用的源代码管理系统 Jenkins,…

# 删除之前创建的 chart helm list helm delete --purge redis1 # 创建自定义 chart myapp cd ~/helm helm create myapp cd myapp/ # 修改 Chart.yaml cat Chart.yaml apiVersion: v1 appVersion: "1.0" description: A Helm chart for Kubernetes myapp chart name: myapp versi…

运行最简单的charts示例 helm的2个chart例子: https://github.com/kubernetes/helm/tree/master/docs/examples/nginx helm fetch xxx # 得到tgz helm install --dry-run --debug docs/examples/nginx ## 查看模板和value组合后生成的yaml. diy yaml后再运行 构建charts私有仓库: 参考: https://github.com/roo…

待续 helm install etcd bitnami/etcd \ --set statefulset.replicaCount=3 \ --set persistence.enabled=true \ --set persistence.size=8Gi \ --set service.type=NodePort…

  通过k8s 的定时任务job,我们可以方便的进行定时任务应用的开发,通过minio s3 兼容的cloud native 存储 我们可以方便的通过http 请求进行数据文件的备份,以下简单演示下如何进行集成 环境准备 docker 镜像修改自 https://github.com/Remigius2011/pg-dump ,主要是去除了schema 同时添加了gzip 压缩处理 dockerfile FROM remigius65/pg-dump COPY backup.sh /usr/bi…

MinIO Quickstart Guide MinIO 是一个基于Apache License v2.0开源协议的对象存储服务.它兼容亚马逊S3云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片.视频.日志文件.备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等. MinIO是一个非常轻量的服务,可以很简单的和其他应用的结合,类似 NodeJS, Redis 或者 MySQL. 中文官方地址:https://docs.min.io/cn/minio-q…

文档地址:https://github.com/minio/operator/blob/master/README.md https://docs.min.io/minio/k8s/deployment/deploy-minio-operator.html MinIO是Kubernetes原生的高性能对象存储,具有S3兼容的API.MinIO Kubernetes运营商支持将MinIO租户部署到私有和公共云基础设施("混合"云). 结构 每个MinIO租户代表Kubernetes集群中…

前言 玩K8S也有一段时间了,借助云服务提供商的K8S控制台,已经可以很方便的快速部署应用至K8S.通过简单的点击,可以一次性帮忙创建K8S 对象:Deployment.Service.Ingress.ConfigMap等.但是当服务的规模上来后,这种方式就有点捉襟见肘.尤其是需要同时更新多个关联服务时,就需要一个一个的去更改,就有点不太方便.为了解决这个问题,最近上手实操了一下Helm,发现生产力大大提升. Helm 简介 Helm 是一个为K8S打造的包管理器.通过Helm可以方便管理Kub…

K8S中的包管理工具 1. 客户端Helm(即Helm)  通过脚本安装:curl https://raw.githubusercontent.com/helm/helm/master/scripts/get > helm.sh,赋权运行: 123456789101112 chmod +x helm.sh./helm.sh# 输出Downloading https://kubernetes-helm.storage.googleapis.com/helm-v2.13.1-linux-amd64.…

Ingress 是一种 Kubernetes 资源,也是将 Kubernetes 集群内服务暴露到外部的一种方式.本文将讲一讲如何用 Helm 在 Kubernetes 集群中部署 Ingress,并部署两个应用来演示 Ingress 的具体使用. 阅读本文前你需要先掌握 Helm 和一些 Kubernetes 服务暴露的相关知识点,如果你还不了解可以先读一读我之前写的 「Helm 入门指南」和「浅析从外部访问 Kubernetes 集群中应用的几种方式」这两篇文章. 部署 Ingress Co…

  harbor 已经支持了helm 仓库(使用chartmuseum),Monocular 是一个不错的helm 仓库可视化工具 测试Monocular集成harbor 私服功能 使用docker-compose 进行安装 环境准备 Monocular docker-compose version: '2' services: ui: tty: true # Enables debugging capabilities when attached to this container. imag…

对象存储不是什么新技术了,但是从来都没有被替代掉.为什么?在这个大数据发展迅速地时代,数据已经不单单是简单的文本数据了,每天有大量的图片,视频数据产生,在短视频火爆的今天,这个数量还在增加.有数据表明,当今世界产生的数据,有80%是非关系型的.那么,对于图片,视频等数据的分析可以说是大数据与人工智能的未来发展方向之一. ​ ​ 但是如何存储这些数据呢?商用云方案往往价格昂贵,而传统的大数据解决方案并不能充分支撑图片,视频数据的存储与分析.本文将详细的介绍开源的对象存储解决方案Minio的部署与实…

文章转载自:https://mp.weixin.qq.com/s/_52kZ5jil1Cec98P5oozoA MinIO 提供开源.高性能.兼容 s3 的对象存储,为每个公共云.每个 Kubernetes 发行版.私有云和边缘云中无缝运行,使其成为混合云和多云对象存储的领导者. 1. MinIO 的应用场景 MinIO 是一个基于 Apache License v2.0 开源协议的对象存储服务.它兼容亚马逊 S3 云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片.视频.日志文件.备…