直接上代码吧,好多文章的下载都写的不明不白的,让人理解错,气死了!! 文件上传功能 文件上传很简单,首先你得部署好minio,然后写好配置信息,我的是动态读取nacos上配置的yml @Autowired private MinioConfig minioConfig; @Autowired private MinioClient client; @Autowired private FileInfoMapper fileInfoMapper; /** * 本地文件上传接口 * @param f

具体streamsets crate 集成可以参考 streamsets crate 以下文档只关注minio 集成的配置 minio 服务 搭建 具体搭建参考: https://www.cnblogs.com/rongfengliang/p/9197315.html 创建bucket (crate 集成使用) 测试的csv 文件从https://www.streamsets.com/documentation/datacollector/sample_data/tutorial/nyc_tax

cronicle 后端存储是可配置的 ,通过使用不同的存储配置,我们可以解决多实例部署以及数据共享的问题 cronicle 的后端存储模型,设计的特别方便,包含了基于文件的,基于s3 的,同时我们也可以开发自己的 存储引擎 以下是一个集成minio s3 部署单master,多slave 实际上我们可以扩展为多master 环境准备 docker-compose 文件   version: "3" services: s3: image: minio/minio command: se

对象存储不是什么新技术了,但是从来都没有被替代掉.为什么?在这个大数据发展迅速地时代,数据已经不单单是简单的文本数据了,每天有大量的图片,视频数据产生,在短视频火爆的今天,这个数量还在增加.有数据表明,当今世界产生的数据,有80%是非关系型的.那么,对于图片,视频等数据的分析可以说是大数据与人工智能的未来发展方向之一. ​ ​ 但是如何存储这些数据呢?商用云方案往往价格昂贵,而传统的大数据解决方案并不能充分支撑图片,视频数据的存储与分析.本文将详细的介绍开源的对象存储解决方案Minio的部署与实

Minio的元数据 数据存储 MinIO对象存储系统没有元数据数据库,所有的操作都是对象级别的粒度的,这种做法的优势是: 个别对象的失效,不会溢出为更大级别的系统失效. 便于实现"强一致性"这个特性.此特性对于机器学习与大数据处理非常重要. 数据管理 元数据与数据一起存放在磁盘上:数据部分纠删分片以后存储在磁盘上,元数据以明文形式存放在元数据文件里(xl.json).假定对象名字为obj-with-metadata, 它所在的桶的名字是bucket_name, disk是该对象所在纠删

文章转载自:https://mp.weixin.qq.com/s/_52kZ5jil1Cec98P5oozoA MinIO 提供开源.高性能.兼容 s3 的对象存储,为每个公共云.每个 Kubernetes 发行版.私有云和边缘云中无缝运行,使其成为混合云和多云对象存储的领导者. 1. MinIO 的应用场景 MinIO 是一个基于 Apache License v2.0 开源协议的对象存储服务.它兼容亚马逊 S3 云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片.视频.日志文件.备

相关streamsets 文章(不按顺序) 学习视频-百度网盘 StreamSets 设计Edge pipeline StreamSets Data Collector Edge 说明 streamsets Executors 说明 streamsets geoip 使用 streamsets stream selector 使用 streamsets mongodb destinations 使用 streamsets redis destinations 使用 streamsets exce

使用tap-minio-csv 我们可以将s3 中csv 的文件,通过singer 的target 写到不用的系统中,可以兼容 s3 的存储类型,以下是一个集成minio 的测试,将minio 中的csv 数据导入到pg中 环境准备 docker-compose 文件 version: "3" services: s3: image: minio/minio command: server /data ports: - "9000:9000" environment

drill 支持s3数据的查询,同时新版的通过简单配置就可以实现minio 的集成 测试使用docker 运行drill 参考 https://www.cnblogs.com/rongfengliang/p/9846899.html,minio 安装也可以使用docker minio bucket 创建以及文件上传可以使用UI 或者mc 配置 s3 配置说明 { "type": "file", "connection": "s3a://

在微服务架构中,如果使用得是SpringCloud,那么只需要集成SpringFeign就可以了,SpringFeign可以很友好的帮我们进行服务请求,对象解析等工作. 然而SpingCloud是依赖于SpringBoot的.在老的Spring项目中通常是没有集成SpringBoot,那么我们又该如何使用Feign组件进行调用呢? 这种情况下就只能使用原生Feign了,Feign使用手册:https://www.cnblogs.com/chenkeyu/p/9017996.html 使用原生Fe

  通过k8s 的定时任务job,我们可以方便的进行定时任务应用的开发,通过minio s3 兼容的cloud native 存储 我们可以方便的通过http 请求进行数据文件的备份,以下简单演示下如何进行集成 环境准备 docker 镜像修改自 https://github.com/Remigius2011/pg-dump ,主要是去除了schema 同时添加了gzip 压缩处理 dockerfile FROM remigius65/pg-dump COPY backup.sh /usr/bi

对于新版本的nexus 已经支持s3 存储了(3.12),但是企业内部可能还是需要使用私有部署的 还好我们有minio,具体的介绍就不说了 minio 项目运行 参考项目: https://github.com/rongfengliang/mino-thumbor-openresty 尽管里面的功能有点多,但是可以了解下,我们只需要使用minio 功能就可以了 具体的启动 docker-compose build && docker-compose up -d minio 服务信息 doc

备注:      需要进行drone 以及gitlab 环境的配置,可以参考相关资料   1. 参考项目 https://github.com/rongfengliang/drone-appdemo    2. drone 构建配置(使用docker && s3 插件) pipeline: backend: image: golang commands: - go build - go test - ls . frontend: image: node:6 commands: - npm

1. 安装minio 使用docker 安装 参考项目 https://github.com/rongfengliang/mino-thumbor-openresty 备注: 因为是一个集成项目可能会有点复杂使用了docker-compsoe 以及图片缩略图 2. 配置 a. 配置s3 mkdir -p ~/.aws touch credentials [default] aws_access_key_id = 7V9OLKA3W322WMJIE09R aws_secret_access_key

1. 为了方便使用 docker 安装 docker run -p 9000:9000 minio/minio server /export   注意启动显示的 appkey secretkey  Created minio configuration file successfully at /root/.minio Endpoint: http://192.16.50.11:9000 http://127.0.0.1:9000 AccessKey:5D2Q3FZ04LW4DIDW7R22 S

在上一篇博客中,我们成功将 Gitlab CI 部署到了 Docker 中去,成功创建了 Gitlab CI Pipline 来执行 CI/CD 任务.那么这篇文章我们更进一步,将它集成到 K8s 集群中去.这个才是我们最终的目标.众所周知,k8s 是目前最火的容器编排项目,很多公司都使用它来构建和管理自己容器集群,可以用来做机器学习训练以及 DevOps 等一系列的事情. 在这里,我们聚焦 CI/CD,针对于 Spring Boot 项目,借助 Gitlab CI 完成流水线的任务配置,最终部

​ 题外话: 看到这一长串包含各种技术名词的标题,一路走来感觉研发深深的被各种框架给绑架了,从我们刚出生最简单的jsp,servlet打天下,到spring mvc的盛行,再到现在spring-boot,spring-cloud全家桶,还有各种前端框架什么vue,React,Angular,requerjs,还有什么大数据的框架就不说了等等.怎么也有快100种了吧.我学不学是我的兴趣,但是你换个公司就得面对新的框架的要求,想想都累,但是那些企业招聘的内容上,谁不写这些东西!!! 说到底,技术负责

对于minio 我们可以使用基于sql 的对象内容查询,特别适合进行特定文件内容的获取,强大方便. 以下是一个简单的试用 环境准备 集成了prometheus docker-compose 文件   version: "3" services:    minio:        image: minio/minio        ports:        - "9000:9000"        command: server /data        volum

以前有写过使用minio gataway 代理nas 的,实际上还可以代理s3 ,hdfs....,以下是一个gatway 带来nas 以及s3 集成的模式 环境准备 docker-compose文件 version: "3" services:  gateway:    image: minio/minio    command: gateway nas /data    ports:    - "9000:9000"    environment:    - &

前两天跟大家分享了一篇关于如何利用FastDFS组件来自建分布式文件系统的文章,有兴趣的朋友可以阅读下<用asp.net core结合fastdfs打造分布式文件存储系统>.通过留言发现大家虽然感兴趣,但是都觉得部署比较麻烦.的确,fastdfs的部署很繁琐,而且也没有官方提供的针对.net core的sdk.而今天带来的MinIO则是一个比fastdfs更好的选择,可以让你足够简单的来部署使用,官方也提供了足够详细的api文档.下面就让我们开始今天的正文吧. 这里说明下为什么今天才进行分享,

目前可用于文件存储的网络服务选择有很多,比如阿里云OSS.七牛云.腾讯云等等,但是收费都有点小贵.为了帮公司节约成本,之前一直是使用fastDFS作为文件服务器,准确的说是图片服务器.直到我发现了MinIO,我决定放弃FastDFS. 关于MinIO的使用方法,我就不说了.大家去看MinIO官网地址:docs.min.io/cn/ ,非常详细.我就从对比的角度来说说我为什么果断的放弃了fastDFS,转而使用MinIO作为图片存储服务器. 理由一:安装部署(运维)复杂度 之前公司在使用fastD