S3 client 访问ceph rgw 安装: yum install s3cmd 验证安装是否成功: $s3cmd --version s3cmd version 1.5.2 #表示安装成功 在ceph管理主机上创建S3用户: sudo radosgw-admin user create --uid="test" --display-name="zhangsan" 查看用户: sudo radosgw-admin user info --uid="te

Ceph OpenSSL 1. SSL介绍 SSL(Secure Sockets Layer 安全套接层),及其继任者传输层安全(Transport Layer Security,TLS)是为网络通信提供安全及数据完整性的一种安全协议.TLS与SSL在传输层对网络连接进行加密.Secure Socket Layer,为Netscape所研发,用以保障在Internet上数据传输之安全,利用数据加密(Encryption)技术,可确保数据在网络上之传输过程中不会被截取及窃听.一般通用之规格为40

一.对象存储 1.1 介绍 通过对象存储,将数据存储为对象,每个对象除了包含数据,还包含数据自身的元数据 对象通过Object ID来检索,无法通过普通文件系统操作来直接访问对象,只能通过API来访问,或者第三方客户端(实际上也是对API的封装) 对象存储中的对象不整理到目录树中,而是存储在扁平的命名空间中,Amazon S3将这个扁平命名空间称为bucket.而swift则将其称为容器 无论是bucket还是容器,都不能嵌套 bucket需要被授权才能访问到,一个帐户可以对多个bucket授权

一.数据归置概览 Ceph 通过 RADOS 集群动态地存储.复制和重新均衡数据对象.很多不同用户因不同目的把对象存储在不同的存储池里,而它们都坐落于无数的 OSD 之上,所以 Ceph 的运营需要些数据归置计划. Ceph 的数据归置计划概念主要有: 存储池( Pool ): Ceph 在存储池内存储数据,它是对象存储的逻辑组:存储池管理着归置组数量.副本数量.和存储池规则集. 要往存储池里存数据,用户必须通过认证.且权限合适,存储池可做快照.详情参见存储池. 归置组( Placement G

前言: 很多朋友想学ceph,但是开始ceph部署就让初学者举步为艰,ceph部署时由于国外源的问题(具体大家应该懂得),下载和安装软件便会卡住,停止不前.即使配置搭建了国内源后,执行ceph-deploy install 时又跑去了国外的源下载,很是无语呀!!!这样导致我们停下了学习ceph的脚步,所以笔者就在这里编写了这篇文章,只要掌握了通过国内源找到并下载对应正确的ceph版本rpm包到本地,部署ceph简直小意思! 一.部署准备: 准备5台机器(linux系统为centos7.6版本),

目录 一.存储池介绍 二.存储池命令 1. 列出存储池 2. 创建存储池 3. 设置存储池配额 4. 删除存储池 5. 重命名存储池 6. 查看存储池统计信息 7. 生成存储池快照 8. 删除存储池快照 9. 调整存储池选项值 10. 获取存储池选项值 11. 设置对象副本数 12. 获取对象副本数   一.存储池介绍 http://docs.ceph.org.cn/rados/operations/pools/ 如果你开始部署集群时没有创建存储池, Ceph 会用默认存储池 rbd 存数据.存

一.高级运维 高级集群操作主要包括用 ceph 服务管理脚本启动.停止.重启集群,和集群健康状态检查.监控和操作集群. 操纵集群 运行 Ceph 每次用命令启动.重启.停止Ceph 守护进程(或整个集群)时,你必须指定至少一个选项和一个命令,还可能要指定守护进程类型或具体例程. {commandline} [options] [commands] [daemons] ceph 命令的选项包括: 选项 简写 描述 --verbose -v 详细的日志. --valgrind N/A (只适合开发者

1.cephx认证和授权 1.1 CephX认证机制 Ceph使用cephx协议对客户端进行身份认证: 1.每个MON都可以对客户端进行身份验正并分发密钥, 不存在单点故障和性能瓶颈 2. MON会返回用于身份验正的数据结构, 其包含获取Ceph服务时用到的session key. 3.session key通过客户端密钥进行加密 4.客户端使用session key向MON请求所需的服务 5.MON向客户端提供一个ticket, 用于向实际处理数据的OSD等验正客户端身份 6.MON和OSD共

最近做毕业设计,要用AWS跑代码,以前只用过一次,这次踩了很多坑,记录一下.. AWS命令行管理S3 bucket AWS官方文档: http://docs.amazonaws.cn/cli/latest/userguide/using-s3-commands.html 管理存储桶  创建桶;$ aws s3 mb s3://bucket-name  删除桶:$ aws s3 rb s3://bucket-name删除非空桶:$ aws s3 rb s3://bucket-name --forc

rclone 是一个开源的就有命令行的同步工具,主要是面向云存储的数据同步 安装 mac 系统 操作 cd && curl -O https://downloads.rclone.org/rclone-current-osx-amd64.zip cd && curl -O https://downloads.rclone.org/rclone-current-osx-amd64.zip sudo mkdir -p /usr/local/bin sudo mv rclone

文件系统: boot sector:记录引导文件 sb: super block 每个文件系统只有一个sb,其余black group均是它的备份 读写文件会进入到inode operation vfs mount 创建一个结构体 以 .ko 结束的是内核模块 精简内核模块 make menuconfig lsmod -grep ceph lsmod 列出当前目录下所加载的内核模块 fdisk 分区小于2T part 分区大于2T且需用GPT格式 ln 创建硬链接 ln - 创建软链接 ceph

这里介绍AWS SDK for C++ 1.0.x版本,比如下载: https://github.com/aws/aws-sdk-cpp/archive/1.0.164.tar.gz 环境:RHEL/CentOS 7 一.编译SDK 配置yum源: [centos] name=centos7 baseurl=http://mirrors.163.com/centos/7/os/x86_64/ enabled=1 gpgcheck=0 刷新源:yum makecache fast 安装EPEL源:

主要内容 1.S3入门 2.S3安全性 对象 权限 访问策略 3.S3实战--BAAS 应用与定价 S3入门 S3概念 S3是simple storge server简单存储服务 相当于网盘,例如百度盘 一次存储,随时访问 在AWS的服务控制台中,找到"存储&分发"双击S3后打开 S3桶(Bucket) 数据以对象形式存储,而对象存储到桶中,桶作为根目录 桶下可以存放各类文件和子目录,子目录下可以保存各类文件和目录 创建桶: 输入桶名(小写字母.数字.点和波浪线) 区域,例如中

一 Rook概述 1.1 Ceph简介 Ceph是一种高度可扩展的分布式存储解决方案,提供对象.文件和块存储.在每个存储节点上,将找到Ceph存储对象的文件系统和Ceph OSD(对象存储守护程序)进程.在Ceph集群上,还存在Ceph MON(监控)守护程序,它们确保Ceph集群保持高可用性. 更多Ceph介绍参考:https://www.cnblogs.com/itzgr/category/1382602.html 1.2 Rook简介 Rook 是一个开源的cloud-native sto

文章转载自:https://mp.weixin.qq.com/s/_52kZ5jil1Cec98P5oozoA MinIO 提供开源.高性能.兼容 s3 的对象存储,为每个公共云.每个 Kubernetes 发行版.私有云和边缘云中无缝运行,使其成为混合云和多云对象存储的领导者. 1. MinIO 的应用场景 MinIO 是一个基于 Apache License v2.0 开源协议的对象存储服务.它兼容亚马逊 S3 云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片.视频.日志文件.备

安装1.sudo apt-get install -y python-pip sudo pip install s3cmd 2. sudo apt-get install s3cmd   配置 s3cmd --configure 根据提示输入accessKey,securityKey 生成基本的配置文件. 修改host_base/host_bucket: host_base = ip-113-107-161-207:7480host_bucket = ip-113-107-161-207:748

s3cmd 要是1.6.1 之后的版本 增加配置项:  vi .s3cfg use_path_mode = True 源码参考: cat  /usr/local/lib/python2.7/dist-packages/S3/Config.py S3cmd的代码如下: https://github.com/s3tools/s3cmd/pull/391/commits/8ace431ff094fd71dea53acaa2207c20f25a0154

ceph RadosGW对象存储使用详解 一个完整的ceph集群,可以提供块存储.文件系统和对象存储. 本节主要介绍对象存储RadosGw功能如何灵活的使用,集群背景: $ ceph -s cluster: id: f0a8789e-6d53-44fa-b76d-efa79bbebbcf health: HEALTH_OK services: mon: 1 daemons, quorum a (age 2d) mgr: a(active, since 2d) mds: cephfs:1 {0=c

编辑crush map: 1.获取crush map: 2.反编译crush map: 3.至少编辑一个设备,桶, 规则: 4.重新编译crush map: 5.重新注入crush map: 获取crush  map 要获取集群的crush map,执行命令: ceph osd  getcrushmap -o {compiled-crushmap-filename} ceph将crush输出(-o)到你指定的文件,由于crush map是已编译的,所以需要反编译: 反编译crush map 要反

  参考文档:CEPH官网集群操作文档   概述 Ceph存储集群是所有Ceph部署的基础. 基于RADOS,Ceph存储集群由两种类型的守护进程组成:Ceph OSD守护进程(OSD)将数据作为对象存储在存储节点上; Ceph Monitor(MON)维护集群映射的主副本. Ceph存储集群可能包含数千个存储节点. 最小系统将至少有一个Ceph Monitor和两个Ceph OSD守护进程用于数据复制.   Ceph文件系统,Ceph对象存储和Ceph块设备从Ceph存储集群读取数据并将数据写