http://docs.ceph.com/docs/giant/cephfs/hadoop/ https://indico.cern.ch/event/524549/contributions/2185930/attachments/1290231/1921189/2016.06.13_-_Spark_on_Ceph.pdf http://www.ibm.com/developerworks/cn/opensource/os-cn-spark/…

庆祝一下!经过社区老司机的带路,昨天提交了第一个ceph pull request.实现了从0到1的突破,希望再接再厉提交更多代码到社区,为社区发展贡献一点自己力量. 提交的第一个被社区fix的bug:http://tracker.ceph.com/issues/16654 提交的第一个 pull request : https://github.com/ceph/ceph/pull/12664, 等待被社区接受中-- 顺便在这里总结一下提交Ceph代码的流程和规范. 正常流程 应该是track…

import java.io.File;   import com.amazonaws.AmazonClientException; import com.amazonaws.auth.profile.ProfileCredentialsProvider; import com.amazonaws.services.s3.transfer.TransferManager; import com.amazonaws.services.s3.transfer.Upload;   public cla…

使用Ceph-deploy完成RGW服务部署后(最好是在部署RGW服务前建立如下这些pool),使用sudo ceph osd lspools 命令,会发现RGW自动以默认参数创建了N个rgw相关的pool. 然而这些pool的参数按默认是不符合要求. 因此需要重建这些pool. 步骤如下: 1. 删除Pool : sudo ceph osd pool delete .rgw.root .rgw.root --yes-i-really-really-mean-it sudo ceph osd p…

本文单从存储成本角度对比了自建Ceph存储和业界公有云存储的硬件成本,不包括IDC带宽成本. 统计Ceph集群的用到的主要设备为: OSD.MON.RGW服务器 .TOR交换机. 机架. 下表解释: Port : 交换机端口年成本 Rack : 机架租赁年成本 Server: OSD/MON/RGW 服务器的成本. OSD成本较高,采用了万兆网卡和12*4T硬盘. 成本数据来源 阿里:https://www.aliyun.com/price/product?spm=5176.7740655.2.…

本系列文章会深入研究 Ceph 以及 Ceph 和 OpenStack 的集成: (1)安装和部署 (2)Ceph RBD 接口和工具 (3)Ceph 物理和逻辑结构 (4)Ceph 的基础数据结构 (5)Ceph 与 OpenStack 集成的实现 (6)QEMU-KVM 和 Ceph RBD 的 缓存机制总结 (7)Ceph 的基本操作和常见故障排除方法 (8)基本的性能测试工具和方法 (9) pool 的size 和 min_size,choose 和 chooseleaf,pg scru…

cat /etc/nginx/sites-enabled/rgw.conf server { listen 80 default; #server_name .com .com.cn .net .cn .org .tv .cc .hk .tw; server_name ceph-rgw; client_max_body_size 20M; location / { fastcgi_pass_header Authorization; fastcgi_pass_request_headers on…

网络结构 Ceph 使用以太网连接内部各存储节点以及连接 client 和集群.Ceph 推荐使用两个网络: 前端(北向)网络( a public (front-side) network):连接客户端和集群 The public network handles client traffic and communication with Ceph monitors. 后端/东西向网络 (a cluster (back-side) network):连接 Ceph 各存储节  The cluste…

1.前期准备:centos6.5 minimal版本3台 选择其中一台作为一个安装节点,能无密码登录其他机器.ssh-keygen ssh-keygen -i ~/.ssh/id_rsa.pub node1 node2 node3 2. 命令: yum install cepy-deploy -y 所有节点安装lsb yum install lsb -y 关闭防火墙,后面osd服务会向mon服务请求6789端口,防火墙开了访问不了 service iptables stop 创建mon ceph…

一)快照基础命令 网址:http://ceph.sptty.com/rbd/rbd-snapshot/ 1. 创建快照 # rbd snap create yhcpool/yhctest@yhctestsnap 2.查询rbd镜像 # rbd snap ls yhcpool/yhctest SNAPID NAME SIZE 4 yhctestsnap 512 MB 3.快照回滚 命令: rbd snap rollback {pool-name}/{image-name}@{snap-name}…