转自http://www.csdn.net/article/2014-04-10/2819247-how-to-learn-opensouce-project-&-ceph 摘要:开源技术的学习和采用确实存在着一定门槛,然而学习各种开源项目已经成为许多开发者不可回避的工作内容.那么,对于类似OpenStack的大型开源项目,开发者该如何着手,这里我们看章宇的分享. [编者按]在 上一届OpenStack Summit报道中,我们有提过,OpenStack已得到IBM.HP.RedHat等公司的鼎…

prefaces: ceph installation(quick)1,preflight(ins ceph-deploy repo tools)2,ceph storage cluster quick start3,block device quick start4,ceph file system quick start5,ceph object storage quick start (1,preflight) Ceph is a distributed object store and…

adapted accordingly并相应地调整 silosn. 筒仓:粮仓:贮仓(silo的复数) saturatevt. 浸透,使湿透:使饱和,使充满While one HDD might not saturate a 1 Gb link likelihoodn. 可能性,可能 aforementionedadj. 上述的:前面提及的 fail-safen. 自动防故障装置 colocated驻扎在同一地点 budgeted adj. 已安排预算的 devotedadj. 献身的:忠诚的…

pmxcfs The Proxmox Cluster file system (“pmxcfs”) is a database-driven file system for storing configuration files, replicated in real time to all cluster nodes using corosync. We use this to store all PVE related configuration files.Although the fil…

ceph-deploy安装 Yum priorities pluginLoaded plugins: fastestmirror Loaded plugins: fastestmirror, priorities yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm cat << EOM > /etc/yum.repos.d/ceph.repo[ceph-noarch]n…

常用命令ceph -w ceph df ceph features ceph fs ls ceph fs status ceph fsid ceph health ceph -s ceph status ceph mgr module ls ceph mgr module enable dashboard ceph mgr services ceph mon feature ls ceph node ls ceph osd crush rule ls ceph osd crush rule du…

服务器虚拟化 - Hypervisor 服务器虚拟化软件,也叫 Hypervisor--虚拟机管理程序,有时也称做 Virtual Machine Monitor(VMM),它可以在宿主机上创建并管理多个虚拟机. 目前比较流行的 Hypervisor 有: vShpere Hypervisor: 也就是 ESXi,这是一个闭源收费的服务器虚拟化系统.基于 Linux,可直接安装在物理机上. 优点是简单方便,但是收费.适合中小企业,或者个人搭着玩. 成熟稳定,用户众多.但是各大云服务提供商全都用…

之前做的一个PPT,分享给博客园的同学. 下载地址: 学技术练英语.pdf 技术是靠自己去学的,学技术不能仅仅是看书看博客,最好是有实践,不管是做实验去验证,还是写各种代码去玩各种特性,还是造轮子都是非常好的学习方法.技术发展很快,学好基础的可以提升自己的内功,以后学其他知识都会很快,把一方面的技术学到够深,才有可能站在更本质的角度去看问题.英语是靠练习的,语言的学习并不需要多少技巧需要花时间,这个PPT里针对的是上班族,给力一些可操作的学习方式的建议供大家参考.…

义务教育教科书小学英语五年级上册点读软件.根据2014年北京教改版教材编写,发音标准.实现点读功能.点到哪里读到哪里.哪里不会点哪里!北京教育科学研究院编写,北京出版社出版.ISBN:9787200108477 下载地址:http://pan.baidu.com/s/10agn8…

小学英语三年级上册点读软件.根据2014年北京教改版教材编写,发音标准.实现点读功能.点到哪里读到哪里.哪里不会点哪里!北京教育科学研究院编写,北京出版社出版.ISBN:9787200108781     APK安装包下载:点击这里 http://pan.baidu.com/s/1jGoTs2q         应用预览:        …

http://docs.ceph.com/docs/giant/cephfs/hadoop/ https://indico.cern.ch/event/524549/contributions/2185930/attachments/1290231/1921189/2016.06.13_-_Spark_on_Ceph.pdf http://www.ibm.com/developerworks/cn/opensource/os-cn-spark/…

庆祝一下!经过社区老司机的带路,昨天提交了第一个ceph pull request.实现了从0到1的突破,希望再接再厉提交更多代码到社区,为社区发展贡献一点自己力量. 提交的第一个被社区fix的bug:http://tracker.ceph.com/issues/16654 提交的第一个 pull request : https://github.com/ceph/ceph/pull/12664, 等待被社区接受中-- 顺便在这里总结一下提交Ceph代码的流程和规范. 正常流程 应该是track…

import java.io.File;   import com.amazonaws.AmazonClientException; import com.amazonaws.auth.profile.ProfileCredentialsProvider; import com.amazonaws.services.s3.transfer.TransferManager; import com.amazonaws.services.s3.transfer.Upload;   public cla…

使用Ceph-deploy完成RGW服务部署后(最好是在部署RGW服务前建立如下这些pool),使用sudo ceph osd lspools 命令,会发现RGW自动以默认参数创建了N个rgw相关的pool. 然而这些pool的参数按默认是不符合要求. 因此需要重建这些pool. 步骤如下: 1. 删除Pool : sudo ceph osd pool delete .rgw.root .rgw.root --yes-i-really-really-mean-it sudo ceph osd p…

本文单从存储成本角度对比了自建Ceph存储和业界公有云存储的硬件成本,不包括IDC带宽成本. 统计Ceph集群的用到的主要设备为: OSD.MON.RGW服务器 .TOR交换机. 机架. 下表解释: Port : 交换机端口年成本 Rack : 机架租赁年成本 Server: OSD/MON/RGW 服务器的成本. OSD成本较高,采用了万兆网卡和12*4T硬盘. 成本数据来源 阿里:https://www.aliyun.com/price/product?spm=5176.7740655.2.…

github 相关英语 repository n. 仓库 A repository contains all the files for your project, including the revision( 修订,修改,修订版 ) history. existing adj 现有的,目前的 README 自述文件 setting 设置 commit     把…托付给; 保证(做某事.遵守协议或遵从安排等); 承诺,使…承担义务;…

(-1)写在前面 文章参考http://blog.sina.com.cn/willcaty. 针对其中的一道练习题想出两种其他的答案,希望网友给出更多回答. (0) 基础数据 student表 +-----+--------+------+-------+------------+--------------+ | id  | name   | sex  | birth | department | address      | +-----+--------+------+-------+--…

首先,自我介绍一下,我叫万世想,目前国内某985高校CS硕士在读,在现代软件工程课上,接触到了博客园,之前是自己在新浪云上用WP简单搭了自己的博客,但是都没有坚持下来.希望自己能够在博客园大家庭中,与诸位共同成长,为了世界和平.:) 1. 关于PETS5考试 这里,我想分享一些关于PEST5备考的心得.PETS5是国家公派留学考试(WSK)中的外语语种之一:英语.因此WSK等级考试还有俄语.日语等等,专为公派留学而准备.考试的方式基本等同于雅思,号称"中国版雅思".因此,备考时,我主要…

本系列文章会深入研究 Ceph 以及 Ceph 和 OpenStack 的集成: (1)安装和部署 (2)Ceph RBD 接口和工具 (3)Ceph 物理和逻辑结构 (4)Ceph 的基础数据结构 (5)Ceph 与 OpenStack 集成的实现 (6)QEMU-KVM 和 Ceph RBD 的 缓存机制总结 (7)Ceph 的基本操作和常见故障排除方法 (8)基本的性能测试工具和方法 (9) pool 的size 和 min_size,choose 和 chooseleaf,pg scru…

cat /etc/nginx/sites-enabled/rgw.conf server { listen 80 default; #server_name .com .com.cn .net .cn .org .tv .cc .hk .tw; server_name ceph-rgw; client_max_body_size 20M; location / { fastcgi_pass_header Authorization; fastcgi_pass_request_headers on…

网络结构 Ceph 使用以太网连接内部各存储节点以及连接 client 和集群.Ceph 推荐使用两个网络: 前端(北向)网络( a public (front-side) network):连接客户端和集群 The public network handles client traffic and communication with Ceph monitors. 后端/东西向网络 (a cluster (back-side) network):连接 Ceph 各存储节  The cluste…

1.前期准备:centos6.5 minimal版本3台 选择其中一台作为一个安装节点,能无密码登录其他机器.ssh-keygen ssh-keygen -i ~/.ssh/id_rsa.pub node1 node2 node3 2. 命令: yum install cepy-deploy -y 所有节点安装lsb yum install lsb -y 关闭防火墙,后面osd服务会向mon服务请求6789端口,防火墙开了访问不了 service iptables stop 创建mon ceph…

背景知识 良好隐私密码法(英语:Pretty Good Privacy,缩写为PGP),一套用于讯息加密.验证的应用程序,采用IDEA的散列算法作为加密与验证之用. 关联文献:https://en.wikipedia.org/wiki/Pretty_Good_Privacy 使用工具: GPG Suite 苹果电脑中简易使用步骤 下载并安装 GPG Suite当前我现在的版本和文件名是:GPG_Suite-2015.09.dmg 按照步骤生成新公钥和私钥:或者稍后点击File>New Key来为…

一)快照基础命令 网址:http://ceph.sptty.com/rbd/rbd-snapshot/ 1. 创建快照 # rbd snap create yhcpool/yhctest@yhctestsnap 2.查询rbd镜像 # rbd snap ls yhcpool/yhctest SNAPID NAME SIZE 4 yhctestsnap 512 MB 3.快照回滚 命令: rbd snap rollback {pool-name}/{image-name}@{snap-name}…

一)存储池命令 1.列出存储池 #ceph osd lspools #ceph osd pool ls 2.创建存储池 # ceph osd pool create yhcpool 512 pool 'yhcpool' created # ceph osd pool ls rbd yhcpool 二)块设备基本命令 1.创建块设备映像 #rbd create --size 1024 yhcpool/yhctest 2.查看块设备 # rbd ls --pool yhcpool yhctest 3…

前言:本文基于ubuntu 14.04.5 LTS 和ceph v0.94.3 之上做的实验 一.编译ceph包1.1.克隆ceph代码,切换分支 git clone --recursive https://github.com/ceph/ceph.git cd ceph git checkout v0.94.3 -f 备注:recursive会把子模块一起克隆 1.2.安装依赖包 ./install-deps.sh ./autogen.sh 1.3.编译前配置 ./configure --pr…

import java.util.Scanner; public class Test2 { public void reverse(String str) { String[] wordArray = str.split(" "); System.out.print("颠倒输出:"); for (int i = wordArray.length - 1; i >= 0; i--) { System.out.print(wordArray[i] + "…

现象: 通过ceph -w日志经常发现有request blocked的问题(如果虚拟机系统跑在ceph上时,就会发现严重的卡顿现象) 排查: 1.通过dstat未发现有明显的瓶颈 (dstat -tndr 2) 2.通过iostat也未发现有明显的瓶颈 (iostat -dx 2) 3.通过netstat也未发现存储网网卡的发送队列或者接收队列有明显的积压 (netstat -an) 4.也未出现ceph官方解释的四种问题(设备坏掉等) 解决: 最后也是多次尝试,发现将存储网网卡的lro关掉后…

在前面一篇文章中,我们看到,当使用filestore时,osd会把磁盘分成data和journal两部分.这主要是为了支持object的transaction操作.我的想法是,ceph需要具有数据保护功能,从client端写入的数据(以返回I/O Completion为标志)不能丢失.对于object为什么要使用journal,ceph官方也给出了解释: 速度:有了journal分区后,写数据速度更快.这主要是因为journal的写都是顺序写. 一致性:ceph要求I/O操作是原子性的,比如更新…

基础部分 NVMe驱动解析-前言 NVMe驱动解析-注册设备 NVMe驱动解析-关键的BAR空间 NVMe驱动解析-DMA传输(热门) NVMe驱动解析-响应I/O请求 用一个简单的例子窥探NVMe的PRP规则 SPDK预备知识-DPDK SPDK的NVMe协议实现-上半部分 SPDK的NVMe协议实现-下半部分 NVMe融合blk-mq(从centos7.2开始) 强势回归,Linux blk用实力证明自己并不弱!(热门) NVMe over Fabrics NVMe over Fabrics…