ES(3): ES Cluster Extended Azure Storage
Azure VM的磁盘空间远远不能满足ES集群存储需求(还需除掉VM的临时盘),同时也未找着ES配置 block blob storage 存储的组件,因此下文介绍通过挂载附加盘的方式增加ES集群存储空间容量的操作过程。
目录:
- LVM基本术语
- Azure Storage 介绍
- ES cluster 配置Azure Storage
LVM基本术语
- LVM:是Linux提供的逻辑盘卷管理(Logical VolumeManager)的简称
- 物理存储介质(The physical media): 这里指系统的存储设备:硬盘,如:/dev/hda1、/dev/sda等等,是存储系统最低层的存储单元
- 物理卷(physical volume): 物理卷就是指硬盘分区或从逻辑上与磁盘分区具有同样功能的设备(如RAID),是LVM的基本存储逻辑块,但和基本的物理存储介质(如分区、磁盘等)比较,却包含有与LVM相关的管理参数
- 卷组(Volume Group): LVM卷组类似于非LVM系统中的物理硬盘,其由物理卷组成。可以在卷组上创建一个或多个“LVM分区”(逻辑卷),LVM卷组由一个或多个物理卷组成
- 逻辑卷(logical volume): LVM的逻辑卷类似于非LVM系统中的硬盘分区,在逻辑卷之上可以建立文件系统(比如/home或者/usr等)
Azure Storage 介绍
- Azure 存储空间提供以下四种服务:Blob 存储、表存储、队列存储和文件存储,如下图(主要关注blob storage):
- Blob Storage: 用于存储非结构化对象数据, 可以是任何类型的文本或二进制数据,例如文档、媒体文件或应用程序安装程序,Blob 存储也称为对象存储
- 每个 Blob 都组织到一个容器中, 一个存储帐户可以包含任意数目的容器,一个容器可以包含任意数目的 Blob,直至达到存储帐户的容量限制 500 TB
- Blob 存储提供三种类型的 Blob:block blobs, append blobs, and page blobs (disks).
- block blobs: 主要对streaming and storing cloud objects 进行相应的优化,是用于存储文档、介质文件和备份等对象的不错选择
- append blobs:类似于block Blob,针对追加操作进行了优化, 适用于新增加的数据写入到 Blob 结尾的场景
- page blobs: 对IaaS 磁盘和支持随机写入方面进行了优化, 最大容量仅为1 TB,Azure 虚拟机网络连接的 IaaS 磁盘是一个 VHD (Virtual Hard Drive),存储为page Blob
- ES的存储暂时未找着配置 block blob storage 的组件或接口,所以使用的是page blob storage, 悲吹的是要承担3位的成本差异,报价对比如下:
ES cluster 配置Azure Storage
- 新建空磁盘,在Azure portal选择VM: JNES01, 执行“附加空磁盘”, 如下图:最大1T,允许挂多个磁盘
- 查看: fdisk -l
- 物理卷: pvcreate /dev/sdc
- 卷组:vgcreate ESData /dev/sdc
- 逻辑卷: lvcreate -l 100%FREE -n lves ESData
- 查看磁盘信息:fdisk -l
- 格式化:mkfs.xfs -f /dev/mapper/ESData-lves
- 创建目录:mkdir -p /mnt/data
- 命令:mount -t xfs /dev/mapper/ESData-lves /mnt/data
- 命令:blkid /dev/mapper/ESData-lves echo "UUID=`blkid /dev/mapper/ESData-lves -o value | head -n 1` /mnt/data xfs defaults 0 0" >> /etc/fstab
- 命令:df -h
- ES在配置数据的存储目录时,可同时配置为多个,如下:
- 用 storage explorer 工具查看存储结果 (注意:/dev/sdb1 60G的临时盘看不到), 如下图:
ES(3): ES Cluster Extended Azure Storage的更多相关文章
- Azure Queue Storage 基本用法 -- Azure Storage 之 Queue
Azure Storage 是微软 Azure 云提供的云端存储解决方案,当前支持的存储类型有 Blob.Queue.File 和 Table. 笔者在<Azure File Storage 基 ...
- Azure File Storage 基本用法 -- Azure Storage 之 File
Azure Storage 是微软 Azure 云提供的云端存储解决方案,当前支持的存储类型有 Blob.Queue.File 和 Table. 笔者在<Azure Blob Storage 基 ...
- Azure Blob Storage 基本用法 -- Azure Storage 之 Blob
Azure Storage 是微软 Azure 云提供的云端存储解决方案,当前支持的存储类型有 Blob.Queue.File 和 Table. 笔者在<Azure Table storage ...
- Azure Table storage 基本用法 -- Azure Storage 之 Table
Azure Storage 是微软 Azure 云提供的云端存储解决方案,当前支持的存储类型有 Blob.Queue.File 和 Table,其中的 Table 就是本文的主角 Azure Tabl ...
- [New Portal]Windows Azure Storage (14) 使用Azure Blob的PutBlock方法,实现文件的分块、离线上传
<Windows Azure Platform 系列文章目录> 相关内容 Windows Azure Platform (二十二) Windows Azure Storage Servic ...
- [SDK2.2]Windows Azure Storage (15) 使用WCF服务,将本地图片上传至Azure Storage (上) 服务器端代码
<Windows Azure Platform 系列文章目录> 这几天工作上的内容,把项目文件和源代码拿出来给大家分享下. 源代码下载:Part1 Part2 Part3 我们在写WEB服 ...
- [SDK2.2]Windows Azure Storage (16) 使用WCF服务,将本地图片上传至Azure Storage (上) 客户端代码
<Windows Azure Platform 系列文章目录> 前一章我们完成了服务器端的代码,并且已经发布到了Windows Azure云端. 本章我们将实现客户端的代码,客户端这里我们 ...
- Windows Azure Storage (17) Azure Storage读取访问地域冗余(Read Access – Geo Redundant Storage, RA-GRS)
<Windows Azure Platform 系列文章目录> 细心的用户会发现,微软在国外和国内的数据中心建设都是成对的,比如香港数据中心(Asia East)和新加坡的数据中心(Sou ...
- Windows Azure Storage (18) 使用HTML5 Portal的Azure CDN服务
<Windows Azure Platform 系列文章目录> Update:2015-04-15 如果读者使用的是国内由世纪互联运维的Azure China服务,请参考笔者的文档:Azu ...
随机推荐
- POJ 2752 KMP中next数组的理解
感觉这里讲的挺好的.http://cavenkaka.iteye.com/blog/1569062 就是不断递归next数组.长度不断减小. 题意:给你一个串,如果这个串存在一个长度为n的前缀串,和长 ...
- learning uboot how to set ddr parameter in qca4531 cpu
DDR工作频率 在600MHZ. include/configs/board953x.h #define CFG_PLL_FREQ CFG_PLL_650_600_200 #d ...
- C#:String.Format数字格式化输出 {0:N2} {0:D2} {0:C2}...
int a = 12345678; //格式为sring输出// Label1.Text = string.Format("asdfadsf{0}adsfasdf",a);// ...
- hibernate缓存清除(转)
文章有点杂,这不是原文,谢谢贡献者 http://www.360doc.com/content/16/0413/16/32415095_550307388.shtml 一.hibernate一级缓存( ...
- html 目录结构
"D:\phpStudy\WWW\tubiao\libchart\libchart\classes\view\chart/../../../images/PoweredBy.png" ...
- iOS开发之旅:实现一个APP界面框架
在上一篇博客中,给大家介绍了一下我们传统的 APP 界面框架-标签导航的一些优缺点,在这篇文章中我会来给大家演示,如何用代码去实现这一框架.本次的实现我会分成俩部分来讲,好了闲话少说,接下来进入到开发 ...
- 几个你所不知道的技巧助你写出更优雅的vue.js代码
1. watch 与 computed 的巧妙结合 如上图,一个简单的列表页面. 你可能会这么做: created(){ this.fetchData() }, watch: { keyword(){ ...
- length()
在MATLAB中: size:获取数组的行数和列数 length:数组长度(即行数或列数中的较大值) numel:元素总数. s=size(A),当只有一个输出参数时,返回一个行向量,该行向量的第一个 ...
- shell 脚本实战笔记(4)--linux磁盘分区重新挂载
背景: Hadoop的HDFS文件系统的挂载, 默认指定的文件目录是/mnt/disk{N}. 当运维人员, 不小心把磁盘挂载于其他目录, 比如/mnt/data, /mnt/disk01, /mnt ...
- XML教程、语法手册、数据读取方式大全
XML简单易懂教程 本文提供全流程,中文翻译.Chinar坚持将简单的生活方式,带给世人!(拥有更好的阅读体验 -- 高分辨率用户请根据需求调整网页缩放比例) 一 XML --数据格式的写法 二 Re ...