基于OceanStor Dorado V3存储之精简高效 Smart 系列特性
基于OceanStor Dorado V3存储之精简高效 Smart 系列特性
在线重删(SmartDedupe)
OceanStor Dorado V3 在线重复数据删除是指在将数据写入闪存介质之前进行重复数据删除。在线重删的过程如下所述:存储系统会对新写入的数据按照重删粒度进行分块,并对分块计算指纹,与系统中已存在的指纹进行对比(进行查重)。如果找到相同指纹,再读取指纹对应的数据块与新写入数据块进行逐字节对比,如果对比通过,则仅增加指纹索引,不再重复写入数据块。如果未找到相同的指纹或逐字节对比不通过,则写入新数据块,并记录指纹与新数据块地址的映射关系。
在线压缩(SmartCompression)
OceanStor Dorado V3 在线数据压缩是指在数据写入闪存介质之前进行压缩。采用先重删后压缩方式确保仅针对唯一的数据块执行压缩。经过压缩的数据块随后会存储在阵列中。压缩减少了需要写入 SSD 的物理数据总量,可进一步减小 SSD 的写放大(Write Amplification),从而提高闪存阵列的耐用性。
压缩算法是计算密集型程序,在线数据压缩会消耗大量的 CPU 资源,从而影响系统端到端的性能。业界友商普遍采用高性能、低压缩率的开源压缩算法,例如: LZ4, LZO,Snappy 等。 Dorado V3 采用改进型的快速 LZX、 LZ4、 ZTSD 算法,基于开源 LZX、LZ4、 ZTSD压缩算法,结合现有系统特征,压缩效率提升 1 倍的同时,不损失压缩率。
智能精简配置(SmartThin)
智能精简配置以一种按需分配的方式来管理存储设备。智能精简配置不会预先分配所有的空间,而是将大于物理存储空间的容量形态呈现给用户,使用户看到的存储空间远远大于系统实际分配的空间。用户对这部分空间的使用实行按需分配的原则。如果用户的存储空间不足,可通过扩充后端存储资源池的方式来进行系统扩容,整个扩容过程无需业务系统停机,对用户完全透明。
智能服务质量控制(SmartQoS)
SmartQoS 特性又叫智能服务质量控制特性,可以通过动态地分配存储系统的资源来满足某些应用程序的特定性能目标。 SmartQoS 特性允许用户根据应用程序数据的一系列特征(IOPS、占用带宽)对特定应用程序设置特定的上限目标。存储系统根据设定的上限目标,准确限制应用程序的性能,避免非关键应用程序抢占过多存储系统资源,影响关键应用程序的性能。
SmartQoS 采用基于 LUN 或快照的 I/O优先级调度技术和 I/O流量控制技术两种方式来保证数据业务的服务质量。
异构虚拟化(SmartVirtualization)
OceanStor Dorado V3 提供异构虚拟化特性 SmartVirtualization 来接管异构存储系统(包括其他华为存储系统和第三方厂商的存储系统),保护现有投资。使用SmartVirtualization 后,本端存储系统能够将异构存储系统提供的存储资源当作本地存储资源进行使用并对其进行集中管理,无需关注存储系统间软件架构和硬件架构的差异。同时,结合 SmartMigration 特性还可以实现对异构存储系统中的数据进行在线迁移,帮助客户完成新老设备的更新换代和数据搬迁。
异构虚拟化的工作原理:通过把异构阵列映射到本端阵列,把异构阵列的存储空间通过 eDevLUN(External Device LUN)的方式管理和利用起来。 eDevLUN 包括元数据卷(Meta Volume)和数据卷(Data Volume)。元数据卷用于对 eDevLUN 的数据存储位置进行管理,其所需要的物理空间由本端存储系统提供。数据卷是对外部 LUN 数据的逻辑抽象,其所需的物理空间由异构存储系统提供,不占用本端存储系统空间。本端存储系统上创建的 eDevLUN 与异构存储系统上的外部 LUN 是一一对应的关系。应用服务器可以通过对 eDevLUN 的读写操作实现对外部 LUN 的数据访问。
SmartVirtualization 通过 LUN 伪装技术,将 Dorado V3 的 eDevLUN 的 WWN 和 HostLUN ID 设置成与异构存储系统上的 LUN 的信息一致,在数据迁移完成后,通过主机多路径软件实现在线 LUN 的无缝切换,从而在主机不中断业务的情况下完成数据迁移。
智能数据迁移(SmartMigration)
OceanStor Dorado V3 系列存储系统通过 LUN 迁移(SmartMigration)提供了智能化的数据迁移手段。可以在不中断原有业务的情况下实现将源 LUN 上的数据完整地迁移到目标 LUN 上。 LUN迁移不仅支持存储系统内部的数据迁移,还支持华为存储系统和与其兼容的异构存储系统之间的数据迁移。
SmartMigration 特性通过把源 LUN 的数据完整的复制到目标 LUN,在复制过程中采用源 LUN 和目标 LUN双写、差异日志记录等技术,复制完成后采用 LUN 信息交换由目标 LUN 接管源 LUN 业务,实现数据的在线迁移。
多租户(SmartMulti-Tenant for File)
OceanStor Dorado V3 系列的多租户特性又称 SmartMulti-Tenant,实现了在一套物理存储系统中创建多个虚拟存储系统, 让租户在多协议架构中既能共享相同的存储硬件资源,又不影响相互的数据安全性和隐私。
多租户特性主要解决租户之间的隔离问题,包括管理隔离、业务隔离、网络隔离。租户之间不能相互访问数据,以此来达到安全隔离的效果。
智能配额(SmartQuota for File)
在 NAS 文件服务环境中,通常以共享目录的方式将资源提供给使用的部门、组织或个人。而每个部门或个人,都有其独特的资源需求或限制。因此,系统需要基于共享目录,因地制宜地对各个使用者,进行资源分配和限制。
OceanStor Dorado V3 的文件系统配额特性称为 SmartQuota,正是用于满足此需求的技术,该技术可以针对目录、用户、用户组这三类资源的使用者分别进行资源控制。SmartQuota可配置的配额选项有容量软配额、容量硬配额、文件软配额、文件硬配额。
基于OceanStor Dorado V3存储之精简高效 Smart 系列特性的更多相关文章
- 基于OceanStor Dorado V3存储之数据保护 Hyper 特性
基于OceanStor Dorado V3存储之数据保护 Hyper 特性 1.1 快照 1.2 HyperCDP 1.3 HyperCopy 1.4 克隆(HyperClone) 1.5 ...
- 精简高效CSS系列之二——浮动float
一.浮动基础知识 假如一个页面上有3个div块,如下排列: 图1:不使用浮动 图2:向右浮动 图2说明了框1脱离了文档流向右移动,直到它的右边缘碰到包含框的右边缘为止. 图3:向左浮动 图3说明了框1 ...
- RichLabel基于Cocos2dx+Lua v3.x
RichLabel 简介 RichLabel基于Cocos2dx+Lua v3.x解析字符串方面使用了labelparser,它可以将一定格式的字符串,转换为lua中的表结构扩展标签极其简单,只需添加 ...
- 基于Twitter的Snowflake算法实现分布式高效有序ID生产黑科技(无懈可击)
参考美团文档:https://tech.meituan.com/2017/04/21/mt-leaf.html Twitter-Snowflake算法产生的背景相当简单,为了满足Twitter每秒上万 ...
- scrapy框架基于管道的持久化存储
scrapy框架的使用 基于管道的持久化存储的编码流程 在爬虫文件中数据解析 将解析到的数据封装到一个叫做Item类型的对象 将item类型的对象提交给管道 管道负责调用process_item的方法 ...
- TKE用户故事 | 作业帮检索服务基于Fluid的计算存储分离实践
作者 吕亚霖,2019年加入作业帮,作业帮基础架构-架构研发团队负责人,在作业帮期间主导了云原生架构演进.推动实施容器化改造.服务治理.GO微服务框架.DevOps的落地实践. 张浩然,2019年加入 ...
- SpringBoot 搭建基于 MinIO 的高性能存储服务
1.什么是MinIO MinIO是根据GNU Affero通用公共许可证v3.0发布的高性能对象存储.它与Amazon S3云存储服务兼容.使用MinIO构建用于机器学习,分析和应用程序数据工作负载的 ...
- 精简高效的css命名准则
对于css,为了避免样式冲突,我们总会赋予相当特殊的命名,或是在选择符上添加html标记,或是使用层级.我们为避免在冲突上做文章,就会把代码的命名变得复杂化. 如果css的重用性越高,相比就越高效.如 ...
- 【WP8.1开发】基于应用的联系人存储
上一篇文章所吹的牛是访问系统(手机)上的联系人,当然那只是读不能改,这是自然的,要是让你能随便修改用户的联系人信息的话,那后果很严重,有些恶意开发者就有可能把”你的户口改成猪“. 但是,API也允许应 ...
随机推荐
- du 配合sort查看文件夹大小
du -s * | sort -nr | head 选出排在前面的10个 du -s * | sort -nr | tail 选出排在后面的10个
- python爬虫:将数据保存到本地
一.python语句存储 1.with open()语句 with open(name,mode,encoding) as file: file.write() name:包含文件名称的字符串; mo ...
- SpringBoot2使用Jetty容器(替换默认Tomcat)
https://blog.csdn.net/hanchao5272/article/details/99649252 Jetty和tomcat的比较 Tomcat和Jetty都是一种Servlet ...
- HTTP Error 500.35 - ANCM Multiple In-Process Applications in same Process
vs2019 win10 情况:报错 HTTP Error 500.35 - ANCM Multiple In-Process Applications in same Process 微软官方解 ...
- Python【day 13】内置函数02
一.作用域相关-2个 1.locals() 参数是空 返回当前位置作用域的所有变量,返回的是字典 当前位置:函数内,返回局部变量 当前位置:函数外,返回全局变量 2.globals() 参数是空 返回 ...
- 安卓开发笔记(三十四):Material Design框架实现优美的左侧侧滑栏
首先我们先上图: 下面是主页面的代码,activity_main.xml: <?xml version="1.0" encoding="utf-8"?& ...
- linux用户管理章节笔记
1 更改有效用户组 :newgrp zeng 把当前用户的有效用户组更改为zeng.事后可以使用groups命令查看. 2 在使用useradd命令增加用户时,在/etc/passwd的值一般会参考 ...
- [20190909]完善vim的bccacl插件.txt
[20190909]完善vim的bccacl插件.txt http://blog.itpub.net/267265/viewspace-2140886/http://blog.itpub.net/26 ...
- vue全局路由守卫beforeEach+token验证+node
在后端安装jsonwebtoken npm i jsonwebtoken --save 在 login.js文件中引入 // 引入jwtconst jwt = require ...
- PHP注释标记整理
什么是注释标记 我们在平常写代码或看别人写的代码时, 在方法的说明注释中经常会有这样的注释: /** * @param $num * @return array */ 上面的@param @retur ...