基于Azure Blob冷存储的数据压缩算法测试对比分析

【基于Azure Blob冷存储的数据压缩算法测试对比分析】的更多相关文章

基于Azure Blob冷存储的数据压缩算法测试对比分析

背景说明: 近期公司的数据增量迅速增长,存储的成本太高,需要采用生命周期进行管理,热存储中的数据或者被删除,或者备份至冷存储.但是冷备时是否要压缩,需要进行验证.Azure本身没有提供压缩的接口,只能自己处理.以下是测试的结论. 备份压缩步骤采用压缩流.验证了两种方式,方式一在文件较大时(>3G)会超时报错,方式二可行. 1.方式一:将源stream直接压缩包装输出到目标stream.不经过本地磁盘(测试应用服务器). 这种方式在测试环境中,当文件>3G时,会报超时错误. 2.方式二:先将源…

基于Azure Blob冷存储的数据压缩备份总结

基于上一篇的压缩算法对比分析报告,选择了LZ4算法的普通模式,其测试压缩率为28%,20G压缩时间为256s,估计1T的冷备时间为3.5h. 接下来,将23T的HBase历史数据进行了压缩冷备,压缩后大小为3.5T,冷备耗时311h.实际压缩率为15%,平均1T的冷备时间为13h,这与测试结论有出入,压缩率与文件内容相关,时间可能与存储账号.运行环境有关,具体原因待查. 以下是冷备总结报告.…

Windows Azure HandBook (6) Azure带宽与Azure Blob云存储

<Windows Azure Platform 系列文章目录> 在笔者这几年Azure售前工作中,经常会遇到客户提同样的问题:Azure 虚拟机的带宽是多少?Azure提供独享带宽吗?这个项目我们需要200兆的独享带宽. 当遇到这种情况的时候,笔者就会问客户:请问您需要独享带宽的目的是什么呢? 客户经常会回答:这个应用需要视频(大文件)的上传下载功能,或者是并发用户数巨大,需要独享带宽来相应更多的Internet请求. 这种情况我表示非常理解,因为我们平时在购买电信宽带的时候,都是购买30M,…

基于Azure blob storage T级别HBase表恢复

为减少Hbase集群压力,提高性能,我们将HBase库中的数据移到另外的存储,下面记录当我需要对数据进行计算时,数据恢复的过程目录: Azure storage explorer 工具数据复制元数据修复测试验证 Azure Storage Explorer工具免费工具下载地址:http://storageexplorer.com/ 本地安装后,连接至Azure存储,如下图: 说明: 源存储和目标存储所属同一区域时,复制性能更佳,同时注意一下,我使用的storage explorer比较…

基于mybatis向oracle中插入数据的性能对比

数据库表结构: 逐条插入sql语句: <insert id="insert" parameterType="com.Structure"> INSERT INTO STRUCTURE( id, structureNAME, PARENTID, structureType, description, deptId, propertyCompanyId, sort, communityId) VALUES( #{id,jdbcType=VARCHAR}, #…

[AWS vs Azure] 云计算里AWS和Azure的探究(6) - Amazon Simple Storage Service 和 Microsoft Azure Blob Storage

这几天Nasuni公司出了一份报告,分析了各个云厂商的云存储的性能,包括Amazon S3,Azure Blob Storage, Google Drive, HP以及Rackspace.其中性能上Azure排名第一,在各种大小的文件读写上性能都很优秀,有兴趣可以参考他们完整的白皮书:http://www6.nasuni.com/the-state-of-cloud-storage-in-2013-nasuni-industry-report.html 今天我们来看一下Azure Blob St…