一.Hive的压缩和存储 1,MapReduce支持的压缩编码 压缩格式 工具 算法 文件扩展名 是否可切分 对应的编码/解码器 DEFLATE 无 DEFLATE .deflate 否 org.apache.hadoop.io.compress.DefaultCodec Gzip gzip DEFLATE .gz 否 org.apache.hadoop.io.compress.GzipCodec bzip2 bzip2 bzip2 .bz2 是 org.apache.hadoop.io.com…

1.固定集合 > db.createCollection(, max:});//固定集合 必须 显式创建. 设置capped为true, 集合总大小xxx字节, [集合中json个数max] { } > db.c1.stats() { "ns" : "test.c1", , , , , , , , , , "indexSizes" : { }, , , } > db.c1.insert({name:'}); > db.c1…

目录 行存储与列存储 行存储的特点 列存储的特点 常见的数据格式 TextFile SequenceFile RCfile ORCfile 格式 数据访问 Parquet 测试 准备测试数据 存储空间大小 测试SQL 执行效率 总结 Hive 压缩 Hive中间数据压缩 最终输出结果压缩 常见的压缩格式 Native Libraries Hive中的可用压缩编解码器 演示 总结 行存储与列存储 当今的数据处理大致可分为两大类,联机事务处理 OLTP(on-line transaction pro…

一.Hive的命令行 1.Hive支持的一些命令 Command Description quit Use quit or exit to leave the interactive shell. set key=value Use this to set value of particular configuration variable. One thing to note here is that if you misspell the variable name, cli will no…

前言: 对于资源类的APP, 其音频/图形占据了APP本身很大的比例. 如何存储和管理这些资源文件, 成了一个颇具挑战性的难点. 移动端的碎片化, 高中低端手机的并存, 需要开发者不光是具备基础的存储知识, 更需要基本优化的能力. 本文首先介绍手机硬件的基础, 后续会分别介绍存储方式, 资源打包, 最后以一个具体例子作结. 内容还是浅显, 望能抛砖引玉. *) 硬件基础 作为手机开发者人员, 你是否知道RAM/ROM/存储卡的区别? 而产商所宣传的运行内存, 机身内存又是什么? 1). RAM/…

1.简单优化 #关闭firewalld,selinux,NetworkManager systemctl(管理服务的命令) stop(关服务) firewalld (服务名称,d是demo的意思) systemctl(管理服务的命令) disable(取消开机启动) firewalld (服务名称,d是demo的意思) systemctl(管理服务的命令) enable(开启开机启动) firewalld (服务名称,d是demo的意思) #selinux安全策略 临时关安全策略setenfor…

1. 前言 什么是特殊矩阵? C++,一般使用二维数组存储矩阵数据. 在实际存储时,会发现矩阵中有许多值相同的数据或有许多零数据,且分布呈现出一定的规律,称这类型的矩阵为特殊矩阵. 为了节省存储空间,可以设计算法,对这类特殊矩阵进行压缩存储,让多个相同的非零数据只分配一个存储空间:对零数据不分配空间. 本文将讲解如何压缩这类特殊矩阵,以及压缩后如何保证矩阵的常规操作不受影响. 2. 压缩对称矩阵 什么是对称矩阵? 在一个n阶矩阵A中,若所有数据满足如下述特性,则可称A为对称矩阵. a[i][j]…

一 基本构造 Trie树是搜索树的一种,来自英文单词"Retrieval"的简写,可以建立有效的数据检索组织结构,是中文匹配分词算法中词典的一种常见实现.它本质上是一个确定的有限状态自动机(DFA),每个节点代表自动机的一个状态.在词典中这此状态包括“词前缀”,“已成词”等. 双数组Trie(double array Trie)是trie树的一个简单而有效的实现,由两个整数数组构成,一个是base[],另一个是check[].设数组下标为i ,如果base[i],check[i]均为0…

MySQL使用的是插件式存储引擎. 主要包含存储引擎有:MyISAM,Innodb,NDB Cluster,Maria.Falcon,Memory,Archive.Merge.Federated. 当中最为广泛的是MyISAM 和Innodb两种存储引擎.所以接下来对它们做简单介绍. MyISAM 存储引擎简单介绍 MyISAM 存储引擎的表存储在数据库中,每个表都被存放为三个以表名命名的物理文件. 1.(.frm文件)不论什么存储引擎都必不可少的存放表结构定义信息的文件 2.(.MYD文件)存…

mysql简单优化思路 作为开发人员,数据库知识掌握的可能不是很深入,但是一些基本的技能还是要有时间学习一下的.作为一个数据库菜鸟,厚着脸皮来总结一下 mysql 的基本的不能再基本的优化方法. 为了更好的说明,我假想出来了一个业务场景,可能在实际业务中并不存在这样的场景,只为举例说明问题: 表结构说明 用户账号表(account),主要存储用户账号.密码.注册时间等信息,1万条数据 用户基本信息表(userinfo),主要存储用户个人信息,包括年龄.性别等,关联 account 表,关联字段…