大数据篇:Hbase Hbase是什么 Hbase是一个分布式.可扩展.支持海量数据存储的NoSQL数据库,物理结构存储结构(K-V). 如果没有Hbase 如何在大数据场景中,做到上亿数据秒级返回.(有条件:单条数据,范围数据) hbase.apache.org 1 Hbase结构及数据类型 逻辑结构 物理结构 整张表会按照水平方向按照Row Key切割(Region).再按垂直方向按ColumnFamily切割(Store), Name Space:命名空间 类似于关系型数据库中的datab…

大数据之HBase数据插入优化之多线程并行插入实测案例 一.引言: 上篇文章提起关于HBase插入性能优化设计到的五个参数,从参数配置的角度给大家提供了一个性能测试环境的实验代码.根据网友的反馈,基于单线程的模式实现的数据插入毕竟有限.通过个人实测,在我的虚拟机环境下,单线程插入数据的值约为4w/s.集群指标是:CPU双核1.83,虚拟机512M内存,集群部署单点模式.本文给出了基于多线程并发模式的,测试代码案例和实测结果,希望能给大家一些启示: 二.源程序: 1 import org.apac…

Zookeeper 1 Zookeeper概念 Zookeeper是什么 是一个基于观察者设计模式的分布式服务管理框架,它负责和管理需要关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应. Zookeeper特点 哪些系统用到了Zookeeper HDFS YARN Storm HBase Flume Dubbo(阿里巴巴) 2 Zookeeper基本原理 2.1 Zookeeper架构 一个领导者…

大数据篇:Spark Spark是什么 Spark是一个快速(基于内存),通用,可扩展的计算引擎,采用Scala语言编写.2009年诞生于UC Berkeley(加州大学伯克利分校,CAL的AMP实验室),2010年开源,2013年6月进入Apach孵化器,2014年成为Apach顶级项目,目前有1000+个活跃者.就是说用Spark就对了. Spark支持Scala,Java,R,Python语言,并提供了几十种(目前80+种)高性能的算法,这些如果让我们自己来做,几乎不可能. Spark得到…

YARN YARN是什么? YARN是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率.资源统一管理和数据共享等方面带来了巨大好处. 如果没有YARN! 无法管理集群资源分配问题. 无法合理的给程序分配合理的资源. 不方便监控程序的运行状态及日志. 1 YARN概念 1.1 基本架构 ResourceManager 整个集群只有一个,负责集群资源的统一管理和调度 处理客户端请求,启动/监控ApplicationMaster…

MapReduce MapReduce是什么? MapReduce源自于Google发表于2004年12月的MapReduce论文,是面向大数据并行处理的计算模型.框架和平台,而Hadoop MapReduce是Google MapReduce克隆版. 如果没有MapReduce! 那么在分布式计算上面将很难办,不好编程. 在早期无法处理大数据的离线计算. 编程中不易扩展性 分布式计算任务一旦挂了,没有容错机制进行处理 说明:MapReduce不擅长的方面(慢!) 实时计算:像MySQL一样,在…

ElasticSearch ElasticSearch是什么 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java语言开发的,并作为Apache许可条款下的开放源码发布,是一种流行的企业级搜索引擎.ElasticSearch用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便.官方客户端在Java..NET(C#).PHP.Python.Apache Groovy…

大数据篇:Hive hive.apache.org Hive是什么? Hive是Facebook开源的用于解决海量结构化日志的数据统计,是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并且提供类SQL查询功能,本质是将HQL转化成MapReduce程序. 数据存储在HDFS,分析数据底层实现默认是MapReduce,执行程序运行在Yarn上. 如果没有Hive 想象一下数据统计的时候写大量的MapReduce程序,那会是多么痛苦.如果是写SQL就开心多了,尤其是离线数据…

大数据篇:一文读懂@数据仓库 1 网络词汇总结 1.1 数据中台 数据中台是聚合和治理跨域数据,将数据抽象封装成服务,提供给前台以业务价值的逻辑概念. 数据中台是一套可持续"让企业的数据用起来"的机制,一种战略选择和组织形式,是依据企业特有的业务模式和组织架构,通过有形的产品和实施方法论支撑,构建一套持续不断把数据变成资产并服务于业务的机制. 数据中台连接数据前台和后台,突破数据局限,为企业提供更灵活.高效.低成本的数据分析挖掘服务,避免企业为满足具体某部门某种数据分析需求而投放大量高…

大数据开发--Hbase协处理器案例 1. 需求描述 在社交网站,社交APP上会存储有大量的用户数据以及用户之间的关系数据,比如A用户的好友列表会展示出他所有的好友,现有一张Hbase表,存储就是当前注册用户的好友关系数据,如下 需求 使用Hbase相关API创建一张结构如上的表 删除好友操作实现(好友关系双向,一方删除好友,另一方也会被迫删除好友) 例如:uid1用户执行删除uid2这个好友,则uid2的好友列表中也必须删除uid1 2.需求分析实现 2.1 考虑到需求是个双向删除,第一想法是…