基于FacebookPresto+Cassandra的敏捷式大数据 文件夹 1 1.1 1.1.1 1.1.2 1.2 1.2.1 1.2.2 2 2.1 2.2 2.3 2.4 2.5 2.6 3 3.1 3.1.1 3.1.2 3.1.3 3.2 3.2.1 3.2.2 3.2.3 3.2.4 3.2.5 3.2.6 3.2.7 4 4.1 4.2 4.3 5 6 7 1概  1概述    概述 "Ad-hoc analysis over Cassandradata with Faceboo…

一.前言 1.从今天开始进行流式大数据计算的实践之路,需要完成一个车辆实时热力图 2.技术选型:HBase作为数据仓库,Storm作为流式计算框架,ECharts作为热力图的展示 3.计划使用两台虚拟机来打一个小型的分布式系统,使用Ubuntu系统 二.HBase简介 1.HBase是基于HDFS(Hadoop分布式文件系统)的NoSQL数据库,采用k-v的存储方式,所以查询速度相对比较快. 2.下面画图比较HBase与传统的RDS(关系型数据库)数据库的区别 (1)RDS,经常用的比如MySQ…

为了让前面规划的互联网+数据平台能有效对电子商务数据进行管理及实现大数据统计功能,必须在平台上再增加一个MongDB-Engine:数据平台用户通过传入一种Context来指示MongoDB-Engine运算.与前面JDBC-Engine和Cassandra-Engine通过文本式传递指令不同的是:MangoDB没有一套像SQL或CQL这样的文本式编程语言.但MangoDB基本上都是通过Bson类型的参数进行运算的,Bson是个java interface: /** * An interface…

Flume简介 --(实时抽取数据的工具) 1) Flume提供一个分布式的,可靠的,对大数据量的日志进行高效收集.聚集.移动的服务,Flume只能在Unix环境下运行. 2) Flume基于流式架构,容错性强,也很灵活简单. 3) Flume.Kafka用来实时进行数据收集,Spark.Storm用来实时处理数据,impala用来实时查询. Flume角色 1.Source 用于采集数据,Source是产生数据流的地方,同时Source会将产生的数据流传输到Channel,这个有点类似于Jav…

双汇发展多个分厂的能源管控大数据系统主要采用两种技术栈:InfluxDB/Redis和Kafka/Redis/HBase/Flink,对于中小型研发团队来讲,无论是系统搭建,还是实施运维都非常棘手.经过对InfluxDB/Redis和TDengine大数据平台的功能和性能对比测试,最终将TDengine作为实施方案. 1. 项目背景 基于双汇发展对能源管控的需求,利用云平台技术以及电气自动化处理手段,对双汇发展的一级.二级.三级能源仪表进行整体改造,实现仪表组网,进一步通过边缘网关进行能源在线监…

1.环境: 1.1.cassandra 集群: 用于日志数据存储 1.2.spark集群: 用户后期的实时计算及批处理 1.3.codis 集群: 用于缓存一些基本数据如IP归属地,IP经纬度等,当日志上来,对日志进行补全 1.4.postgres数据库: 1.用于存储维度表 2.存储统计结果 1.5.消息队列 如:rabbitmq.apollo 或者kafka,用于接收产品日志数据.当日志数据低于5000条/s时,可以考虑使用rabbitmq.高于此值.建议换成apollo或者kafka.消息…

Flume应用开发 要求: 了解Flume应用开发适用场景 掌握Flume应用开发 Flume应用场景Flume的核心是把数据从数据源收集过来,在送到目的地.为了保证输送一定成功,发送到目的地之前,会先缓存数据,待数据真正的到达目的地后,删除自己缓存的数据.Flume采用流式方法采集和传输数据,程序配置好后,不需要外部条件触发下,一直监控数据源,源源不断地采集.传送数据到目的地. 主要应用于一下几种场景: 将分布式节点上大量数据实时采集.汇总和转移 将集群内.外地本地文件.实时数据流采集到Fus…

一.前言 1.这一文开始进入Storm流式计算框架的学习 二.Storm简介 1.Storm与Hadoop的区别就是,Hadoop是一个离线执行的作业,执行完毕就结束了,而Storm是可以源源不断的接受数据源,不停的对数据进行处理,而数据就行水流一样不停的流进来,经过处理,再将结果存入数据库或者做其他用途 2.基础概念 (1)Tuple(元组):数据流传递的基本单元,相当于数据的流动通过Tuple作为对象来传递 (2)Spout(龙卷):相当于数据源,通过重写nextTuple()方法,源源不断…

一.前言 1.这一文学习使用Hive 二.Hive介绍与安装 Hive介绍:Hive是基于Hadoop的一个数据仓库工具,可以通过HQL语句(类似SQL)来操作HDFS上面的数据,其原理就是将用户写的HQL语句转换成MapReduce任务去执行,这样不用开发者去写繁琐的MapReduce程序,直接编写简单的HQL语句,降低了很多学习成本.由于Hive实际上是执行MapReduce,所以Hive的查询速度较慢,不适合用于实时的计算任务 1.下载Hive的tar包,并解压 -bin.tar.gz 2…

一.前言 1.上文中我们搭建好了一套HBase集群环境,这一文我们学习一下HBase的基本操作和客户端API的使用 二.shell操作 先通过命令进入HBase的命令行操作 /work/soft/hbase-/bin/hbase shell 1.建表 create 'test', 'cf' (1)以上命令是建立一个test表,里面有一个列族cf (2)与RDS不同,HBase的列不是必须的,当向列族中插入一个单元格数据时,才有了列 2.查看所有表 list 3.查看表属性 describe 't…