hadoop技术产生

一、为什么有大数据

　　我的理解是：

　　　　　1）数据量达到了传统数据库的瓶颈

　　　　　2）数据量的激增

　　　　　3）硬件成本的降低 [ 技术水平的上升 ]

　　　　　4）想通过大量的数据发现潜在的商业价值

二、什么是大数据

　　大数据指的是：无法在可承受时间内用常规的软件工具 [ 传统数据库 ] 对其内容进行抓取、管理和处理的数据集合。也可以理解为 大数据=“海量的数据”+“复杂的数据类型”

三、大数据的技术框架

　　Hadoop相关的技术　　　　

　　　　计算框架：MapReduce

　　　　资源管理：YARN

　　　　存储依赖：HDFS

　　　　数据采集：Flume

　　　　数据的缓存：Kafka

　　　　离线处理：Hive

　　　　实时处理：Storm、HBase

　　　　协调者：ZooKeeper

　　　　... ...

　　Spark相关的技术

　　　　Spark  Core

　　　　Spark SQL

　　　　Spark Streaming

　　　　Spark MLlib

　　　　Graphx

四、大数据的作用及前景

　　　　作用：海量数据的存储，挖掘数据潜在的商业价值，精准营销，路况分析等

　　　　 前景：智能家居，远程教育（贫困山区），远程医疗等