015_[小插曲]看黄老师《炼数成金Hadoop应用开发实战案例》笔记

1、大数据金字塔结构

Data Source-->Data Warehouses/Data Marts-->data exploration-->Data Mining-->Data Presentations-->Making Decisions

2、从业职位
   业务人员、ETL工程师、数据仓库工程师（及时需求）、数据分析师、数据展现设计师、
   IT支持人员：运维。程序员、生产线数据管理员

3、数据分析：统计方法，有目的 地对收集到的数据进行处理。
   数据挖掘：查找隐藏在数据中的信息的技术、应用算法从大数据集提取知识、隐性关联
   商业智能：Business Intelligece简称BI。
    BI=数据仓库（存储层）+数据分析与数据挖掘（分析层）+报表（展示层）

4、数据分析常用的算法和软件
   回归、时间序列分析、分类器（学习集）、聚类（聚合）、频繁模式挖掘

5、常用的传统数据分析工具排行
   R、SAS、Weka、STATISTICA、Matlab……
   这些都是实验室工具，当建模结束后，就不要他们，后面的预测工作就可以使用java、php、oracle等来做。
   后者是生产环境里面实现模型的工具。
   将建模的过程与实现建模生产的过程区分开来。

6、数据分析的层次
   第一层：业务人员主导-------------------遍地黄金
   第二层：业务人员与数据分析师共同主导：最好的层次，分析师喜欢、业务员肯定---------------浅表黄金
   第三层：完全由数据分析师主导的分析：数据分析师王国（人工智能、模式识别、机器学习）、失败率高、业务人员反感抗拒-----黄金深埋
   业务是数据分析扎根的土壤，提升业务业绩是数据分析的目标，因此任何数据分析必须要和业务相连接。
   有意思的分析主题可能比分析技术本身更重要。

7、大数据定义：超过当前数据处理能力的数据量。

8、传统数据分析软件与hadoop区别

R、SAS、SPASS等典型的应用场景为实验室工具，是试管和蒸馏瓶
   Hadoop集群和Map-Reduce计算才是大规模生产的可行之路。

9、实例
   1）场景一：电信运营商信令分析与监测：信令处理模块---CDR(collect report data)生成（基站信号、国际电话中转）
   2）场景二：DNA数据库---------匹配
   3）社会学分析——人物重要度计算----社交网络

10、Hadoop体系下的分析手段
   1）主流，Map-Reduce:java程序
   2）轻量级的脚本语言：Pig
   3）SQL技巧平稳过度：Hive
   4）机器学习平台：Mahout
   5）NoSQL：HBase

11、典型的实验环境
   1）服务器：ESXi，可以在服务器上面部署多台虚拟机，能同时启动3台。
   2）PC，要求Linux环境或者windows+Cygwin，linux可以使standalone或者使用虚拟机。

12、实验环境
   1）部署Pig
   2）部署Hive
   3）部署Mahout

13、典型案例
   1）巨型网站日志系统分析，提取KPI数据（Map-Reduce）
   2）电信运营商LBS应用，分析手机用户移动轨迹（Map-reduce）
   3）电信运行商用户分析，通过童话指纹判别重入网用户（Map-reduce）
   4）电子商务推荐系统设计（Map-reduce）
   5）更复杂的推荐系统场景（Mahout）
   6）社交网络，判断微博用户关系亲疏程度，发现社区（Pig）
   7）在社交网络中衡量节点的重要程度（Map-reduce）
   8）聚类算法应用，分析优质客户（Map-reduce、Mahout）
   9）金融数据分析，从历史数据中提取逆回购信息（Hive）
   10）通过数据分析指定股票策略（Map-reduce，Hive）
   11）GPS应用，签到数据分析（Pig）
   12）Map-reduce全排序实现和优化
   13）中间件开发，让过个Hadoop集群协作起来。

备注：这段时间将云帆大数据的《Hadoop从入门到企业级开发》一共14天教程，80+集看完了，后面的部分目前网上还没有公开的视频教程，等找到再看或者直接去买。博客还没来得及整理，技术有一定了解，又看了黄老师的视频加深了自己对Hadoop应用领域的了解，甚是感谢！