spark版本定制课程-第1课

spark版本定制课程-第1课

1、学习本课程可以自己动手改进spark，或者给spark增加功能。增加某些官方没有提供的功能，通过本课程希望早就一些顶级spark专家，根据整个社会的需要对spark进行扩展或者定制。
2、通过前三课就可以对spark streaming透彻理解
3、为什么要对spark streaming为切入点对spark进行定制？
　　#spark最开始并没有streaming等其他框架，最开始就是很原始的spark core,要做自己源码定制版本，以streaming作为切入点，透过对此框架的研究，就可以掌握spark力量的源泉。
　　#众多框架中选择spark streaming，首先spark SQL 涉及了太多的语法解析，不太适合研究。sparkR不够成熟，图计算spark GraphX在最近的几个版本发行中并没有什么改进，很有可能GraphX已经发展到尽头，所以也不太适合。另外图计算涉及了太多的数学相关算法。机器学习框架涉及了太多的数学知识，也不是太好的选择。
　　#2015年是spark最火的一年，也是流式处理最火的一年。2016年上半年，调查发现spark是大数据领域薪水最高，同时发现streaming是spark最有吸引力的技能。
4、spark streaming魅力所在？
　　#流式计算：流处理时代，一切数据如果不是流式处理，都是无效的数据。社会发展会证实这段话
　　#流式处理是一个能立即给出反馈，能使用一切其他计算的结果，入机器学习，SQL等。流处理可以和其他框架无缝集成，功能超强。
　　#精通spark streaming，薪水极高
　　#spark所有程序框架中，spark streaming是最容易出现问题的框架。最多调优的框架，掌握了spark streaming，可以对spark的技能提升到一个新的层次。
　　#streaming很像spark core之上的一个应用程序，其他框架则不然，例如机器学习，一般只是封装了向量，实现对应算法。而spark streaming需要不断的感知数据的变化，感知处理的过程。straming是非常复杂的应用的最佳参考。
　　#任何技术都有控制点，类似武侠中的独孤九剑，之所以厉害，就是因为独孤九剑高明在于提前预知对手的下一个招式。spark streaming就类似于提前预知了数据的下一步流向。当然，spark core类似于易筋经，同时掌握两种的话就天下无敌了。
5、spark streaming类似spark 中的龙穴，掌握了龙穴就很容易掌握到龙脉