最近由于公司慢慢往spark方面开始转型,本人也开始学习,今后陆续会更新一些spark学习的新的体会,希望能够和大家一起分享和进步. Spark是什么? Apache Spark™ is a fast and general engine for large-scale data processing.(官方说法) Spark,简单的说是一种通用的大数据计算框架. 包含了常见领域的各种框架:核心组件-Spark Core.交互式查询-Spark SQL.准实时流式计算-Spark Streami…
1.总体执行流程 使用下列代码对SparkSQL流程进行分析.让大家明确LogicalPlan的几种状态,理解SparkSQL总体执行流程 // sc is an existing SparkContext. val sqlContext = new org.apache.spark.sql.SQLContext(sc) // this is used to implicitly convert an RDD to a DataFrame. import sqlContext.implicits…
转载:http://www.blogbus.com/koudaizhi-logs/55687286.html 一 GOOGLE简介 Google (www.google.com)是一个搜寻引擎,由某大学博士生Larry Page与Sergey Brin于1998年9月发明,Google Inc. 于1999年创立.2000年7月份,Google替代Inktomi成为Yahoo公司的搜寻引擎,同年9月份,Google成为中国网易公司的搜寻引 擎.98年至今,GOOGLE已经获得30多项业界大奖.…
public class HelloWorld { public static void main(String[] args) { System.out.println("Hello world!"); //输出文中信息到控制台 } } public class Hello { // 是程序的起点,所有程序由此开始运行 public static void main(String args[]) { // 此语句表示向屏幕上打印"Hello World !"字符串…
以下内容是学习<MySQL数据库应用 从入门到精通>过程中总结的一些内容提要,供以后自己复现使用. 一:数据库查看所有数据库: SHOW DATABASES创建数据库: CREATE DATABSE database_name切换数据库: USE database_name删除数据库: DROP DATABASE database_name 二:存储引擎查看MYSQL支持的引擎: SHOW ENGINES \G (\G 使显示格式更好看)查看所支持的存储引擎: SHOW VARIABLES L…
Java Learning Path(二).书籍篇 学习一门新的知识,不可能指望只看一本,或者两本书就能够完全掌握.需要有一个循序渐进的阅读过程.我推荐Oreilly出版的Java系列书籍. 在这里我只想补充一点看法,很多人学习Java是从<Thinking in Java>这本书入手的,但是我认为这本书是不适合初学者的.我认为正确的使用这本书的方法应该是作为辅助的读物.<Thinking in Java>并不是在完整的介绍Java的整个体系,而是一种跳跃式的写作方法,是一种类似t…
