最近由于公司慢慢往spark方面开始转型,本人也开始学习,今后陆续会更新一些spark学习的新的体会,希望能够和大家一起分享和进步. Spark是什么? Apache Spark™ is a fast and general engine for large-scale data processing.(官方说法) Spark,简单的说是一种通用的大数据计算框架. 包含了常见领域的各种框架:核心组件-Spark Core.交互式查询-Spark SQL.准实时流式计算-Spark Streami…

上一节把Centos的集群免密码ssh登陆搭建完成,这一节主要讲一下Hadoop的环境搭建. Hadoop下载安装 下载官网的Hadoop 2.4.1的软件包.http://hadoop.apache.org/,或在百度网盘进行下载.链接: http://pan.baidu.com/s/1gePE9O3 密码: unmt 下载完以后将通过Xftp上传到服务器器上.我是放在/home/software目录下 [root@spark1 ~]# cd /home/software/ [root@spa…

上一节搭建完了Hadoop集群,这一节我们来搭建Hive集群,主要是后面的Spark SQL要用到Hive的环境. Hive下载安装 下载Hive 0.13的软件包,可以在百度网盘进行下载.链接: http://pan.baidu.com/s/1gePE9O3 密码: unmt. 下载完用Xftp上传到spark1服务器,我是放在/home/software目录下. [root@spark1 ~]# cd /home/software/ [root@spark1 software]# tar -…

Spark搭建集群比较繁琐,需要的内容比较多,这里主要从Centos.Hadoop.Hive.ZooKeeper.kafka的服务器环境搭建开始讲.其中Centos的搭建不具体说了,主要讲下集群的配置. 环境搭建软件包 由于我是直接拿了三台现成的Centos 5.6的系统上进行搭建的,所以Centos的搭建就不说了,有需要的可以自行网上搜一下,也比较简单.当然以下有些工具也可以用你们已经顺手的工具包O(∩_∩)O~~ Centos 5.6(Linux服务器) JDK 1.7(Java开发环境)…

上一节搭建完了Hive,这一节我们来搭建ZooKeeper,主要是后面的kafka需要运行在上面. ZooKeeper下载和安装 下载ZooKeeper 3.4.5软件包,可以在百度网盘进行下载.链接: http://pan.baidu.com/s/1gePE9O3 密码: unmt. 下载完用Xftp上传到spark1服务器,我是放在/home/software目录下. [root@spark1 lib]# cd /home/software/ [root@spark1 software]#…

http://www.mamicode.com/info-detail-601202.html continue...…

Scala是什么? Scala是以实现scaleable language为初衷设计出来的一门语言.官方中,称它是object-oriented language和functional language的混合式语言. Scala可以和java程序无缝拼接,因为scala文件编译后也是成为.class文件,并且在JVM上运行. Spark是由Scala进行开发的. Scala安装? 这里就讲一下Scala在Centos上进行安装的过程,和安装JDK差不多. 官网下载Scala:http://www…

早几年国内外研究者和业界比较关注的是在 Hadoop 平台上的并行化算法设计.然而, HadoopMapReduce 平台由于网络和磁盘读写开销大,难以高效地实现需要大量迭代计算的机器学习并行化算法.随着 UC Berkeley AMPLab 推出的新一代大数据平台 Spark 系统的出现和逐步发展成熟,近年来国内外开始关注在 Spark 平台上如何实现各种机器学习和数据挖掘并行化算法设计.为了方便一般应用领域的数据分析人员使用所熟悉的 R 语言在 Spark 平台上完成数据分析,Spark 提…

1.总体执行流程 使用下列代码对SparkSQL流程进行分析.让大家明确LogicalPlan的几种状态,理解SparkSQL总体执行流程 // sc is an existing SparkContext. val sqlContext = new org.apache.spark.sql.SQLContext(sc) // this is used to implicitly convert an RDD to a DataFrame. import sqlContext.implicits…

内容摘要 NHibernate的开发环境 NHibernate的结构体系 NHibernate的配置 一.NHibernate的开发环境 NHibernate的英文官方网站为:http://nhforge.org/ NHibernate目前最新的版本是3.0.0.GA,其下载地址是:http://sourceforge.net/projects/nhibernate/files/NHibernate/ 我可以下载NHibernate-3.0.0.GA-bin.zip(编译后的dll),也可以下载…