昨晚听了王家林老师3000门徒spark系列课程的第二课,讲述了scala面向对象知识,并且带着过了一遍Spark核心类:SparkContent,RDD的代码,下面写一下心得: RDD是抽象类,实现了Serializable和Logging接口,有很多类继承了RDD类来实现不同功能的RDD. SparkContent默认构造器传入config:SparkConf  实现了Logging和ExecutorAllocationClient接口. 类默认构造器会执行类中没有在成员函数中的所有代码.…

昨晚听了王家林老师的Spark 3000门徒系列课程的第一课,把scala基础过了一遍,对ArrayBuffer有了新的认识: Array本身创建后不可修改ArrayBuffer可修改import scala.collection.mutable.ArrayBufferval arrB = ArrayBuffer[int]()arrB += 10arrB += (11,12,13,5)arrB ++= Array(1,2,3,5)arrB.trimEnd(3) 从尾部截断3个arrB.trimS…

内容简单介绍 1.第二部分第一课:面向对象初探.string的惊天内幕 2.第二部分第二课预告:掀起了"类"的盖头来(一) 面向对象初探,string的惊天内幕 上一课<[C++探索之旅]第一部分第十二课:指针一出.谁与争锋>中.大家辛苦了. 诚然,指针是不easy啃的硬骨头.只是,假以时日,小火慢炖,能够成为一碗上好的骨头汤,对你的C++水平那可是大补. 好了,口水擦一擦,我们正式进入C++探索之旅的第二部分啦,激动不?刚擦完的哈喇子可不要继续流啊. 这一部分的课程称为:…

百度输入法 <style> *{ list-style: none; text-decoration: none; padding: 0; margin: 0; } a:hover{ text-decoration: none; } ul{ width: 60px; border: 1px solid #3A50AD; margin-top: 10px; } li{ width: 60px; height: 20px; text-align: center; } li:hover{ backg…

scala 面向对象之 继承 scala   1.extends Scala中,让子类继承父类,与Java一样,也是使用extends关键字 继承就代表,子类可以从父类继承父类的field和method:然后子类可以在自己内部放入父类所没有,子类特有的field和method:使用继承可以有效复用代码   class Person { private var name = "leo" def getName = name } class Student extends Person {…

前言 在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境中,我们已经部署好了一个Spark的开发环境. 在Spark集群 + Akka + Kafka + Scala 开发(2) : 开发一个Spark应用中,我们已经写好了一个Spark的应用. 本文的目标是写一个基于akka的scala工程,在一个spark standalone的集群环境中运行. akka是什么? akka的作用 akka的名字是action kernel的回文.根据官方定义:akk…

前言 在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境,我们已经部署好了一个Spark的开发环境. 本文的目标是写一个Spark应用,并可以在集群中测试. 创建一个Scala的工程- SimpleAPP 建一个目录SimpleAPP mkdir SimpleAPP mkdir -p SimpleAPP/src/main/scala 建一个SimpleAPP/src/main/scala/SimpleApp.scala文件 这个程序会进行MapReduc…

目标 配置一个spark standalone集群 + akka + kafka + scala的开发环境. 创建一个基于spark的scala工程,并在spark standalone的集群环境中运行. 创建一个基于spark+akka的scala工程,并在spark standalone的集群环境中运行. 创建一个基于spark+kafka的scala工程,并在spark standalone的集群环境中运行. 集群框架图 本图主要是说明各个组件可以发布到不同的逻辑机器上. GSpark C…

本文转载自:http://www.softeng.cn/?p=53 今天的主要内容是,使用CodeIgniter框架完整的MVC内容来做一个简单的计算器,通过这个计算器,让大家能够体会到我在第一节课中所介绍的标准的MVC框架与用户交互的一个过程.下面,开始今天的课程. 首先,还是和昨天一样,解压下载到的CodeIgniter框架源码,更改目录名称为CI_02(如果不会此步骤,请看第一课)并载入工程.在昨天的例子中,大家可以看到,最先被修改的控制器是Welcome类,可是一般来说,访问一个网站不应…

OpenCV 第二课 认识图像的存储结构 Mat Mat 类包含两部分,矩阵头和矩阵体.矩阵头包含矩阵的大小,存储方式和矩阵体存储空间的指针.因此,Mat中矩阵头的大小是固定的,矩阵体大小是不定的. 为了减少矩阵拷贝产生的计算消耗,opencv中一般使用引用计数方式处理矩阵,比如下面三种创建Mat的形式 Mat A,C; //这里仅仅创建了矩阵头,具体矩阵体还没创建  A=imread(argv[1],CV_LOAD_IMAGE_COLOR); //给矩阵分配空间,并将首地址给了A  Mat B…