<Learning Spark>这本书算是Spark入门的必读书了,中文版是<Spark快速大数据分析>,不过豆瓣书评很有意思的是,英文原版评分7.4,评论都说入门而已深入不足,中文译版评分8.4,评论一片好评,有点意思.我倒觉得这本书可以作为官方文档的一个补充,刷完后基本上对Spark的一些基本概念.码简单的程序是没有问题的了.这本书有一个好处是它是用三门语言写的,Python/Java/Scala,所以适用性很广,我的观点是,先精通一门语言,再去学其他语言.由于我工作中比较常用…

Python 一种支持面向对象和函数式(面向过程)的高级编程语言 CPython 由 C 语言编译,一种默认的,通常我们所提及的基于 C 的 Python 的一种实现 Cython 一种 Python 到 C 的一种转换器,用于对 CPyhton 做模块扩展,在一定程度上可以有一定的性能提升 Jython 一种设计运行在 Java 平台的 Python 编程语言的实现 IronPython 一种设计运行在 .NET CLR 平台的 Python 编程语言的实现 PyPy 具有即时编译(JIT)功…

字符串 - 可以使用 3 种形式 - 单引号 :「'your string'」 - 双引号 :「"your string"」 - 三引号 :「'''your string''' 或 """your string """」 ,可以定义多行字符串. #单引号 print 'this is string' #双引号 print "this is string" #三引号 - 单引号 print '''this i…

目录 1. 面向对象基本概念 1.1 过程和函数 1.2 面相过程 和 面相对象 基本概念 2. 类和对象的概念 1.1 类 1.3 对象 3. 类和对象的关系 4. 类的设计 大驼峰命名法 4.1 类名的确定 4.2 属性和方法的确定 练习 1 5. 总结 面向对象编程 -- Object Oriented Programming 简写 OOP 是面向对象程序设计语言中的一个很重要的思想,python中的一切皆为对象,接下来过一下这些概念. 1. 面向对象基本概念 我们之前所学习的就是面向过程…

昨日内容回顾 队列 队列 : 先进先出.数据进程安全 队列实现方式: 管道 + 锁 生产者消费者模型 : 解决数据供需不平衡 管道 双向通信 数据进程不安全 EOFError: 管道是由操作系统进行引用计数的, 必须在所有进程中关闭管道后才能生成EOFError异常 数据共享(不常用) Manager list dict 数据进程不安全的 进程池 存放进程的容器 在进程创建之初,创建固定个数的进程 会被多个任务循环利用 节省了进程创建和销毁的时间开销 降低了操作系统调度进程的压力 信号量和进程池…

一.模块 定义:在python中,一个 .py 文件就称为一个模块 使用模块的好处:最大的好处就是提高了代码的可维护性 分类(三种): python标准库 第三方模块 应用程序自定义模块 模块导入方法: #cal.py def add(x,y) return x + y def sub(x,y) return x - y 1. import 语句 import module1[, module2[,.... moduleN]] #举例: #test.py import cal print(cal…

概念 谈到面向对象,很多程序员会抛出三个词:封装.继承和多态:或者说抽象.一切都是对象之类的话,然而这会让初学者更加疑惑.下面我想通过一个小例子来说明一下 面向对象一般是和面向过程做对比的,下面是一个简单功能的面向过程和面向对象形式 a = 2 # 要实现 a+2 # 面向过程的方法 sum(a, 3) # 面向对象的方法(这条在R中还不可执行,只是类似这个意思) a.sum(3) 看上去只是调用的形式不同,本质没有什么差别,不过当代码量比较大的时候,面向对象就会让我们编程的思路更加清晰.我们先…

Python super() 函数 super() 函数是用于调用父类(超类)的一个方法. super 是用来解决多重继承问题的,直接用类名调用父类方法在使用单继承的时候没问题,但是如果使用多继承,会涉及到查找顺序(MRO).重复调用(钻石继承)等种种问题. MRO 就是类的方法解析顺序表, 其实也就是继承父类方法时的顺序表. Python3.x 和 Python2.x 的一个区别是: Python 3 可以使用直接使用 super().xxx 代替 super(Class, self).xxx…

1  python面向对象命名规范 类名通常由大写字母打头.这是惯例标准. 数据值应该使用名词作为名字,方法使用动词加对象的方式,若使用混合记法,则方法名的第一个字母首字母小写,后面的单词的首字母大写.若使用骆驼记法,则方法名的组成单词之间用下划线连接. 2  相关术语 抽象/实现:建模,包括数据属性和数据的接口. 封装/接口:描述了对数据/信息进行隐藏的观念,它对数据属性提供接口和访问函数. 合成 派生/继承/集成结构 泛化和特化 3  实例属性 和 类属性 不同于C++和Java,Pthon…

<Learning Spark>这本书算是Spark入门的必读书了,中文版是<Spark快速大数据分析>,不过豆瓣书评很有意思的是,英文原版评分7.4,评论都说入门而已深入不足,中文译版评分8.4,评论一片好评,有点意思.我倒觉得这本书可以作为官方文档的一个补充,刷完后基本上对Spark的一些基本概念.码简单的程序是没有问题的了.这本书有一个好处是它是用三门语言写的,Python/Java/Scala,所以适用性很广,我的观点是,先精通一门语言,再去学其他语言.由于我工作中比较常用…