文件处理 # 文件内移动 seek()方法可以在文件中移动文件指针到不同的位置,offset字节代表相对于某个位置偏移量,默认为0,代表从文件开头算起,1代表从当前位置算起,2代表从文件末尾算起. seek()经常用来重设文件位置指针. eg. >>> f.name 'anaconda-ks.cfg' >>> f.next() '#version=DEVEL\n' >>> f.next() '# System authorization informa…

本来应该上周更新的,结果碰上五一,懒癌发作,就推迟了 = =.以后还是要按时完成任务.废话不多说,第四章-第六章主要讲了三个内容:键值对.数据读取与保存与Spark的两个共享特性(累加器和广播变量). 键值对(PaiRDD) 1.创建 #在Python中使用第一个单词作为键创建一个pairRDD,使用map()函数 pairs = lines.map(lambda x:(x.split(" ")[0],x)) 2.转化(Transformation) 转化操作很多,有reduceByK…

自己开始一个脚本开始学习: # coding = utf-8 from selenium import webdriver browser = webdriver.Firefox() browser.get("http://www.baidu.com") browser.find_element_by_id("kw").send_keys("selenium") browser.find_element_by_id("su")…

1.列表 ①列表的创建: ②列表的查询(索引): ③列表的切片操作: 此处要注意到:返回索引0到3的元素,顾头不顾尾. ④列表的增加: s.append()  #直接在结尾追加 s.insert()  #在指定列表索引值的位置,插入指定元素,例如: ⑤列表的删除: s.remove():删除从左找到的第一个指定元素 s.pop():删除最后一个元素,并返回最后一个元素的值 del s[]:用python全局的删除方法删除指定元素 注意:del s[1:6]是删除多个元素 ⑥列表的循环操作: ⑦列…

函数 1.python里的函数可以返回一个值或者对象,知识在返回一个容器对象的时候有点不同,看起来像是能返回多个对象. >>> def bar(): ... return 'abc', '123' ... >>> bar() ('abc', '123') >>> type(bar()) #返回的其实是元组 <type 'tuple'> 简而言之,如果没有显式的返回于元素或者若果返回None时,python会返回一个None.如果函数返回多个…

映射.字典 ## 映射类型内建函数 * dict Error: Python核心编程(第二版)p170 >>> dict([['x', 1], ['y', 2]]) {'y': 2, 'x': 1} 实际输出测试: >>> dict([['x', 1], ['y', 2]]) {'y': 2, 'x'Traceback (most recent call last): File "<stdin>", line 1, in <modu…

错误与异常 AttributeError:尝试访问未知的对象属性 eg. >>> class myClass(object): ... pass ... >>> my = myClass() >>> my.name = 'Yanta' >>> my.name 'Yanta' >>> my.age Traceback (most recent call last): File "<stdin>&q…

变量 python的变量不需要提前声明,可以直接输入: >>> str = 'oliver' 此时,str已经被赋值字符串oliver,在赋值之前并没有提前定义与事先声明 打印值 >>> print(str) oliver 看其数据类型 >>> print(type(str)) <class 'str'> type()是python内置的数据类型,可以用来查看变量的数据类型 回收变量名 如果想给str赋值为数字,那么简单,直接赋值即可 &g…

周末的任务是更新Learning Spark系列第三篇,以为自己写不完了,但为了改正拖延症,还是得完成给自己定的任务啊 = =.这三章主要讲Spark的运行过程(本地+集群),性能调优以及Spark SQL相关的知识,如果对Spark不熟的同学可以先看看之前总结的两篇文章: [原]Learning Spark (Python版) 学习笔记(一)----RDD 基本概念与命令 [原]Learning Spark (Python版) 学习笔记(二)----键值对.数据读取与保存.共享特性 #####…

python3.4学习笔记(二十六) Python 输出json到文件,让json.dumps输出中文 实例代码 python的json.dumps方法默认会输出成这种格式"\u535a\u5ba2\u56ed",.要输出中文需要指定ensure_ascii参数为False,如下代码片段:json.dumps({'text':"中文"},ensure_ascii=False,indent=2) import json #导入json格式 if __name__ ==…