Python 扫盲

yield使用浅析

菜鸟教程：http://www.runoob.com/w3cnote/python-yield-used-analysis.html

#!/usr/bin/python
# -*- coding: UTF-8 -*-

def fab(max):
    n, a, b = 0, 0, 1
    while n < max:
        print b
        a, b = b, a + b
        n = n + 1
fab(5)

简单输出斐波那契數列前 N 个数

结果没有问题，但有经验的开发者会指出，直接在 fab 函数中用 print 打印数字会导致该函数可复用性较差，因为 fab 函数返回 None，其他函数无法获得该函数生成的数列。

要提高 fab 函数的可复用性，最好不要直接打印出数列，而是返回一个 List。以下是 fab 函数改写后的第二个版本：

#!/usr/bin/python
# -*- coding: UTF-8 -*-

def fab(max):
    n, a, b = 0, 0, 1
    L = []
    while n < max:
        L.append(b)
        a, b = b, a + b
        n = n + 1
    return L

for n in fab(5):
    print n

输出斐波那契數列前 N 个数第二版 - 使用List

改写后的 fab 函数通过返回 List 能满足复用性的要求，但是更有经验的开发者会指出，该函数在运行中占用的内存会随着参数 max 的增大而增大，如果要控制内存占用，最好不要用 List来保存中间结果，而是通过 iterable 对象来迭代。例如，在 Python2.x 中，代码：

for i in range(1000): pass
# 会导致生成一个 1000 个元素的 List，而代码：
for i in xrange(1000): pass
# 则不会生成一个 1000 个元素的 List，而是在每次迭代中返回下一个数值，内存空间占用很小。因为 xrange 不返回 List，而是返回一个 iterable 对象。

利用 iterable 我们可以把 fab 函数改写为一个支持 iterable 的 class，以下是第三个版本的 Fab：

#!/usr/bin/python
# -*- coding: UTF-8 -*-

class Fab(object): 

    def __init__(self, max):
        self.max = max
        self.n, self.a, self.b = 0, 0, 1 

    def __iter__(self):
        return self 

    def next(self):
        if self.n < self.max:
            r = self.b
            self.a, self.b = self.b, self.a + self.b
            self.n = self.n + 1
            return r
        raise StopIteration()

for n in Fab(5):
    print n

第三版 - iterable class

Fab 类通过 next() 不断返回数列的下一个数，内存占用始终为常数：

然而，使用 class 改写的这个版本，代码远远没有第一版的 fab 函数来得简洁。如果我们想要保持第一版 fab 函数的简洁性，同时又要获得 iterable 的效果，yield 就派上用场了：

#!/usr/bin/python
# -*- coding: UTF-8 -*-

def fab(max):
    n, a, b = 0, 0, 1
    while n < max:
        yield b      # 使用 yield
        # print b
        a, b = b, a + b
        n = n + 1

for n in fab(5):
    print n

使用 yield 的第四版

第四个版本的 fab 和第一版相比，仅仅把 print b 改为了 yield b，就在保持简洁性的同时获得了 iterable 的效果。

简单地讲，yield 的作用就是把一个函数变成一个 generator，带有 yield 的函数不再是一个普通函数，Python 解释器会将其视为一个 generator，调用 fab(5) 不会执行 fab 函数，而是返回一个 iterable 对象！在 for 循环执行时，每次循环都会执行 fab 函数内部的代码，执行到 yield b 时，fab 函数就返回一个迭代值，下次迭代时，代码从 yield b 的下一条语句继续执行，而函数的本地变量看起来和上次中断执行前是完全一样的，于是函数继续执行，直到再次遇到 yield。

>>>f = fab(5)
>>> f.next()
1
>>> f.next()
1
>>> f.next()
2
>>> f.next()
3
>>> f.next()
5
>>> f.next()
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
StopIteration

执行流程

当函数执行结束时，generator 自动抛出 StopIteration 异常，表示迭代完成。在 for 循环里，无需处理 StopIteration 异常，循环会正常结束。

一个带有 yield 的函数就是一个 generator，它和普通函数不同，生成一个 generator 看起来像函数调用，但不会执行任何函数代码，直到对其调用 next()（在 for 循环中会自动调用 next()）才开始执行。虽然执行流程仍按函数的流程执行，但每执行到一个 yield 语句就会中断，并返回一个迭代值，下次执行时从 yield 的下一个语句继续执行。看起来就好像一个函数在正常执行的过程中被 yield 中断了数次，每次中断都会通过 yield 返回当前的迭代值。

yield 的好处是显而易见的，把一个函数改写为一个 generator 就获得了迭代能力，比起用类的实例保存状态来计算下一个 next() 的值，不仅代码简洁，而且执行流程异常清晰。

如何判断一个函数是否是一个特殊的 generator 函数？可以利用 isgeneratorfunction 判断：

>>>from inspect import isgeneratorfunction
>>> isgeneratorfunction(fab)
True

使用 isgeneratorfunction 判断

要注意区分 fab 和 fab(5)，fab 是一个 generator function，而 fab(5) 是调用 fab 返回的一个 generator，好比类的定义和类的实例的区别：

>>>import types
>>> isinstance(fab, types.GeneratorType)
False
>>> isinstance(fab(5), types.GeneratorType)
True

类的定义和类的实例

fab 是无法迭代的，而 fab(5) 是可迭代的：

>>>from collections import Iterable
>>> isinstance(fab, Iterable)
False
>>> isinstance(fab(5), Iterable)
True

每次调用 fab 函数都会生成一个新的 generator 实例，各实例互不影响：

>>>f1 = fab(3)
>>> f2 = fab(5)
>>> print 'f1:', f1.next()
f1: 1
>>> print 'f2:', f2.next()
f2: 1
>>> print 'f1:', f1.next()
f1: 1
>>> print 'f2:', f2.next()
f2: 1
>>> print 'f1:', f1.next()
f1: 2
>>> print 'f2:', f2.next()
f2: 2
>>> print 'f2:', f2.next()
f2: 3
>>> print 'f2:', f2.next()
f2: 5

return 的作用

在一个 generator function 中，如果没有 return，则默认执行至函数完毕，如果在执行过程中 return，则直接抛出 StopIteration 终止迭代。

---

另一个例子

另一个 yield 的例子来源于文件读取。如果直接对文件对象调用 read() 方法，会导致不可预测的内存占用。好的方法是利用固定长度的缓冲区来不断读取文件内容。通过 yield，我们不再需要编写读文件的迭代类，就可以轻松实现文件读取：

def read_file(fpath):
    BLOCK_SIZE = 1024
    with open(fpath, 'rb') as f:
        while True:
            block = f.read(BLOCK_SIZE)
            if block:
                yield block
            else:
                return

yield文件读取

 

 

 

 

字典按照value排序，并取前8个

list = sorted([(k, v) for k, v in dict.items()], key=lambda x:x[1], reverse=True)[:8]

python3 OrderedDict类（有序字典）

https://www.cnblogs.com/zhenwei66/p/6596248.html

OrderedDict会根据放入元素的先后顺序进行排序，不是值的大小顺序排序。OrderedDict对象的字典对象，如果其顺序不同那么Python也会把他们当做是两个不同的对象

创建有序字典

import collections

dic = collections.OrderedDict()
dic['k1'] = 'v1'
dic['k2'] = 'v2'
dic['k3'] = 'v3'
print(dic)

#输出：OrderedDict([('k1', 'v1'), ('k2', 'v2'), ('k3', 'v3')])

使用OrderedDict为普通dict排序

dd = {'banana': 3, 'apple':4, 'pear': 1, 'orange': 2}
#按key排序
kd = collections.OrderedDict(sorted(dd.items(), key=lambda t: t[0]))
print kd
#按照value排序
vd = collections.OrderedDict(sorted(dd.items(),key=lambda t:t[1]))
print vd

#输出
OrderedDict([('apple', 4), ('banana', 3), ('orange', 2), ('pear', 1)])
OrderedDict([('pear', 1), ('orange', 2), ('banana', 3), ('apple', 4)])

也可以直接对OrderedDict排序

dct = OrderedDict()
// ......
dct = sorted(dct.items(),key = lambda x: x[1],reverse=True)

深复制 & 浅赋值

深复制，浅复制就类似与C语言中的值传递还是址传递

id : 一个对象的id值在CPython解释器里就代表它在内存中的`地址

# Python中一个list类型的数据，如果直接使用 = 去复制，他们的id会相同
# 其中一个值改变，另一个值相应改变
import copy

a = [1,2,3]
b = a
b[1]=22
print(a)
print(id(a) == id(b))

浅拷贝

当使用浅拷贝时，python只是拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。

# 当使用浅复制时，二者id是不同的（但这只限于外围对象）

>>> import copy
>>> a=[1,2,3]
>>> c=copy.copy(a)  #拷贝了a的外围对象本身,
>>> id(c)
4383658568
>>> print(id(a)==id(c))  #id 改变 为false
False
>>> c[1]=22222   #此时，我去改变c的第二个值时，a不会被改变。
>>> print(a,c)
[1, 2, 3] [1, 22222, 3] #a值不变,c的第二个值变了，这就是copy和‘==’的不同

# 当a具有内部对象时，使用浅复制，内部对象的id还是相同的，一个变随着变

>>> a=[1,2,[3,4]]  #第三个值为列表[3,4],即内部元素
>>> d=copy.copy(a) #浅拷贝a中的[3，4]内部元素的引用，非内部元素对象的本身
>>> id(a)==id(d)
False
>>> id(a[2])==id(d[2])
True
>>> a[2][0]=3333  #改变a中内部原属列表中的第一个值
>>> d             #这时d中的列表元素也会被改变
[1, 2, [3333, 4]]

深拷贝

deepcopy对外围和内部元素都进行了拷贝对象本身，而不是对象的引用。

# 当使用深复制，两个对象完全没有关系

>>> a=[1,2,[3,4]]  #第三个值为列表[3,4],即内部元素
>>> e=copy.deepcopy(a) #e为深拷贝了a
>>> a[2][0]=333 #改变a中内部元素列表第一个的值
>>> e
[1, 2, [3, 4]] #因为时深拷贝，这时e中内部元素[]列表的值不会因为a中的值改变而改变

爬虫使用分布式爬虫时，如果层次太多，最好使用深复制，不然可能会出现数据覆盖

class 类 init 功能

class Student:
    name = "abc"
    age = 18
    sex = 1
    def __init__(self, name, age, sex=0):
        self.name = name
        self.age = age
        self.sex = sex
    def print(self):
        print(self.name)
        print(self.age)
        print(self.sex)

stu = Student("T", 22)
stu.print()

stu = Student("R", 18, 1)
stu.print()

stu.sex = 0 # 属性可以更改
print(stu.sex)

pickle 保存数据

pickle 是一个 python 中, 压缩/保存/提取 文件的模块. 最一般的使用方式非常简单. 比如下面就是压缩并保存一个字典的方式. 字典和列表都是能被保存的.

# 保存数据
pickle.dump(dict, file)

# 提取数据
pickle.load(file)

import pickle

dict = [{"a": 1, "b":2}, {"c": 3, "d": 4}]
file  = open("dict.pickle", "wb")
pickle.dump(dict, file)
file.close()

# file = open("dict.pickle", "rb")
# dict2 = pickle.load(file)
# file.close()

with open("dict.pickle", "rb") as file:
    dict2 = pickle.load(file)
print(dict2)

匿名函数lambda

匿名函数的内容应该是很简单的，如果复杂的话，干脆就重新定义一个函数了

• lambda只是一个表达式，函数体比def简单很多。
• lambda的主体是一个表达式，而不是一个代码块。仅仅能在lambda表达式中封装有限的逻辑进去。
• lambda函数拥有自己的命名空间，且不能访问自有参数列表之外或全局命名空间里的参数。
• 虽然lambda函数看起来只能写一行，却不等同于C或C++的内联函数，后者的目的是调用小函数时不占用栈内存从而增加运行效率。

lambda应用

1、应用在函数式编程中

Python提供了很多函数式编程的特性，如：map、reduce、filter、sorted等这些函数都支持函数作为参数，lambda函数就可以应用在函数式编程中.

# 需求：将列表中的元素按照绝对值大小进行升序排列
list1 = [3,5,-4,-1,0,-2,-6]
sorted(list1, key=lambda x: abs(x))
#当然，也可以如下：

list1 = [3,5,-4,-1,0,-2,-6]
def get_abs(x):
    return abs(x)
sorted(list1,key=get_abs)
#只不过这种方式的代码看起来不够Pythonic

2、应用在闭包中

def get_y(a,b):
     return lambda x:ax+b
y1 = get_y(1,1)
y1(1) # 结果为2
#当然，也可以用常规函数实现闭包，如下：

def get_y(a,b):
    def func(x):
        return ax+b
    return func
y1 = get_y(1,1)
y1(1) # 结果为2

lambda语法

lambda [arg1 [,arg2,.....argn]]:expression

lambda parameters:express

parameters：可选，如果提供，通常是逗号分隔的变量表达式形式，即位置参数。

expression：不能包含分支或循环（但允许条件表达式），也不能包含return（或yield）函数。如果为元组，则应用圆括号将其包含起来。

调用lambda函数，返回的结果是对表达式计算产生的结果。

lambda例子

# 求和
sum = lambda arg1, arg2: arg1 + arg2;

# 根据参数是否为1 决定s为yes还是no
>>> s = lambda x:"yes" if x==1 else "no"
>>> s(0)
'no'
>>> s(1)
'yes'

# 用于筛选100以内的3的倍数，并生成一个列表。
list(filter(lambda x:True if x % 3 == 0 else False, range(100)))

内置函数

菜鸟教程：http://www.runoob.com/python/python-built-in-functions.html

参考链接：

copy & deepcopy 浅复制 & 深复制

python -- lambda表达式

python lambda表达式

关于Python中的lambda，这可能是你见过的最完整的讲解