Python高级编程-序列化
在程序运行的过程中,所有的变量都是在内存中,比如,定义一个dict:
dict1 = {'name': 'Rob', 'age': 19, 'score': 90}
可以随时修改变量,比如把age
改成20,但是一旦程序结束,变量所占用的内存就被操作系统全部回收。如果没有把修改后的'Bill'
存储到磁盘上,下次重新运行程序,变量又被初始化为19。很多游戏有存档的功能,就是使用的序列化,将用户的状态保存为文件,下次读取。
(一)pickle
我们把变量从内存中变成可存储或传输的过程称之为序列化,在Python中叫pickling,在其他语言中也被称之为serialization,marshalling,flattening等等,都是一个意思。
序列化之后,就可以把序列化后的内容写入磁盘,或者通过网络传输到别的机器上。
反过来,把变量内容从序列化的对象重新读到内存里称之为反序列化,即unpickling。
Python提供了pickle
模块来实现序列化。
首先,我们尝试把一个对象序列化成bytes类型:
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
import pickle # pickle dumps, 把任意对象序列化成一个bytes类型
dict1 = {'name': 'Rob', 'age': 19, 'score': 90}
result = pickle.dumps(dict1)
print(result, type(result))
运行结果:
b'\x80\x03}q\x00(X\x04\x00\x00\x00nameq\x01X\x03\x00\x00\x00Robq\x02X\x05\x00\x00\x00scoreq\x03KZX\x03\x00\x00\x00ageq\x04K\x13u.' <class 'bytes'>
pickle.dumps()
方法把任意对象序列化成一个bytes
,然后,就可以把这个bytes
写入文件。或者用另一个方法pickle.dump()
直接把对象序列化后写入一个file-like Object:
# pickle dump, 直接把对象序列化后写入一个file-like Object
f1 = open("students.txt", 'wb')
pickle.dump(dict1, f1) # 第二个参数是文件句柄,先用open()获取,open的方式为'wb'-只写字节
f1.close()
看看写入的students.txt
文件,一堆乱七八糟的内容,这些都是Python保存的对象内部信息:
�}q (X nameqX RobqX scoreqKZX ageqKu.
当我们要把对象从磁盘读到内存时,可以先把内容读到一个bytes
,然后用pickle.loads()
方法反序列化出对象:
# pickle loads, 反序列化出对象
dict2 = pickle.loads(result)
print(dict2, type(dict2))
也可以直接用pickle.load()
方法从一个file-like Object
中直接反序列化出对象。我们打开另一个Python命令行来反序列化刚才保存的对象:
# pickle load 从一个file-like Object中直接反序列化出对象
f1 = open("students.txt", 'rb') # 参数是文件句柄,用open()获取, open的方式为'rb'-只读字节
dict2 = pickle.load(f1) #
f1.close()
print(dict2,type(dict2))
最后的结果都能得到原来的字典:
{'name': 'Rob', 'score': 90, 'age': 19} <class 'dict'>
当然,这个变量和原来的变量是完全不相干的对象,它们只是内容相同而已。
Pickle的问题和所有其他编程语言特有的序列化问题一样,就是它只能用于Python,并且可能不同版本的Python彼此都不兼容。
(二)json
如果我们要在不同的编程语言之间传递对象,就必须把对象序列化为标准格式,比如XML,但更好的方法是序列化为JSON,因为JSON表示出来就是一个字符串,可以被所有语言读取,也可以方便地存储到磁盘或者通过网络传输。JSON不仅是标准格式,并且比XML更快,而且可以直接在Web页面中读取,非常方便。
JSON表示的对象就是标准的JavaScript语言的对象,JSON和Python内置的数据类型对应如下:
JSON类型 | Python类型 |
{} | dict |
[] | list |
"string" | str |
1234.56 | int或float |
true/false | True/False |
null | None |
Python内置的json
模块提供了非常完善的Python对象到JSON格式的转换。我们先看看如何把Python对象变成一个JSON:
# json dumps, 方法返回一个str
dict1 = {'name': 'Rob', 'age': 19, 'score': 90}
result = json.dumps(dict1)
print(result, type(result))
运行结果:
{"age": 19, "name": "Rob", "score": 90} <class 'str'>
dumps()
方法返回一个str
,内容就是标准的JSON。类似的,dump()
方法可以直接把JSON写入一个file-like Object:
# json dump, 序列化写入file-like Object
f1 = open('students.txt', 'w')
json.dump(dict1, f1) # json.dump序列化的结果是str,所以open需要以'w' 'r'的方式
f1.close()
文件内容如下:
{"age": 19, "name": "Rob", "score": 90}
要把JSON反序列化为Python对象,用loads()
或者对应的load()
方法,前者把JSON的字符串反序列化,后者从file-like Object
中读取字符串并反序列化:
# json loads, 把JSON的字符串反序列化
dict2 = json.loads(result)
print(dict2, type(dict2))
# json load, 从file-like Object中读取字符串并反序列化
f1 = open('students.txt', 'r')
dict2 = json.load(f1)
print(dict2, type(dict2))
f1.close()
运行结果:
{'age': 19, 'name': 'Rob', 'score': 90} <class 'dict'>
由于JSON标准规定JSON编码是UTF-8,所以我们总是能正确地在Python的str
与JSON的字符串之间转换。
(三)对自定义类序列化
上面是对基本类型的序列化,pickle和json都可以实现,假如自定义如下的students类,我们想对students类的实例序列化呢?
class Student(object):
def __init__(self, name, age, score):
self.name = name
self.age = age
self.score = score s1 = Student('Rob', 19, 90)
我们可以用pickle的dumps()和loads()对其进行序列化和反序列化:
result = pickle.dumps(s1)
print(result, type(result))
s2 = pickle.loads(result)
print(s2, type(s2))
运行结果:
b'\x80\x03c__main__\nStudent\nq\x00)\x81q\x01}q\x02(X\x0f\x00\x00\x00_Student__scoreq\x03KZX\x0e\x00\x00\x00_Student__nameq\x04X\x03\x00\x00\x00Robq\x05X\r\x00\x00\x00_Student__ageq\x06K\x13ub.' <class 'bytes'>
<__main__.Student object at 0x0070EFD0> <class '__main__.Student'>
我们试试用json序列化:
s1 = Student('Rob', 19, 90)
result = json.dumps(s1)
print(result)
运行代码,毫不留情地得到一个TypeError
:
TypeError: <__main__.Student object at 0x0222E870> is not JSON serializable
错误的原因是Student
对象不是一个可序列化为JSON的对象。
如果连class
的实例对象都无法序列化为JSON,这肯定不合理!
别急,我们仔细看看dumps()
方法的参数列表,可以发现,除了第一个必须的obj
参数外,dumps()
方法还提供了一大堆的可选参数:
https://docs.python.org/3/library/json.html#json.dumps
这些可选参数就是让我们来定制JSON序列化。前面的代码之所以无法把Student
类实例序列化为JSON,是因为默认情况下,dumps()
方法不知道如何将Student
实例变为一个JSON的{}
对象。
可选参数default
就是把任意一个对象变成一个可序列为JSON的对象,我们只需要为Student
专门写一个转换函数,再把函数传进去即可:
def student_2_dict(student_obj):
dict_student = {'name': student_obj.name, 'age': student_obj.age, 'score': student_obj.score}
return dict_student
这样,Student
实例首先被student2dict()
函数转换成dict
,然后再被顺利序列化为JSON:
result = json.dumps(s1, default=student_2_dict)
print(result)
运行结果:
{"age": 19, "name": "Rob", "score": 90}
不过,下次如果遇到一个Teacher
类的实例,照样无法序列化为JSON。我们可以偷个懒,把任意class
的实例变为dict,
因为通常class
的实例都有一个__dict__
属性,它就是一个dict
,用来存储实例变量:
print(json.dumps(s1,default=lambda obj: obj.__dict__))
同样的道理,如果我们要把JSON反序列化为一个Student
对象实例,loads()
方法首先转换出一个dict
对象,然后,我们传入的object_hook
函数负责把dict
转换为Student
实例:
def dict_2_student(d):
s = Student(d['name'], d['age'], d['score'])
return s
然后用loads反序列化:
d = json.loads(result)
s2 = dict_2_student(d)
print(s2)
运行结果:
<__main__.Student object at 0x021F87F0>
这里需要注意如下的问题,假如我在定义Students类时,把name,age,score定义为私有成员时:
class Student(object):
def __init__(self, name, age, score):
self.__name = name
self.__age = __age
self.__score = __score
因为类的私有成员在类外部不能访问,在函数 student_2_dict(student_obj)内:
def student_2_dict(student_obj):
dict_student = {'name': student_obj.__name, 'age': student_obj.__age, 'score': student_obj.__score}
return dict_student
将会报错: AttributeError: 'Student' object has no attribute '__name'
因此上面通过定义函数方法就不能用了,使用类实例的__dict__属性的方法虽然可用,但是我们看到序列化的结果已经变了:
{"_Student__score": 90, "_Student__age": 19, "_Student__name": "Rob"}
这是因为我们在python中可以通过“_类名__字段名” 强制访问私有字段。
再如果我们在类中定义了__slot__呢(__slot__限制类的实例动态绑定字段)?
class Student(object):
__slots__ = ('__name', '__age', '__score') def __init__(self, name, age, score):
self.__name = name
self.__age = age
self.__score = score
我们再执行代码:
s1 = Student('Rob', 19, 90)
print(json.dumps(s1, default=lambda obj: obj.__dict__))
程序报错如下: AttributeError: 'Student' object has no attribute '__dict__'
因此我们在对自定义类序列化的时候,最好用pickle来实现。
Python高级编程-序列化的更多相关文章
- python高级编程:有用的设计模式3
# -*- coding: utf-8 -*-__author__ = 'Administrator'#python高级编程:有用的设计模式#访问者:有助于将算法从数据结构中分离出来"&qu ...
- python高级编程:有用的设计模式2
# -*- coding: utf-8 -*- __author__ = 'Administrator' #python高级编程:有用的设计模式 #代理 """ 代理对一 ...
- python高级编程:有用的设计模式1
# -*- coding: utf-8 -*-__author__ = 'Administrator'#python高级编程:有用的设计模式#设计械是可复用的,某种程序上它对软件设计中觉问题提供的语言 ...
- python高级编程技巧
由python高级编程处学习 http://blog.sina.com.cn/s/blog_a89e19440101fb28.html Python列表解析语法[]和生成 器()语法类似 [expr ...
- python高级编程之选择好名称:完
由于时间关系,python高级编程不在放在这边进行学习了,如果需要的朋友可以看下面的网盘进行下载 # # -*- coding: utf-8 -*- # # python:2.x # __author ...
- python高级编程读书笔记(一)
python高级编程读书笔记(一) python 高级编程读书笔记,记录一下基础和高级用法 python2和python3兼容处理 使用sys模块使程序python2和python3兼容 import ...
- python高级编程之列表推导式
1. 一个简单的例子 在Python中,如果我们想修改列表中所有元素的值,可以使用 for 循环语句来实现. 例如,将一个列表中的每个元素都替换为它的平方: >>> L = [1, ...
- Python高级编程之生成器(Generator)与coroutine(二):coroutine介绍
原创作品,转载请注明出处:点我 上一篇文章Python高级编程之生成器(Generator)与coroutine(一):Generator中,我们介绍了什么是Generator,以及写了几个使用Gen ...
- Python高级编程-Python一切皆对象
Python高级编程-Python一切皆对象 Python3高级核心技术97讲 笔记 1. Python一切皆对象 1.1 函数和类也是对象,属于Python的一等公民 ""&qu ...
随机推荐
- Swift_属性
Swift_属性 点击查看源码 class DataImporter { var fileName = "data.txt" init() { print("初始化&qu ...
- mybatis if 语句嵌套
在使用mybatis的时候,可以在 if 标签下面加上if标签. 比如要对这个sql语句进行改进. select a.* from emp a inner join dept b on a.deptn ...
- vue-cli使用swiper4在ie以及safari报错
vue-cli项目中,通过npm run swiper --save-dev安装的是swiper4版本的插件,这样安装以后在谷歌火狐等浏览器都可以正常运行,但是在safari浏览器(可能是版本太低)还 ...
- LeetCode 中级 - 优势洗牌(870)
给定两个大小相等的数组 A 和 B,A 相对于 B 的优势可以用满足 A[i] > B[i] 的索引 i 的数目来描述. 返回 A 的任意排列,使其相对于 B 的优势最大化. 示例 2: 输入: ...
- 【POJ 3368】Frequent values(RMQ)
Description You are given a sequence of n integers a1 , a2 , ... , an in non-decreasing order. In ad ...
- 可以提高php编程效率的20个要点
整理了可以提高php编程效率的20个要点,发博客记录一下,需要的朋友可以参考. 1.如果能将类的方法定义成static,就尽量定义成static,它的速度会提升将近4倍. 2.$row['id' ...
- python新手学习之文件读写之修改
文件除r.w.a方式打开外,还可以有多种组合方式如r+ w+ a+等多种方式 1.r+ 读写模式介绍,开始读是从一行开始读,写永远从最后开始写(类似于追加) # f = open("test ...
- Quartus II 项目文件分类及内容
- 北京Uber优步司机奖励政策(2月17日)
滴快车单单2.5倍,注册地址:http://www.udache.com/ 如何注册Uber司机(全国版最新最详细注册流程)/月入2万/不用抢单:http://www.cnblogs.com/mfry ...
- 抽样分布(3) F分布
定义 设U~χ2(n1), V~χ2(n2),且U,V相互独立,则称随机变量 服从自由度为(n1,n2)的F分布,记为F~F(n1,n2),其中n1叫做第一自由度,n2叫做第二自由度. F分布的概率密 ...