Pythoy 数据类型序列化——json&pickle 模块

TOC

  • 什么是序列化/反序列化
  • pickle 模块
  • json 模块
  • 对比json和pickle
  • json.tool 命令行接口

什么是序列化/反序列化?

就是将内存中的数据类型变成可存储或传输的东西,这一过程叫做序列化,在python中叫pickling,在其它语言叫 serialization,marshalling,flattening等,其实base64转码也可叫做序列化,因为很多文本协议如http,smtp都是只支持ascii编码传输。

序列化之后可以将内容写入磁盘,或通过网络传输到其它机器。

反序列化就是序列化的逆过程,unpickling

__Python__提供了两个模块来进行序列化操作,分别是pickle和json

pickle模块

pickle是python语言专属的序列化方式。

pickle模块可以将python中的任何数据类型进行序列化,并序列化为bytes类型。

pickle模块提供的方法

  • dump(obj, fp) 将obj序列化后直接写入fp对象中
  • dumps(obj) 将obj序列化为bytes,方法return该bytes对象
  • load(fp) 从fp中读取序列化bytes对象并反序列化
  • loads(bytes) 将bytes反序列化

    实践:
import pickle
with open('test.pkl', 'wb') as fp: # 注意因为pickle序列化后是bytes所以file-object 能够写入二进制,那么open的打开方式就必须是二进制方式'wb'。
pickle.dump({'a': 1, 'b': 2}, fp) with open('test.txt', 'rb') as fp: # 同样读取也是要是一个binary file-object
print(pickle.load(fp))
  • 助记:dumps带s就是序列化为string,dump不带s就是序列化为string后直接写入fp。load和loads也一样这样记。
  • 如果pickle序列化写入文件,那么这个文件后缀最好用.pkl或.pk,辨识度高

json模块

json不多说,是数据交换的一种格式。叫 json document

json模块方法和pickle类似:

  • dump(obj, fp) 将obj序列化后直接写入fp对象中,由于序列化后的json是字符串,所fp必须是text Stream类型
  • dumps(obj) 将obj序列化为json字符串,方法return该json字符串
  • load(fp) 从fp中读取json并反序列化 ,这个就不要求fp是text Stream类型,也就是从文件中既可以读取bytes,也可以string。
  • loads(obj) 将json反序列化,可以是json的字符串或bytes 或bytearray
  • 注意,tuple元组的序列化会会编程json的array数组,如果再进行deserialize就编程了列表而不是元组。

    实验:
import json

i = 10
s = 'hello world!'
t = (1,)
l = [10, 'hello world!', ['a', 'b'], {'a': 1, 'b': 2}]
d = {'a': 1, 'b': 2, 'c': l} print(json.dumps(i))
print(json.dumps(s))
print(json.dumps(t))
print(json.dumps(l))
print(json.dumps(d)) with open('test.json', 'w') as fp:
json.dump(l, fp) with open('test.json', 'rb') as fp:
print(json.load(fp)) print(json.loads(b'[10, "hello world!", ["a", "b"], {"a": 1, "b": 2}]'))

结果:

10

"hello world!"

[1]

[10, "hello world!", ["a", "b"], {"a": 1, "b": 2}]

{"a": 1, "b": 2, "c": [10, "hello world!", ["a", "b"], {"a": 1, "b": 2}]}

[10, 'hello world!', ['a', 'b'], {'a': 1, 'b': 2}]

[10, 'hello world!', ['a', 'b'], {'a': 1, 'b': 2}]

对比json和pickle

json

  • 在python中一般只能序列化int/str/list/dict
  • 跨语言

pickle

  • 能序列化python任何对象
  • 只能在python中使用

json.tool 命令行接口

json.tool提供在命令行对json字符串进行json格式校验和漂亮打印pretty-print

用法:

:> echo '{"josn": "obj"}' | python -m json.tool

{

"json":"obj"

}

:> python -m json.tool mp_films.json # 后面跟json文件

Pythoy 数据类型序列化——json&pickle 模块的更多相关文章

  1. python之os与json&pickle模块

     一.os模块 简单概述一下os模块就是与操作系统交互的一个接口 import os #os.getcwd() print(os.getcwd()) # 获取到当前工作目录 # 运行结果:E:\pyt ...

  2. [re模块、json&pickle模块]

    [re模块.json&pickle模块] re模块 什么是正则? 正则就是用一些具有特殊含义的符号组合到一起(称为正则表达式)来描述字符或者字符串的方法.或者说:正则就是用来描述一类事物的规则 ...

  3. 20181205(模块循环导入解决方案,json&pickle模块,time,date,random介绍)

    一.补充内容 循环导入 解决方案: 1.将导入的语句挪到后面. ​ 2.将导入语句放入函数,函数在定义阶段不运行 #m1.pyprint('正在导入m1')   #②能够正常打印from m2 imp ...

  4. json/pickle模块(序列化)

    什么叫序列化? 序列化是指把内存里的数据类型转变成字符串,以使其能存储到硬盘或通过网络传输到远程,因为硬盘或网络传输时只能接受bytes 为什么要序列化? 你打游戏过程中,打累了,停下来,关掉游戏.想 ...

  5. day 19 os模块的补充 序列化 json pickle

    os   模块 os.path.abspath  规范绝对路径 os.path.split() 把路径分成两段,第二段是一个文件或者是文件夹 os.path.dirname    取第一部分 os.p ...

  6. 模块 序列化 json pickle shelv xml

    序列化 序列化是指把内存里的数据类型转变成字符串,以使其能存储到硬盘或通过网络传输到远程,因为硬盘或网络传输时只能接受bytes. json 模块 json.dump(d,f) json.load(f ...

  7. Python(正则 Time datatime os sys random json pickle模块)

    正则表达式: import re #导入模块名 p = re.compile(-]代表匹配0至9的任意一个数字, 所以这里的意思是对传进来的字符串进行匹配,如果这个字符串的开头第一个字符是数字,就代表 ...

  8. json&pickle模块

    序列化:我们把对象(变量)从内存中变成可存储或传输的过程称之为序列化 反序列化:把变量内容从序列化的对象重新读到内存中,这一过程称为反序列化 为什么要序列化? 1.持久保存状态 一个软件的执行就是在处 ...

  9. Day 4-5 序列化 json & pickle &shelve

    序列化: 序列化是指把内存里的数据类型转变成字符串,以使其能存储到硬盘或通过网络传输到远程,因为硬盘或网络传输时只能接受bytes. 反序列化: 把字符转成内存里的数据类型. 用于序列化的两个模块.他 ...

随机推荐

  1. Python练手例子(12)

    67.输入数组,最大的与第一个元素交换,最小的与最后一个元素交换,输出数组. #python3.7 def inp(numbers): for i in range(6): numbers.appen ...

  2. windows 10 64位机器上 安装部署

    mi这个博客写的不错 https://www.cnblogs.com/dingguofeng/p/8709476.html 安装redis 可视化工具后 ,新建连接 名称随意,注意端口号是否有误默认6 ...

  3. Unity进阶----AssetBundle_03(2018/11/07)

    1. 为啥有AB包? 因为资源需要更新, 避免更新一次打包一次 动态修改. 2. AB包注意啥? 依赖关系 找依赖关系应该找到对应的平台!!! 3. 打包策略是分场景打包 若文件被文件夹包含打包出来的 ...

  4. FCC(ES6写法) Symmetric Difference

    创建一个函数,接受两个或多个数组,返回所给数组的 对等差分(symmetric difference) (△ or ⊕)数组. 给出两个集合 (如集合 A = {1, 2, 3} 和集合 B = {2 ...

  5. 微信小程序wx.request请求用POST后台得不到传递数据

    微信小程序的wx.request请求,method设为POST并向后台传递数据,但从后台返回的信息来看后台并没有获得传递的数据 wx.request({              url: 'url' ...

  6. Linux 安装 Kafka

    1. 下载安装包 官网下载地址:http://kafka.apache.org/downloads 选择一个版本下载,然后解压安装包. 2. 基本使用 2.1 启动kafka bin/zookeepe ...

  7. python-正则表达式练习

    1.匹配普通URL ^(http://)([a-z]+)\.([a-z]+)\.(com|cn|net|edu)(/(\w)+)+(.+) 2.匹配type返回的字符串中的类型 import re r ...

  8. app自动化问题点整理

    1.配置SDK环境发现adb无法生效: 解决方案: 这个问题一般就是你的环境变量没有配置好,很多同学比较容易出现的点就是win10系统的环境变量配置: 一定要注意打开path添加:%ANDROID_H ...

  9. java算法(1)---余弦相似度计算字符串相似率

    余弦相似度计算字符串相似率 功能需求:最近在做通过爬虫技术去爬取各大相关网站的新闻,储存到公司数据中.这里面就有一个技术点,就是如何保证你已爬取的新闻,再有相似的新闻 或者一样的新闻,那就不存储到数据 ...

  10. 功能代码(1)---通过Jquery来处理复选框

    实现以下功能: 1:选中第一个复选框,那么下面所有的复选框都选中,去除选中第一个复选框,下面的都不选中 2:当点击全选按钮,上面足球.篮球.游泳.唱歌 全部选中 3:当点击全不选按钮,上面四个全部取消 ...