我们在存/取数据时,没有必要存成文本形式,多试试二进制形式,文本只是骗骗眼睛的,要更快和更高效

1.数组形式

如果我们需要一个之包含数字的列表,那就试试array.array,注意,不是numpy模块下的,他是自己独立的模块,支持同样的pop,insert,extend操作,同时还支持从文件存/取文件更快的方法.

#!/usr/bin/python
# coding=utf-8
# __author__='dahu'
# data=2017-
# 创建1000万个浮点数,存取文件,速度相当快
# 这里的array不是numpy下面的,他是独立的
from array import array # 导入array类型
from random import random
import time
floats = array('d', (random() for i in range(2)))
print type(floats)
print time.ctime()
floats = array('d', (random() for i in range(10 ** 7))) # 建立爽精度浮点数组,类型码'd',生成器表达式生成
print 'End value -> ',floats[-1]
with open('f1', 'wb') as f:
floats.tofile(f) # 数组存入二进制文件里
floats2 = array('d')
with open('f1', 'rb') as f:
floats2.fromfile(f, 10 ** 7) # 读取
print 'End value -> ',floats2[-1]
print floats == floats2
print time.ctime()

结果:

/usr/bin/python2. /home/dahu/json_folder/descripter_exercise/bisect.lianxi/array.test.py
<type 'array.array'>
Thu Jun ::
End value -> 0.85158039292
End value -> 0.85158039292
True
Thu Jun :: Process finished with exit code

2.python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去,永久存储;通过pickle模块的反序列化操作,我们能够从文件中创建上一次程序保存的对象。

注意这里使用的pprint模块,可以打印数据结构

write

#!/usr/bin/python
#coding=utf-8
#__author__='dahu'
#data=2017-
#
import pickle data1 = {'a': [1, 2.0, 3, 4+6j],
'b': ('string', u'Unicode string'),
'c': None} selfref_list = [1, 2, 3]
# selfref_list.append(selfref_list) output = open('data.pkl', 'wb') # Pickle dictionary using protocol 0.
pickle.dump(data1, output) # Pickle the list using the highest protocol available.
pickle.dump(selfref_list, output, -1) output.close()

read

#!/usr/bin/python
#coding=utf-8
#__author__='dahu'
#data=2017-
#
import pprint, pickle pkl_file = open('data.pkl', 'rb') data1 = pickle.load(pkl_file)
pprint.pprint(data1) data2 = pickle.load(pkl_file)
pprint.pprint(data2) pkl_file.close()
pprint.pprint(range(5))

结果:

/usr/bin/python2. /home/dahu/json_folder/descripter_exercise/bisect.lianxi/pickle..test.read.py
{'a': [, 2.0, , (+6j)], 'b': ('string', u'Unicode string'), 'c': None}
[, , ]
[, , , , ] Process finished with exit code

python存取数据进阶技巧-pickle,array模块的更多相关文章

  1. Python学习 :json、pickle&shelve 模块

    数据交换格式 json 模块 json (JavaScript Object Notation)是一种轻量级的数据交换语言,以文字为基础,且易于让人阅读.尽管 json 是JavaScript的一个子 ...

  2. Python之数据序列化(json、pickle、shelve)

    本节内容 前言 json模块 pickle模块 shelve模块 总结 一.前言 1. 现实需求 每种编程语言都有各自的数据类型,其中面向对象的编程语言还允许开发者自定义数据类型(如:自定义类),Py ...

  3. 【转】Python之数据序列化(json、pickle、shelve)

    [转]Python之数据序列化(json.pickle.shelve) 本节内容 前言 json模块 pickle模块 shelve模块 总结 一.前言 1. 现实需求 每种编程语言都有各自的数据类型 ...

  4. python常用模块(模块和包的解释,time模块,sys模块,random模块,os模块,json和pickle序列化模块)

    1.1模块 什么是模块: 在计算机程序的开发过程中,随着程序代码越写越多,在一个文件里代码就会越来越长,越来越不容易维护. 为了编写可维护的代码,我们把很多函数分组,分别放到不同的文件里,这样,每个文 ...

  5. python序列化: json & pickle & shelve 模块

    一.json & pickle & shelve 模块 json,用于字符串 和 python数据类型间进行转换pickle,用于python特有的类型 和 python的数据类型间进 ...

  6. Python自动化运维之10、模块之json、pickle、XML、PyYAML、configparser、shutil

    序列化 Python中用于序列化的两个模块 json     用于[字符串]和 [python基本数据类型] 间进行转换 pickle   用于[python特有的类型] 和 [python基本数据类 ...

  7. 第三十四节,pickle数据类型转换二进制字节码模块

    在使用pickle模块时需要先 import pickle 引入模块 pickle.dumps()模块函数 功能:将python各种类型的数据转换成计算机识别的二进制字节码[有参] 使用方法:pick ...

  8. Python json & pickle, shelve 模块

    json 用于字符串和python的数据类型间的转换 四个功能 dumps dump loads load pickle 用于python特有的类型和python的数据类型进行转换 四个功能 dump ...

  9. Python 入门基础14 --time、os、random、json、pickle 常用模块1

    今日内容: 一.常用模块 2019.04.10 更新 1.time:时间 2.calendar:日历 3.datetime:可以运算的时间 4.sys:系统 5.os:操作系统 6.os.path:系 ...

随机推荐

  1. Centos 下 error while loading shared libraries: libopencv_core.so.3.0

    error while loading shared libraries: libopencv_core.so.3.0 Check if those libraries are present in ...

  2. C++模式设计-多线程下的单例模式

    1 教科书里的单例模式 我们都很清楚一个简单的单例模式该怎样去实现:构造函数声明为private或protect防止被外部函数实例化,内部保存一个private static的类指针保存唯一的实例,实 ...

  3. bzoj 1510 [POI2006]Kra-The Disks 二分

    1510: [POI2006]Kra-The Disks Time Limit: 5 Sec  Memory Limit: 64 MBSubmit: 466  Solved: 272[Submit][ ...

  4. 手脱FSG 2.0 -> bart/xt

    声明: 只为纪录自己的脱壳历程,高手勿喷 1.在入口的第二行ESP定律下硬件断点然后F9运行8次(因为第9次就跑飞了) 0040955C > pushad 0040955D EB jmp //E ...

  5. 0-如何正确使用 Django的User Model

    本篇主要讨论一下User Model的使用技巧. 注意, 由于Django 1.5之后user model带来了很大的变化, 本篇内容只针对django 1.5之后的版本. 1. 确定 User Mo ...

  6. NOIP 2015 提高组 Day1

    期望得分:100+100+100=300 实际得分:100+100+45=245 T3 相似的代码 复制过去 没有改全,痛失55分 http://www.cogs.pro/cogs/page/page ...

  7. Codeforces 807 A Is it rated?

    http://codeforces.com/problemset/problem/807/A A. Is it rated? time limit per test              2 se ...

  8. Java实现线性表-顺序表示和链式表示

    顺序表示和链式表示的比较: 1.读写方式:顺序表可以顺序存取,也可以随机存取:链表只能从表头顺序存取元素: 2.逻辑结构与物理结构:顺序存储时,逻辑上相邻的元素其对应的物理存储位置也相邻:链式存储时, ...

  9. cms替换主页

    cms替换主页的步骤 1.先做好静态页面: 2.在D:\wamp\www\phpcms\install_package\phpcms\templates文件夹下建新的文件夹tianqiwangluo( ...

  10. 怎么让IIS7第一次访问相应速度加快

    当我们把网站部署在IIS7或IIS6S的时候,每当IIS或是Application Pool重启后,第一次请求网站反应总是很慢,原因大家都知道(不知道可以参考这个动画说明ASP.NET网页第一个Req ...