Python科学计算结果的存储与读取

总结于2019年3月17日  荆楚理工学院 计算机工程学院

一、前言

显然,作为一名工科僧,执行科学计算,需用Python。PS:快忘记Matlab吧。我用了二十年的时间,熟练掌握了Matlab的用法,然后,很可能,我用6个月不到的时间,选择并实现了用Python替换Matlab。虽然来到了计算机工程学院,但是工程计算是本业,不能久,然后我突然间发现,好多时候,只用pyplot显示结果,我们的计算结果,很多时候需要存储和重复调用的哪,一个图的话,若再需要数据,下次需要,难道再发费几小时重新计算?

用Python替换Matlab的理由:

(1)并行多核计算简单,效率高

之前用Matlab,并行计算需要时间几小时完成一项工作,该工作相似的计算,在Python里仅 用了2小时不到,5300多秒。可见其差异。另外,并行多核计算的代码非常简单,导入multiprocessing,定义其processes=cpu_count,然后导入Pool,执行apply_async(),调用get()获得return的结果即可,简单,强大!

(2)占地不大

Matlab现在是越来越大了,您懂得……,但并卵,安装Anaconda也不到3GB吧?我添加了许多插件了的。

(3)通用性强

这个,Python作为一门通用语言,已经成功登顶计算机语言排行榜首,不用多说了吧?

二、在Python中存储和读取科学计算结果

1、计算实例

显然,科学计算往往十分复杂,我此处用一个简单的混沌 映射序列作为后来结果的演示:


# 导入各种支持
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import random
import math
import json
# import redis # 建立科学计算
# Chebyshev map,初始值0。7,无关a值问题,注意取值是【-1,1】,可通过math.fabs实现切换m
def Chebyshev(maxIter, initial_value=0.7, a=1.0):
y = [0.0] * maxIter
for i in range(maxIter):
if i == 0:
y[i] = initial_value
else:
y[i] = math.cos(i / math.cos(y[i - 1]))
return y

 

2、采用Json存储和读取

# 采用json存储结果
def test_json_write():
maxIter = 500
chaos = Chebyshev(maxIter)
data = { 'chaos':chaos, 'maxIter':500}
datum = json.dumps(data, ensure_ascii=False)
with open('chaos.json', 'w') as f:
json.dump(data, f, indent=4, sort_keys=False) # 采用json读取文件
def test_json_read():
fileName = "chaos"
with open('{}.json'.format(fileName), 'r') as fp:
result = json.load(fp)
chaos = result['chaos']
maxIter = result['maxIter']
plt.plot(chaos)
plt.show()

优点:一是可以使用dict字典的形式,使结果存储于JSON中,二是数据可见,通用性强;三是复用方便。

3、使用numpy的形式读取和使用

numpy提供了数组的三种存取方法,如save、load组;tofile和Fromfile组;以及savetxt和loadtxt组,三种方法均可以使用,注意前两种情况是对数组加密的,无法像json或txt一样能够显示计算结果。因此,我们在有条件的情况下,可以txt型,但若有json存储方法存在,Txt其实也没有啥优势,毕竟科学计算结果较大,txt数据文件较大时,不好读入。

# 测试数组的存储方式
def test_numpy_save():
maxIter = 500
chaos = Chebyshev(maxIter)
data = np.array(chaos)
# data.tofile('chaos.npy',format='%e')
np.savez('chaos.npz', maxIter, chaos) # 测试numpy文件的读取
def test_numpy_load():
# chaos=np.fromfile('chaos.npy',dtype=np.double)
result = np.load("chaos.npz")
chaos = result["arr_1"]
plt.plot(chaos)
plt.show()

优点:前两种方法,可以实现数据的简单加密功能。

  缺点:(1)如果是其它类型如序列list,需要先转换为数组。(2)save和load,多组存储时,需要按顺序对应读出,显然不方便 。

三、总结

1、存储单个列表

如果只需要存储一个列型数据,如errro序列,则可以直接用numpy的存储方式,先将序列转换为numpy数组,使用数组的三种存储方式均是可以的。

2、多个数组可使用词曲的方式存储

当有多个需要存储的内容时,可将其转换为词典的格式,统一为data={‘key1 ’:value1, ’key2’:value2 ,……},然后采用json.dump(data,file)的格式,将数据存储为json格式。

仅用于个人学习和分享,谢绝转载!

版权所有,违者必究。

Python科学计算结果的存储与读取的更多相关文章

  1. Python科学计算之Pandas

    Reference: http://mp.weixin.qq.com/s?src=3&timestamp=1474979163&ver=1&signature=wnZn1UtW ...

  2. Python科学计算库Numpy

    Python科学计算库Numpy NumPy(Numerical Python) 是 Python 语言的一个扩展程序库,支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库. 1.简 ...

  3. Python科学计算基础包-Numpy

    一.Numpy概念 Numpy(Numerical Python的简称)是Python科学计算的基础包.它提供了以下功能: 快速高效的多维数组对象ndarray. 用于对数组执行元素级计算以及直接对数 ...

  4. Python科学计算类库

    Numpy是什么 Numpy是一个开源的Python科学计算库.使用Numpy,就可以很自然地使用数组和矩阵.Numpy包含很多实用的数学函数,涵盖线性代数运算.傅里叶变换和随机数生成等功能. 矩阵: ...

  5. windows下安装python科学计算环境,numpy scipy scikit ,matplotlib等

    安装matplotlib: pip install matplotlib 背景: 目的:要用Python下的DBSCAN聚类算法. scikit-learn 是一个基于SciPy和Numpy的开源机器 ...

  6. Python科学计算(二)windows下开发环境搭建(当用pip安装出现Unable to find vcvarsall.bat)

    用于科学计算Python语言真的是amazing! 方法一:直接安装集成好的软件 刚开始使用numpy.scipy这些模块的时候,图个方便直接使用了一个叫做Enthought的软件.Enthought ...

  7. 目前比较流行的Python科学计算发行版

    经常有身边的学友问到用什么Python发行版比较好? 其实目前比较流行的Python科学计算发行版,主要有这么几个: Python(x,y) GUI基于PyQt,曾经是功能最全也是最强大的,而且是Wi ...

  8. Python 科学计算-介绍

    Python 科学计算 作者 J.R. Johansson (robert@riken.jp) http://dml.riken.jp/~rob/ 最新版本的 IPython notebook 课程文 ...

  9. Python科学计算库

    Python科学计算库 一.numpy库和matplotlib库的学习 (1)numpy库介绍:科学计算包,支持N维数组运算.处理大型矩阵.成熟的广播函数库.矢量运算.线性代数.傅里叶变换.随机数生成 ...

随机推荐

  1. 《DSP using MATLAB》Problem 7.14

    代码: %% ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ %% Output In ...

  2. asp.net 按钮执行前后台方法——前台弹出提示信息,确认后继续执行后台方法,取消则不执行后台方法

    我们做一个测试的web页面,只需要一个button+一个label就ok啦,通过button按钮的后台事件修改label的text属性值来测试是否执行了后台事件里的代码 前台 写一个js方法: < ...

  3. 关于使用jQuery操作dom时的一点发现

    <body> <ul> <li>list item 1</li> <li>list item 2</li> <li> ...

  4. 跳台阶(JAVA)

    跳台阶 题目描述 一只青蛙一次可以跳上1级台阶,也可以跳上2级.求该青蛙跳上一个n级的台阶总共有多少种跳法. 思路:典型的动态规划问题,动态规划问题最关键的是把事件中的各种情形抽象为状态,然后找到前后 ...

  5. 创建一个dynamics 365 CRM online plugin (八) - 使用Shared Variables 在plugins 之前传递data

    CRM 可以实现plugin之前的值传递. 我们可以使用SharedVariables 把值在plugin之间传递 实现plugins之间的传递非常简单,我们只需要用key value pair来配对 ...

  6. C# CRC - 16

    using System; static class Program { static void Main() { string input = "8000"; var bytes ...

  7. [JAVA]字节流拷贝文件

    import java.io.*; public class CopyFile { public static void main(String[] args) { //1.创建源 File in = ...

  8. python通过openpyxl操作excel

    python 对Excel操作常用的主要有xlwt.xlrd.openpyxl ,前者xlwt主要适合于对后缀为xls比较进行写入,而openpyxl主要是针对于Excel 2007 以上版本进行操作 ...

  9. Git切换远程分支

         1. 切换git远程分支,使用命令:git checkout -b 分支名称.    注意:切换远程分支一定要带伤-b 参数,只有切换本地分支的时候才不需要 -b参数,-b 的意思是 bas ...

  10. HDFS简述

    管理网络中跨多台计算机存储的文件系统称为分布式文件系统,Hadoop自带HDFS(Hadoop Distributed Filesystem)分布式文件系统. 一.HDFS设计 HDFS以流式数据访问 ...