在python 中有时候我们用数组操作数据可以极大的提升数据的处理效率,

类似于R的向量化操作,是的数据的操作趋于简单化,在python 中是使用numpy模块可以进行数组和矢量计算。

下面来看下简单的例子

import numpy as np 

data=np.array([2,5,6,8,3]) #构造一个简单的数组

print(data)

结果:

[2 5 6 8 3]

data1=np.array([[2,5,6,8,3],np.arange(5)])  #构建一个二维数组

print(data1)

结果:

[[2 5 6 8 3]
[0 1 2 3 4]]

我们也可以通过shape和dtype方法查看数组的维度和数据格式

print(data.shape)
print(data.dtype)
print(data1.shape)
print(data1.dtype)

结果:

(5,)
int32

(2, 5)
int32

可以看出data是一维数组,每组元素为5个,数据类型为32位int 类型

data1 为二维数组,每个组有5个元素,数据类型为32位int类型

有一个较好的区分方法是看打印结果中,中括号的层数和位置,就可以看出数组的维度,一层中括号代表一个维度。

其他的数组属性方法还有:

array.ndim   数组的维数,一维数组结果为1,二维数组打印结果为2

array.size     数组的元素个数

array.itemsiz   数组每个元素的字节大小

接下来我们了解下数组中的数据类型:

NumPy中的基本数据类型
名称 描述
bool 用一个字节存储的布尔类型(True或False)
inti 由所在平台决定其大小的整数(一般为int32或int64)
int8 一个字节大小,-128 至 127
int16 整数,-32768 至 32767
int32 整数,-2 ** 31 至 2 ** 32 -1
int64 整数,-2 ** 63 至 2 ** 63 - 1
uint8 无符号整数,0 至 255
uint16 无符号整数,0 至 65535
uint32 无符号整数,0 至 2 ** 32 - 1
uint64 无符号整数,0 至 2 ** 64 - 1
float16 半精度浮点数:16位,正负号1位,指数5位,精度10位
float32 单精度浮点数:32位,正负号1位,指数8位,精度23位
float64或float 双精度浮点数:64位,正负号1位,指数11位,精度52位
complex64 复数,分别用两个32位浮点数表示实部和虚部
complex128或complex 复数,分别用两个64位浮点数表示实部和虚部

基础的数组运算

数组也可以进行我们常用的加减乘除运算

arr=np.array(np.arange(10))
arr1=np.array(np.arange(1,11))
print(arr*2)

结果:

[ 0  2  4  6  8 10 12 14 16 18]

 print(arr+arr1)

结果:

[ 1  3  5  7  9 11 13 15 17 19]

注意,相加两个数组长度要一样

接下来我们看下数组索引

arr=np.arange(10)

用下标直接进行索引

print(arr[5])

结果为:

5

切片索引

print(arr[5:8])

结果为:

[5 6 7]

可以利用索引对数据进行更改操作

arr[5]=120
print(arr)

结果为:

[  0   1   2   3   4 120   6   7   8   9]

可以看到下标为5的数已经变成120了。

此外,数组还可以进行布尔操作

arr=np.arange(5)
name=np.array(['a','b','b','c','a'])
print(name=='a')

结果为:

[ True False False False True]

即满足条件的数据全部以True的结果输出。

接下来我们可以利用name数组设置条件后的布尔值对arr数组进行相关操作

print(arr[name=='a'])

结果为:

[0 4]

即把arr中对应于name中a相对应位置的元素打印出来。

多条件操作

result=(name='a')|(name='c')
print(result)
print(name[result])

结果为:

[ True False False True True]
['a' 'c' 'a']

接下来,我们了解下ufunc方法

用于操作单个数组的函数有如下:

用于操作两个或多个数组的方法

相关的函数方法使用

np.meshgrid 用于生成多维矩阵

a,b=np.meshgrid(np.arange(1,5),np.arange(2,4))
print(a)
print(b)

结果为:

[[1 2 3 4]
[1 2 3 4]]
[[2 2 2 2]
[3 3 3 3]]

按照数据最少的数组形成数组

np.where 是三元表达式  x if  condition  else y的矢量化版本

arr1=np.arange(5)
arr2=np.arange(20,25)
condition=np.array([1,0,1,0,0])
result=np.where(condition,arr1,arr2)
print(arr1)
print(arr2)
print(result)

结果为:

[0 1 2 3 4]
[20 21 22 23 24]
[ 0 21 2 23 24]

可以看出,result的结果中,条件为1的显示数组arr1的内容,条件为0的显示arr2的内容

数学统计方法

在数组中我们也可以使用数学统计方法进行计数,例如sum mean  std  等

arr=np.random.randint(1,20,10)
print(arr)
print(np.mean(arr))
print(np.sum(arr))
print(np.std(arr))

结果为:

[19 14 8 13 13 10 10 9 19 7]
12.2
122
4.01995024845

具体的方法内容如下图所示:

布尔型数组的相关统计方法

arr=np.arange(-20,10)
result=(arr>5).sum()
print(arr)
print(result)

结果为:

-20 -19 -18 -17 -16 -15 -14 -13 -12 -11 -10 -9 -8 -7 -6 -5 -4 -3
-2 -1 0 1 2 3 4 5 6 7 8 9]

4

可以对数据进行判断后进行个数求和

其他的数组方法还有

数据的读取和存储

线性函数的常用方法

arr=np.array([np.random.randint(1,10,5),np.random.randint(10,20,5)])
print(arr)
print(np.dot(arr,2))

结果为

[[ 4 6 5 1 6]
[14 16 11 10 18]]
[[ 8 12 10 2 12]
[28 32 22 20 36]]

dot方法可以进行矩阵相乘操作

其他方法如下图

最后我们了解下numpy中的随机数生成方法

上面的很多例子中我们已经用到了随机数生成,

arr=np.random.random(10)
print(arr)

结果为

[ 0.90051063 0.72818635 0.00411373 0.13154345 0.45513344 0.9700776
0.42150977 0.27728599 0.50888291 0.62288808]

其他形式的随机数生成方法

了解以上numpy的操作方法,基本的数据操作问题应该不是很大了。

python numpy基础 数组和矢量计算的更多相关文章

  1. python数据分析 Numpy基础 数组和矢量计算

    NumPy(Numerical Python的简称)是Python数值计算最重要的基础包.大多数提供科学计算的包都是用NumPy的数组作为构建基础. NumPy的部分功能如下: ndarray,一个具 ...

  2. 利用Python进行数据分析 第4章 NumPy基础-数组与向量化计算(3)

    4.2 通用函数:快速的元素级数组函数 通用函数(即ufunc)是一种对ndarray中的数据执行元素级运算的函数. 1)一元(unary)ufunc,如,sqrt和exp函数 2)二元(unary) ...

  3. 《利用python进行数据分析》读书笔记--第四章 numpy基础:数组和矢量计算

    http://www.cnblogs.com/batteryhp/p/5000104.html 第四章 Numpy基础:数组和矢量计算 第一部分:numpy的ndarray:一种多维数组对象 实话说, ...

  4. 利用Python进行数据分析——Numpy基础:数组和矢量计算

    利用Python进行数据分析--Numpy基础:数组和矢量计算 ndarry,一个具有矢量运算和复杂广播能力快速节省空间的多维数组 对整组数据进行快速运算的标准数学函数,无需for-loop 用于读写 ...

  5. 《利用Python进行数据分析·第2版》第四章 Numpy基础:数组和矢量计算

    <利用Python进行数据分析·第2版>第四章 Numpy基础:数组和矢量计算 numpy高效处理大数组的数据原因: numpy是在一个连续的内存块中存储数据,独立于其他python内置对 ...

  6. Python之NumPy实践之数组和矢量计算

    Python之NumPy实践之数组和矢量计算 1. NumPy(Numerical Python)是高性能科学技术和数据分析的基础包. 2. NumPy的ndarray:一种对位数组对象.NumPy最 ...

  7. 【学习笔记】 第04章 NumPy基础:数组和矢量计算

    前言 正式开始学习Numpy,参考用书是<用Python进行数据清洗>,计划本周五之前把本书读完,关键代码全部实现一遍 NumPy基础:数组和矢量计算 按照书中所示,要搞明白具体的性能差距 ...

  8. Python Numpy基础教程

    Python Numpy基础教程 本文是一个关于Python numpy的基础学习教程,其中,Python版本为Python 3.x 什么是Numpy Numpy = Numerical + Pyth ...

  9. python数据分析---第04章 NumPy基础:数组和矢量计算

    NumPy(Numerical Python的简称)是Python数值计算最重要的基础包.大多数提供科学计算的包都是用NumPy的数组作为构建基础. NumPy的部分功能如下: ndarray,一个具 ...

随机推荐

  1. SOCKET网络编程细节问题3

    SOCKET网络编程快速上手(二)——细节问题(3) 3.SIGPIPE问题 人怕牺牲,我们写的程序也一样,人有死不瞑目,程序又何尝不是?程序跑着跑着,突然就崩掉了.好一点的牺牲前告诉你些打印,差点的 ...

  2. Android Widget(窗口小部件)

    Android Widget简介 应用程序窗口小部件(Widget)是微型的应用程序视图,它可以被嵌入到其它应用程序中(比如桌面)并接收周期性的更新.你可以通过一个App Widget Provide ...

  3. QSQL导出mapfile和mapfile中PostGIS连接的一点心得

    昨天弄QSQL导出mapfile,一直遇到下图的错误 原因是QGIS在渲染图层时候使用了新的符号,在图层上右键-属性,如下图将符号修改就OK了 然后我尝试使用QGIS连接本机PostGIS数据,结果老 ...

  4. Shell 获取当前执行脚本的路径

    filepath=$(cd "$(dirname "$0")"; pwd) 脚本文件的绝对路径存在了环境变量filepath中,可以用 echo $filepa ...

  5. PHP使用DomDocument抓取HTML内容

    有时候会有需要从一个HTML页面来分离出你需要的一些数据来进行处理. 当然自己分析文件肯定可以,但是比较快速且方便的是使用正则表达式或者DOM. 鉴于正则表达式我不熟悉,所以我打算使用DOM来完成. ...

  6. 史上最“脑残”的“抢火车票”程序(node.js版)

    [背景] 快过年了,我妈一个电话打过来叫我给他买火车票,我到12306一查,硬座和硬卧基本没有了,高铁又太贵. 最后只抢了3张无座票,但是我妈说能不能买有座位的啊,我说没有了啊,我妈:你过两天再帮我看 ...

  7. azkaben任务调度器

    azkaban学习笔记总结 01.工作流调度器azkaban 1. 任务调度概述 一个完整的数据分析系统通常都是由大量任务单元组成: shell脚本程序,java程序,mapreduce程序.hive ...

  8. ROC与AUC

    一.ROC曲线 1.ROC曲线:接收者操作特征(receiveroperating characteristic),ROC曲线上每个点反映着对同一信号刺激的感受性. 横轴:负正类率(false pos ...

  9. 20170114 - Mac 向上一级文件夹快捷键

    以前使用XtraFinder来实现向上跳转文件夹,Mac其实自带的向上一级文件夹,只是没有那么明显, Mac下跳转上一级文件夹的快捷键是 Command + Up Arrow,即: ⌘ ↑

  10. C语言中的位运算的技巧

    一.位运算实例 1.用一个表达式,判断一个数X是否是2的N次方(2,4,8,16.....),不可用循环语句. X:2,4,8,16转化成二进制是10,100,1000,10000.如果减1则变成01 ...