python模块之numpy与pandas
一、numpy
numpy是python数据分析和机器学习的基础模块之一。它有两个作用:1.区别于list列表,提供了数组操作、数组运算、以及统计分布和简单的数学模型;2.计算速度快[甚至要由于python内置的简单运算],使得其成为pandas、sklearn等模块的依赖包。高级的框架如TensorFlow、PyTorch等,其数组操作也和numpy非常相似。
1、随机数生成
常用的生成随机数的几个函数:
li = list(range(10))
print(li, type(li)) li = np.array(li)
print(li, type(li)) li = li.tolist() # list(li)也可以
print(li, type(li))
list和array互相转化
np.random.rand(10, 5) # 生成[0, 1]之间均匀分布的数组10行,5列 np.random.randn(10, 5) # 生成[0, 1]之间均匀分布的数组10行,5列 np.random.randint(10, 20, size=(10, 5)) # 生成[10, 20]之间随机数组10行,5列 np.random.random(size=(10, 5)) # 生成[0, 1]之间的10行5列的数组 li = list(range(10))
np.random.choice(li, size=(10, 5)) # 从li中产生随机数,生成10行5列的数组 np.arange(10, 20, 2, ) # 从[10, 20]中以步长为2生成一维数组
函数使用
其它不常见的随机数生成函数:
np.random.binomial(100, 0.5, size=(10, 5))
二项分布
2、数组切片
array对象的切片和list列表的切片操作相同。记住一个规则array[start: end: step]。
dt = np.random.binomial(100, 0.5, size=(10, 5))
dt[1: 3, :]
dt[[1,5], :]
dt[[1, 4, 7]]
dt[:, [2, 4]]
数组切片
一维和n维数组的转化
li = np.random.random((1, 100)).reshape(20, 5) # 将1行100列的数组转换成20行5列的新数组
print(li) li = li.reshape((2, -1)) # 将20行5列的数组转换成2行50列的新数组
# 将20行5列的数组转换为2行50列的数组,-1表示根据原数据和当前行[列]参数来自动生成列[行]数
print(li) li = li.reshape(-1, 100) # 将2行50列的数组转换成1行100列的数组
print(li)
数组维度转化
3、数组运算
# 加法
np.sum(l1) # 有意思的sum
np.sum(l1, axis=0)
np.sum(l1, axis=1)
np.sum([l1, l2])
np.subtract(l1, l2) # 减法
np.multiply(l1, l2) # 乘法
np.divide(l1, l2) # 除法
np.power(l1, l2) # 幂乘
np.floor_divide(l1, l2) # 地板除
np.floor(l1) # 向下取整
np.ceil(l1) # 向上取整
np.dot(l1, l2.T) # 点积 l2.T表示转置
np. # 以下和sum的使用方式相同
np.max(l1)
np.min(l1)
np.mean(l1)
np.median(l1)
np.std(l1)
np.var(l1)
# np.vander() # 必须是一维数组,
# li = np.arange(1, 5, step=1, dtype=int)
# np.vander(li, len(li))
numpy还有其它的一些常用函数,如np.exp(), np.abs()等,也可以通过np.loadtxt读取txt文件。
4、数组拼接
l1 = np.linspace(10, 20, num=72).reshape(12, 6)
l2 = np.random.random(size=(12, 6)) np.vstack((l1, l2)) # 按列拼接
np.hstack((l1, l2)) # 按行拼接 np.vsplit(l1, [3, 6, 9]) # 按行切割,参数3, 6, 9表示在第几行切割一下[包括这一行],生成一个list对象
np.hsplit(l1, [1, 3,]) # 按列切割
二、pandas
官方api: http://pandas.pydata.org/pandas-docs/stable/api.html#general-functions
pandas是python数据分析的核心模块。它主要提供了五大功能:
- 1.支持文件存取操作,支持数据库(sql)、html、json、pickle、csv(txt、excel)、sas、stata、hdf等。
- 2.支持增删改查、切片、高阶函数、分组聚合等单表操作,以及和dict、list的互相转换。
- 3.支持多表拼接合并操作。
- 4.支持简单的绘图操作。
- 5.支持简单的统计分析操作。
1、创建和存取pandas对象
dic = [
{
"name": "Li",
"age": 18,
"gender": "male"
},
{
"name": "Wusir",
"age": 16,
"gender": "female",
}
] df = pd.DataFrame(
data=dic,
index=None,
columns=["name", "age", "gender"], # list(dic.keys()),
dtype=None, # dtype不可用列表去给每个column去定义
)
字典创建
lis = np.random.random(size=(13, 5))
index = pd.period_range(start="2017-01-01", end="2018-01-01", freq="M")
# index = pd.period_range(start=pd.Period('2017Q1', freq='Q'), end=pd.Period('2017Q2', freq='Q'), freq='M')
df= pd.DataFrame(lis, index=index, columns=list("ABCED")).reset_index(drop=False)
数组创建
df.to_csv("test", header=True, index=False)
pd.read_csv("test")
保存成csv
import pandas as pd
import threading
import sqlalchemy
from sqlalchemy import create_engine engine = create_engine(
"mysql+pymysql://root:1234@127.0.0.1:3306/test?charset=utf8",
max_overflow=5,
pool_size=10,
pool_timeout=30,
pool_recycle=-1,
) df = pd.read_sql_table("test1", con=engine, columns=None)
读取一张table
import numpy as np
import pandas as pd
import pymysql def conn(sql):
# 连接到mysql数据库
conn = pymysql.connect(
host="localhost",
port=3306,
user="root",
passwd="",
db="test",
)
try:
data = pd.read_sql(sql, con=conn)
return data
except Exception as e:
print("SQL is not correct!", sep="\r\n\r\n")
finally:
conn.close() sql = "select * from test1 limit 0, 10" # sql语句
data = conn(sql)
# print(data.columns.tolist()) # 查看字段
print(data) # 查看数据
读取sql语句
使用的数据文件为: https://files.cnblogs.com/files/kuaizifeng/test.zip
2、切片与增删改查
待续。。。。。。
python模块之numpy与pandas的更多相关文章
- python模块之numpy,pandas基本用法
numpy: 是 Python 的一个扩展程序库,支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库简单来说:就是支持一维数组和多维数组的创建和操作,并有丰富的函数库. 直接看例子 ...
- python模块之numpy
Numpy是一个第三方库,是数组相关的运算 通过pip安装:pip install numpy Anaconda python的一个科学计算发行版本,安装后将不必单独安装numpy,下面的库模块也将不 ...
- day18-常用模块III (numpy、pandas、matplotlib)
目录 numpy模块 创建矩阵 获取矩阵的行列数 切割矩阵 矩阵元素替换 矩阵的合并 通过函数创建矩阵 矩阵的运算 矩阵的点乘与转置 矩阵的逆 矩阵的其他操作 numpy.random生成随机数 pa ...
- python安装numpy和pandas
最近要对一系列数据做同比比较,需要用到numpy和pandas来计算,不过使用python安装numpy和pandas因为linux环境没有外网遇到了很多问题就记下来了.首要条件,python版本必须 ...
- [转] python安装numpy和pandas
最近要对一系列数据做同比比较,需要用到numpy和pandas来计算,不过使用python安装numpy和pandas因为linux环境没有外网遇到了很多问题就记下来了.首要条件,python版本必须 ...
- Python入门之安装numpy和pandas
最近要对一系列数据做同比比较,需要用到numpy和pandas来计算,不过使用python安装numpy和pandas因为linux环境没有外网遇到了很多问题就记下来了. 首要条件,python版本必 ...
- 【转载】python安装numpy和pandas
转载:原文地址 http://www.cnblogs.com/lxmhhy/p/6029465.html 最近要对一系列数据做同比比较,需要用到numpy和pandas来计算,不过使用python安装 ...
- 101道Numpy、Pandas练习题
无论是数据分析还是机器学习,数据的预处理必不可少. 其中最常用.最基础的Python库非numpy和pandas莫属,很多初学者可能看了很多教程,但是很快就把用法忘光了. 光看不练假把式,今天向大家推 ...
- Python之路-numpy模块
这里是首先需要安装好Anaconda Anaconda的安装参考Python之路-初识python及环境搭建并测试 配置好环境之后开始使用Jupyter Notebook 1.打开cmd,输入 jup ...
随机推荐
- “全栈2019”Java第九十五章:方法中可以定义静态局部内部类吗?
难度 初级 学习时间 10分钟 适合人群 零基础 开发语言 Java 开发环境 JDK v11 IntelliJ IDEA v2018.3 文章原文链接 "全栈2019"Java第 ...
- Sublime关于tab转空格的设置技巧
在编写大的工程的代码的时候,会要求一些多余的字符不应该存在,比如说末尾不应该有空格或者Tab这样的字符,比如说所有的Tab应该变成空格,这样工程不管在什么样的编辑器下看,格式都会比较统一,等等,可是如 ...
- 配置CKFinder(Java版)
1. 下载 CKFinder官网下载地址提供了PHP,ASP, Java等不同下载版本. 2. 配置 1)config.xml放到WEB-INF下, 2)其他文件放到Webcontent下, 3) ...
- K:java中的安全模型(沙箱机制)
本博文整合自:Java安全--理解Java沙箱.Java 安全模型介绍.Java的沙箱机制原理入门 相关介绍: 我们都知道,程序员编写一个Java程序,默认的情况下可以访问该机器的任意资源,比如读取 ...
- 如何在Cordova Android 7.0.0 以下版本集成最新插件 极光插件为例
前提 Cordova Android 7.0.0开始改变了项目安卓平台的架构.新建一个空项目分别添加Android 6.4.0 和 Android 7.0.0平台: cordova platform ...
- Oracle to_char的用法
The following are number examples for the to_char function. to_char(1210.73, '9999.9') would return ...
- leetcode-8-字符串转整数 (atoi)
题目描述: 实现 atoi,将字符串转为整数. 在找到第一个非空字符之前,需要移除掉字符串中的空格字符.如果第一个非空字符是正号或负号,选取该符号,并将其与后面尽可能多的连续的数字组合起来,这部分字符 ...
- python要点记录
1.字典:当存储的key数目在几万到几十万之间效率最高.
- StarUML使用简明教程
最近了解到StarUML比较多,所以写一篇教程供大家参考,不足支持,请见谅. StarUML(简称SU),是一种创建UML类图,生成类图和其他类型的统一建模语言(UML)图表的工具.StarUML是一 ...
- netty用户指南
Netty用户指南 一.前言 1.问题 当今世界我们需要使用通用的软件或库与其他组件进行通信,例如使用HTTP客户端从服务器中获取信息,或通过网络服务调用一个远程的方法.然而通用的协议及其实现通常不具 ...