声明 工作后,很不幸的成为了团队中的QA.QA这个角色吧,说起来高大上,实际很苦逼,一句话概括一下:吃力不讨好!作为新人,公司每月一分钱没少我,至少现在跟开发的待遇是一样的,所以我还是得兢兢业业的对待自己的工作. 项目越做越复杂,写验收测试的时候,往往验收场景容易构造,但是该场景下的预期数据.甚至是原始数据太难构造了,尤其我是处于通信行业,数据库的表数据字段极其多.数据表也极其的多.不怕大家笑话,我开始的时候是通过Scala的函数式编程,一点一点的自己写程序维护表的字段名称.数据的split(还…

上文交代了一些啰嗦事,本文开始,就要来点实际的了. 先来一个比较简单的场景: Given:一个包括N(极其复杂,这里取3个)个列的DataFrame:df,df包括index: And:对df所有列元素进行一些处理,得到df的一个变换后的df_new; And:对df_new的某些列做极其复杂的判断,得到新的列result: When:需要将要根据result对df进行分析: Then:将result追加到df中. 上述的场景是我的一个算法验证的场景,简单地说,就是需要通过对原始数据进行变换,然…

pandas中df.ix, df.loc, df.iloc 的使用场景以及区别: https://stackoverflow.com/questions/31593201/pandas-iloc-vs-ix-vs-loc-explanation # Note: in pandas version 0.20.0 and above, ix is deprecated and the use of loc and iloc is encouraged instead. # First, a reca…

本文原创,转载请标识出处: http://www.cnblogs.com/xiaoxuebiye/p/7223774.html 导入数据: pd.read_csv(filename):从CSV文件导入数据 pd.read_table(filename):从限定分隔符的文本文件导入数据 pd.read_excel(filename):从Excel文件导入数据 pd.read_sql(query, connection_object):从SQL表/库导入数据 pd.read_json(json_st…

pandas读取文件官方提供的文档 在使用pandas读取文件之前,必备的内容,必然属于官方文档,官方文档查阅地址 http://pandas.pydata.org/pandas-docs/version/0.24/reference/io.html 文档操作属于pandas里面的Input/Output也就是IO操作,基本的API都在上述网址,接下来本文核心带你理解部分常用的命令 pandas读取txt文件 读取txt文件需要确定txt文件是否符合基本的格式,也就是是否存在\t,` ,,`等特…

前言: 最近公司有数据分析的任务,如果使用Python做数据分析,那么对Pandas模块的学习是必不可少的: 本篇文章基于Pandas 0.20.0版本 话不多说社会你根哥!开干! pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas==0.20.0 一.数据分析需要的基本数据结构 数据统计.分析建立在二维表为基础数据结构之上,每一行称为1个Case,每1列成为1个variable : 按列分析:分析每 1个变量的变化.趋势…

numpy: 仨属性:ndim-维度个数:shape-维度大小:dtype-数据类型. numpy和pandas各def的axis缺省为0,作用于列,除DataFrame的.sort_index()和.dropna()外.   import numpy as np   相同值=np.ones((3,5),int)  #同类:np.zeros(),np.empty():首参shape用()或[]均可 转换类型=相同值.astype(np.float64) #转换行列=相同值.transpose()…

  对网站日记分析其实比较常见,今天模拟演示一下一些应用场景,也顺便说说Pandas,图示部分也简单分析了下 1.数据清洗¶ 一般数据都不可能直接拿来用的,或多或少都得清理一下,我这边就模拟一下清洗完的数据 In [1]: %%time import numpy as np import pandas as pd   Wall time: 520 ms In [2]: %%time # 生成一个2017年的所有时间点(分钟为单位) datetime_index = pd.date_range("…

假如有一个需求场景需要遍历一个csv或excel中的每一个元素,判断这个元素是否含有某个关键字 那么可以用python的pandas库来实现. 方法一: pandas的dataframe有一个很好用的函数applymap,它可以把某个函数应用到dataframe的每一个元素上,而且比常规的for循环去遍历每个元素要快很多.如下是相关代码: import pandas as pd data = [["str","ewt","earw"],[&quo…

一.时间序列基础 1. 时间戳索引DatetimeIndex 生成20个DatetimeIndex from datetime import datetime dates = pd.date_range(start='2019-04-01',periods=20) dates 用这20个索引作为ts的索引 ts = pd.Series(np.random.randn(20),index=dates) ts 不同索引的时间序列之间的算术运算在日期上自动对齐 ts + ts[::2] pandas使…