# 去除重复行数据 keep:'first':保留重复行的第一行,'last':保留重复行的最后一行,False:删除所有重复行df = df.drop_duplicates( subset=['YJML','EJML','SJML','WZLB','GGXHPZ','CGMS'], # 去重列,按这些列进行去重 keep='first' # 保存第一条重复数据 )…

import pandas as pd import numpy as np #创建列表 a1=[1,2,3] #arange函数:指定初始值.终值.步长来创建数组 a2=np.arange(0,1,0.1) #创建数据框 a3=pd.DataFrame({'a':[1,2,3],'b':[4,5,6],'c':[7,8,9]}) #1.list 转化成array矩阵 b1 = np.array(a1).T Out[30]: array([1, 2, 3]) #2.array转化成datafra…

df = pd.merge( df, # 左 wzplbm, # 右 left_on = ['WZBM','ZBWZMC'], # 左DataFrame匹配列 right_on = ['WZPLBM','WZMC'],# 右DataFrame匹配列 how='inner' # 内连接 (left:左连接,right:右连接,outer:外连接) )…

利用pandas自带的函数notnull可以很容易判断某一列是否为null类型,但是如果这一列中某一格为空字符串"",此时notnull函数会返回True,而一般我们选择非空行并不包括这一点,所以需要把这一类也去掉. # df为需要筛选的数据框,col为选择非空依赖的列 df = df[(df[col].notnull) & (df[col] != "")] 如果数据来源是MySQL数据库,用sql函数调用的时候也要注意相同的问题. SELECT col F…

# 识别python中DataFrame中的nanfor i in pfsj.index: if type(pfsj.loc[i]['WZML']) == float: print('float value is ${}'.format(pfsj.loc[i]['WZML'])) elif type(pfsj.loc[i]['WZML']) == str: print('str value is ${}'.format(pfsj.loc[i]['WZML'])) 结果: # 根据结果可知在Dat…

python中的axis究竟是如何定义的呢?他们究竟代表是DataFrame的行还是列? 直接上代码people=DataFrame(np.random.randn(5,5), columns=['a','b','c','d','e'], index=['Joe','Steve','Wes','Jim','Travis'])               a         b         c         d         eJoe     0.814300 -0.495764  0.3…

在SQL语言中去重是一件相当简单的事情,面对一个表(也可以称之为DataFrame)我们对数据进行去重只需要GROUP BY 就好. select custId,applyNo from tmp.online_service_startloan group by custId,applyNo 1.DataFrame去重 但是对于pandas的DataFrame格式就比较麻烦,我看了其他博客优化了如下三种方案. 我们先引入数据集: import pandas as pd data=pd.read_…

python中的axis究竟是如何定义的呢?他们究竟代表是DataFrame的行还是列? 直接上代码people=DataFrame(np.random.randn(5,5), columns=['a','b','c','d','e'], index=['Joe','Steve','Wes','Jim','Travis'])                a         b         c         d         eJoe     0.814300 -0.495764  0.…

python中的数字类型工具 python中为更高级的工作提供很多高级数字编程支持和对象,其中数字类型的完整工具包括: 1.整数与浮点型, 2.复数, 3.固定精度十进制数, 4.有理分数, 5.集合, 6.布尔类型 7.无穷的整数精度 8.各种数字内置函数及模块. 基本数字类型 python中提供了两种基本类型:整数(正整数金额负整数)和浮点数(注:带有小数部分的数字),其中python中我们可以使用多种进制的整数.并且整数可以用有无穷精度. 整数的表现形式以十进制数字字符串写法出现,浮点数带…

python中,集合(set)是一个无序排列,可哈希, 支持集合关系测试,不支持索引和切片操作,没有特定语法格式, 只能通过工厂函数创建.集合里不会出现两个相同的元素, 所以集合常用来对字符串或元组或列表中的元素进行去重操作. 生成一个集合可以使用如下语法: 生成集合语法1: >>> l1=[1,2,3,4,5,6] >>> s1=set(l1) >>> print(s1) {1, 2, 3, 4, 5, 6} 在这里,使用工厂函数set创建集合,se…