数据测试001:利用python连接数据库插入excel数据 最近在做数据测试,主要是做报表系统,需要往数据库插入数据验证服务逻辑,本次介绍如何利用python脚本插入Oracle和Mysql库中: 1)Oracle部分 #coding=utf-8import osos.environ['NLS_LANG'] = 'SIMPLIFIED CHINESE_CHINA.UTF8' #这个很重要,不写会报错import cx_Oracleimport pandas as pd#连接oracle数据库c…

http://www.cnblogs.com/batteryhp/p/5046450.html 对数据进行分组并对各组应用一个函数,是数据分析的重要环节.数据准备好之后,通常的任务就是计算分组统计或生成透视表.groupby函数能高效处理数据,对数据进行切片.切块.摘要等操作.可以看出这跟SQL关系密切,但是可用的函数有很多.在本章中,可以学到: 根据一个或多个键(可以是函数.数组或DataFrame列名)拆分pandas对象 计算分组摘要统计,如计数.平均值.标准差.,或自定义函数 对Data…

from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = "all" #全部行都能输出 import warnings warnings.filterwarnings('ignore') Excel基本概念 工作簿:一个Excel电子表格文档,扩展名.xlsx 工作表:一个工作簿最多可以包含255张工作表 活动表:用户当前查看或关闭Excel前…

要求:使用10-fold交叉验证方法实现SVM的对人脸库识别,列出不同核函数参数对识别结果的影响,要求画对比曲线. 使用Python完成,主要参考文献[4],其中遇到不懂的功能函数一个一个的查官方文档和相关资料.其中包含了使用Python画图,遍历文件,读取图片,PCA降维,SVM,交叉验证等知识. 0.数据说明预处理 下载AT&T人脸数据(http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html),解压缩后为40个文件夹…

最近在研究python操作excel表格的问题,首先读取excel表格觉得平时用的多,不怎么有难度,就是pyhon生成excel表格的时候,平时不怎么用,所以重点研究了一下,现总结如下: 1.首先用到的包是 xlwt, 所以导入:import xlwt; 2.定位创建excel表格的方法,如下: def set_style(name,height,bold=False): #初始化表格样式; style=xlwt.XFStyle() #为样式创建字体 font=xlwt.Font() # pri…

  数据不完整在数据分析的过程中很常见. pandas使用浮点值NaN表示浮点和非浮点数组里的缺失数据. pandas使用isnull()和notnull()函数来判断缺失情况. 对于缺失数据一般处理方法为滤掉或者填充. 滤除缺失数据   对于一个Series,dropna()函数返回一个包含非空数据和索引值的Series,例如: 对于DataFrame,dropna()函数同样会丢掉所有含有空元素的数据,例如:   但是可以指定how='all',这表示只有行里的数据全部为空时才丢弃,例如:…

写在前面的话: 实例中的所有数据都是在GitHub上下载的,打包下载即可. 地址是:http://github.com/pydata/pydata-book 还有一定要说明的: 我使用的是Python2.7,书中的代码有一些有错误,我使用自己的2.7版本调通. # coding: utf-8 from pandas import Series, DataFrame import pandas as pd import numpy as np df = pd.read_csv('D:\Source…

实现代码如下: # 将数据单元格(格式为:参数名=值)里的数据以键值对的形式放入字典中,返回该字典 class get_string: def cut_string(self,string): # 将字符串以\n(换行符)分割 li_1 = string.split('\n') di = {} try: for i in li_1: # 参数的键 key=i.split('=')[0] # 参数的值 value=i.split('=')[1] # 将该键值对放入字典中 di.setdefault…

pandas 对象拥有一些常用的数学和统计方法.   例如,sum() 方法,进行列小计:   sum() 方法传入 axis=1 指定为横向汇总,即行小计:   idxmax() 获取最大值对应的索引:   还有一种汇总是累计型的,cumsum(),比较它和 sum() 的区别: unique() 方法用于返回数据里的唯一值:   value_counts() 方法用于统计各值出现的频率:   isin() 方法用于判断成员资格:   安装步骤已经在首篇随笔里写过了,这里不在赘述.利用 Pyt…

对数据集进行分组并对各分组应用函数是数据分析中的重要环节. group by技术 pandas对象中的数据会根据你所提供的一个或多个键被拆分为多组,拆分操作是在对象的特定轴上执行的,然后将一个函数应用到各个分组并产生一个新值,最后所有这些函数的执行结果会被合并到最终的结果对象中. >>> from pandas import * >>> df=DataFrame({'key1':['a','a','b','b','a'],'key2':['one','two','one…