pandas之系列操作(一)
1.读Excel:
- # coding=utf-8
- import pandas as pd
- import pymysql
- sql_select =" xxxxx "
- con = pymysql.connect(host="xxxx", user="xxx", passwd="xxxx", db="xxxx", charset='utf8',port=5366)
- df1 = pd.read_excel(r'D:\1.xls',header=None,sep=',')
- con.close()
2.写Excel:
- # coding=utf-8
- import pandas as pd
- import pymysql
- sql_select =" xxx "
- con = pymysql.connect(host="xxx", user="xx", passwd="xxx", db="xxx", charset='utf8',port=5366)
- df = pd.read_sql(sql_select,con)
- con.close()
- with pd.ExcelWriter(r'D:\2.xls') as writer:
- df.to_excel(writer,sheet_name ='',encoding = 'utf-8', index = False,header=False)
3.写入 Mysql:
- # coding=utf-8
- from sqlalchemy import create_engine
- import pandas as pd
- import sys
- reload(sys)
- sys.setdefaultencoding('utf8')
- host = 'xx'
- port = 5366
- db = 'xxx'
- user = 'xx'
- password = 'xxx'
- engine = create_engine(str(r"mysql+mysqldb://%s:" + '%s' + "@%s:%s/%s?charset=utf8") % (user, password, host, port,db))
- print(engine)
- try:
- df = pd.read_excel(r'D:\2.xls')
- print(df)
- pd.io.sql.to_sql(df,'app_errortest',con=engine,if_exists='append',index=False,chunksize=10000)
- except Exception as e:
- print(e.message)
4.根据周统计数据
- # coding=utf-8
- import pandas as pd
- import pymysql
- import numpy as np
- from pandas import Series,DataFrame
- from datetime import datetime
- sql_select =" select id, DataChange_LastTime from`app01_student` "
- con = pymysql.connect(host="127.0.0.1", user="root", passwd="", db="test", charset='utf8',port=3306)
- df = pd.read_sql(sql_select,con)
- con.close()
- df['DataChange_LastTime'] =pd.to_datetime(df['DataChange_LastTime']) #转化为DatetimeIndex格式
- df =df.set_index('DataChange_LastTime')#设置索引
- # print(type(df))
- # print(df.index)
- # print(type(df.index))
- # print(df.shape) #查看几行几列
- rs=df.resample('w').count()
- n = rs.to_dict('split')['index']
- v = rs.to_dict(orient="list")['id']
- name =[]
- value=[]
- for i in n:
- i=i.to_pydatetime()
- i =datetime.strftime(i,'%Y-%m-%d')
- name.append(i)
- for i in v:
- i =int(i)
- value.append(i)
- print(name)
- print(value)
5.pandas 将Excel转换字典
- #! /usr/bin/env python
- # coding=utf-8
- import pandas as pd
- df =pd.read_excel(r'D:\pandas.xls') #字典形式
- res = df.to_dict(orient="records") #大字典嵌套小字典
- res = df.to_dict()
- print res
pandas之系列操作(一)的更多相关文章
- pandas的apply操作
pandas的apply操作类似于Scala的udf一样方便,假设存在如下dataframe: id_part pred pred_class v_id 0 d [0.722817, 0.650064 ...
- Jquery全选系列操作(锋利的jQuery)
Jquery全选系列操作(锋利的jQuery) <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml" ...
- Pandas的基础操作(一)——矩阵表的创建及其属性
Pandas的基础操作(一)——矩阵表的创建及其属性 (注:记得在文件开头导入import numpy as np以及import pandas as pd) import pandas as pd ...
- python数据结构:pandas(2)数据操作
一.Pandas的数据操作 0.DataFrame的数据结构 1.Series索引操作 (0)Series class Series(base.IndexOpsMixin, generic.NDFra ...
- Pandas的拼接操作
pandas的拼接操作 pandas的拼接分为两种: 级联:pd.concat, pd.append 合并:pd.merge, pd.join import pandas as pd import n ...
- C#对字典Dictionary 的添加,遍历,移除系列操作
C#对字典Dictionary 的添加,遍历,移除系列操作: //一.创建泛型哈希表,然后加入元素 Dictionary<string, string> oscar = new Dicti ...
- (四)pandas的拼接操作
pandas的拼接操作 #重点 pandas的拼接分为两种: 级联:pd.concat, pd.append 合并:pd.merge, pd.join 0. 回顾numpy的级联 import num ...
- 数据分析05 /pandas的高级操作
数据分析05 /pandas的高级操作 目录 数据分析05 /pandas的高级操作 1. 替换操作 2. 映射操作 3. 运算工具 4. 映射索引 / 更改之前索引 5. 排序实现的随机抽样/打乱表 ...
- pandas 写csv 操作
pandas 写csv 操作 def show_history(self): df = pd.DataFrame() df['Time'] = pd.Series(self.time_hist) df ...
随机推荐
- nginx 端口映射多个应用
nginx端口映射多个应用,应用中的静态资源路径尽量是写相对路径 server { listen 8000; location / { proxy_pass http://10.1.166.216:9 ...
- 为了确认是您本人在申请搬家,请在原博客发表一 篇标题为《将博客搬至CSDN》的文章,并将文章地址填写在上方的"搬家通知地址"中
为了确认是您本人在申请搬家,请在原博客发表一 篇标题为<将博客搬至CSDN>的文章,并将文章地址填写在上方的"搬家通知地址"中
- ECharts.js学习(一) 简单入门
EChart.js 简单入门 最近有一个统计的项目要做,在前端的数据需要用图表的形式展示.网上搜索了一下,发现有几种统计图库. MSChart 这个是Visual Studio里的自带控件,使用比 ...
- .net中的设计模式---单例模式
.net设计模式: Net设计模式实例之单例模式( Singleton Pattern) 一 : 单例模式的简介:(Brief Introduction) 单例模式(Singleton Patter ...
- 使用new data计算时间以及格式转换
1.时间计算,往后加30(默认一个月的时间),sxTime表示的是在当前时间往后加几天的之后一个月 function maxDate1(){ var nowDate = new Date(); max ...
- Boost多线程编程
Boost多线程编程 背景 • 今天互联网应用服务程序普遍使用多线程来提高与多客户链接时的效率:为了达到最大的吞吐量,事务服务器在单独的线程上运行服务程序: GUI应用程序将那些费时, ...
- PHP JSON 数据解析代码
作者: 字体:[增加减小] 类型:转载 PHP解析JSON 数据代码,与大多数流行的 Web 服务如 twitter .人人网通过开放 API 来提供数据一样,它总是能够知道如何解析 API 数据 ...
- 初探Linux内核中的内存管理
Linux内核设计与实现之内存管理的读书笔记 初探Linux内核管理 内核本身不像用户空间那样奢侈的使用内存; 内核不支持简单快捷的内存分配机制, 用户空间支持? 这种简单快捷的内存分配机制是什么呢? ...
- ubuntu14.04上源码安装openssl1.0.2k
卸载自带openssl sudo apt-get remove openssl 解压文件tar -xzf openssl-1.0.2k.tar.gz 配置 sudo ./config shared - ...
- Linux下的进程结构
Linux系统是一个多进程的系统,它的进程之间具有并行性.互不干扰等特点.也就是说,每个进程都是一个独立的运行单位,拥有各自的权利和责任.其中,各个进程都运行在独立的虚拟地址空间.因此,即使一个进程发 ...