1、CSV格式数据:

1.1普通读取和保存

可以以纯文本形式打开，可以保存多条记录，每条记录的数据之间默认用逗号来分隔，csv就是逗号分割值的英文缩写。

保存为csv文件：

import pandas as pd

data=pd.DataFrame(数据源）

data.to_csv('文件名.csv',index = False,encoding = 'utf-8,mode='a'')  index= False的意思是不把index保存进文件中，mode='a'是表示以追加的方式加入文件中

读取csv文件： read_csv

参数详解：https://www.jianshu.com/p/366aa5daaba9【比如一些日期参数，大文件参数】

  • 　　参数：head 、names ：# 这里的header=None是表示第一行的数据不取为列名，自己另外取名为names=['a','b','c']。如果不加header=None则表示第一行作为列名。
dataframe=pd.read_csv('地址加文件名.csv',header=None,names=['a','b','c'])

print（dataframe）
  • 　　参数：encoding ：# 遇到 ‘utf-8’ codec can’t decode byte 0xba in position 0: invalid start byte 但是又必须要中文解码，解决办法是设置read_csv中encoding = ‘GB2312’

　　注意：读取csv文件还有别的方法：read_table(' 文件位置 ', names=' dataframe的列名 '，encoding='utf-8' ，sep='|' )

reader = pd.read_table('tmp.sv', sep='|', chunksize=4)

for chunk in reader:

     print(chunk)
  • 　　参数：iterator ：指定iterator=True 也可以返回一个可迭代对象TextFileReader ：
reader = pd.read_table('tmp.sv', sep='|', iterator=True)

reader.get_chunk(5)
# open读取代码：

with open(filepath,'r') as f:

　　for line in f:

　　　　print(line)

#pandas读取代码：

chunk_data = pd.read_csv('./data/train_data/showctr.txt', sep = '\t', quoting = csv.QUOTE_NONE, header = None, names=['query','show', 'click','rate'],iterator = True)

largeshow = pd.DataFrame()

smallshow = pd.DataFrame()

count = 0

loop = True

while loop:

    try:

        chunksize = 100000

        show_data = chunk_data.get_chunk(chunksize)

        show_data = show_data.dropna(axis = 0,subset=['query'])

        largeshow = pd.concat([largeshow,show_data[show_data['show'] >= 1000]],axis = 0)

        smallshow = pd.concat([smallshow,show_data[show_data['show'] < 1000]],axis = 0)

        count += 1

    except StopIteration:

        loop = False

print("shape of show_rawdata , large_show and small_show ", count * chunksize, largeshow.shape ,smallshow.shape)

1.2、csv文件读取：

以下方式读出来的不是dataframe，是列表形式

from numpy import loadtxt

dataset=loadtxt('***.csv',delimiter=",") 【逗号为分隔符】

1.3、csv文件追加

f=open(path,'a+',newline='')#newline设定可以让写出的csv中不包含空行

writer=csv.writer(f)

for row in range(b.shape[0]):

    writer.writerow(b.iloc[row])#按行将数据写入文件中

f.close()

df.to_csv('my_csv.csv', mode='a', header=False)

2、Excel文件的读取和保存

保存：

dataframe=pd.DataFrame(数据源)

dataframe.to_excel('文件名.xlsx',sheet_name='表名')

读取：

dataframe=pd.read_excel('文件名.xlsx')

print(dataframe)

3、sql文件读取：read_sql

读取sql文件之前需要安装好mysql以及python连接mysql的模块PyMySQL，直接命令pip install pymysql。

在数据库中新建一个数据库test，然后新建一个表students，插入数据。

在读取mysql数据之前要将mysql的服务启动：net start mysql。

import pymysql

import pandas as pd

#连接数据库为test

conn=pymysql.connect(host="127.0.0.1",user="root",passwd="",db="test")

#查询的表为students

sql="select * from students"

data=pd.read_sql(sql,conn)

print(data)

结果如下：输出结果为dataframe

4、读取html文件：read_html

这个函数主要读取HTML中table的数据。

本地的HTML文件代码如下：

<html>

dnfnjefwnkndsn

<table>

<tr><td>7</td><td>9</td></tr>

<tr><td>5</td><td>8</td></tr>

<tr><td>2</td><td>6</td></tr>

</table>

</html>

读取代码如下：

import pandas as pd

htl=pd.read_html('E:\wenjian\data\test.html')

print(htl)

结果如下：

读取网络上的HTML的数据也一样。只要将本地地址换成网络地址就行。

5、读取文本数据（txt文件、dat文件、out文件）：read_table

　　dataframe写入文本数据代码：

def text_save(filename, data):#filename为写入CSV文件的路径，data为要写入数据列表.

    file = open(filename,'a')

    for i in range(len(data)):

        s = str(data[i]).replace('[','').replace(']','')#去除[],这两行按数据不同，可以选择

        s = s.replace("'",'').replace(',','') +'\n'   #去除单引号，逗号，每行末尾追加换行符

        file.write(s)

    file.close()

    print("保存文件成功")

6、小例子实现：

import pandas as pd 

df=pd.read_csv('test_csv.csv')

df['Sum_score']=df['Python']+df['Math']

print(df)

df1=df.rename(columns={'Sum_score':'sum'})

print(df1)

df1.to_excel('test_csv.xlsx',sheet_name='scores')

7、json文件读取：

json文件中的数据形式和字典很像，比如：

d1 = {'1':2, '2':3, '3':4}
d2 = {'1':3, '2':4, '3':5}

d1为一个json对象，d2也是一个json对象。如果一个data.json文件中同时存储着d1和d2，则在读取json文件时不能同时解析两个对象，因为这两个对象中的key是一样的

#调用read函数全部读取json文件中的数据会报错，因为不能同时读取相同的json对象。需要用readlines()函数，一行一行的读取。

import json

with open('data.json','r') as f:

    data=f.read()

    data=json.loads(data)

    print(data)

#调用readlines()函数读取，并加载进一个列表当中

data_list=[]

with open(r'data.json','r') as f:

    for line in f.readlines():

        dic = json.loads(line)

        data_list.append(dic)
 

Python数据分析1------数据存取的更多相关文章

  1. python数据分析笔记——数据加载与整理]

    [ python数据分析笔记——数据加载与整理] https://mp.weixin.qq.com/s?__biz=MjM5MDM3Nzg0NA==&mid=2651588899&id ...

  2. Python数据分析_Pandas01_数据框的创建和选取

    主要内容: 创建数据表 查看数据表 数据表索引.选取部分数据 通过标签选取.loc 多重索引选取 位置选取.iloc 布尔索引 Object Creation 新建数据 用list建series序列 ...

  3. Python数据分析--------numpy数据打乱

    一.shuffle函数: import numpy.random def shuffleData(data): np.random.shufflr(data) cols=data.shape[1] X ...

  4. Python数据分析与展示(1)-数据分析之表示(2)-NumPy数据存取与函数

    NumPy数据存取与函数 数据的CSV文件存取 CSV文件 CSV(Comma-Separated Value,逗号分隔值) CSV是一种常见的文件格式,用来存储批量数据. 将数据写入CSV文件 np ...

  5. Python 数据分析（二 本实验将学习利用 Python 数据聚合与分组运算，时间序列，金融与经济数据应用等相关知识

    Python 数据分析(二) 本实验将学习利用 Python 数据聚合与分组运算,时间序列,金融与经济数据应用等相关知识 第1节 groupby 技术 第2节 数据聚合 第3节 分组级运算和转换 第4 ...

  6. python数据分析之pandas数据选取：df[] df.loc[] df.iloc[] df.ix[] df.at[] df.iat[]

    1 引言 Pandas是作为Python数据分析著名的工具包,提供了多种数据选取的方法,方便实用.本文主要介绍Pandas的几种数据选取的方法. Pandas中,数据主要保存为Dataframe和Se ...

  7. 【python数据分析实战】电影票房数据分析(二)数据可视化

    目录 图1 每年的月票房走势图 图2 年票房总值.上映影片总数及观影人次 图3 单片总票房及日均票房 图4 单片票房及上映月份关系图 在上一部分<[python数据分析实战]电影票房数据分析(一 ...

  8. python数据分析数据标准化及离散化详解

    python数据分析数据标准化及离散化详解 本文为大家分享了python数据分析数据标准化及离散化的具体内容,供大家参考,具体内容如下 标准化 1.离差标准化 是对原始数据的线性变换,使结果映射到[0 ...

  9. python数据分析-数据导入

    1.导入CSV格式数据 import pandas data = pandas.read_csv("C:\\Users\\zhaosai\\Desktop\\进击的DBA\\谁说菜鸟不会数据 ...

随机推荐

  1. POJ 3537

    利用后继节点的SG值求出当前的SG值. 在当前任意一个BLANK插入一个x后,分成两段,于是,看成两段的NIM,异或和,按SG的定义求出当前的SG值即可. #include <iostream& ...

  2. 关于在linux下出现stdio.h文件不存在等gcc标准库不能找到的解决的方法

    首先说明一下我的系统配置:ubuntu 12.04     gcc 4.6.3 有几天没有使用ubuntu了,今天拿出来编程序,刚開始编译一个uboot1.1.6的代码.出现了stdio.h:没有那么 ...

  3. Android之——自己主动挂断电话的实现

    转载请注明出处:http://blog.csdn.net/l1028386804/article/details/47072451 通过<Android之--AIDL小结>与<And ...

  4. [React] Capture values using the lifecycle hook getSnapshotBeforeUpdate in React 16.3

    getSnapshotBeforeUpdate is a lifecycle hook that was introduced with React 16.3. It is invoked right ...

  5. LNMP 架构 上传文件

    修改PHP上传文件大小限制的方法   修改PHP上传文件大小限制的方法1. 一般的文件上传,除非文件很小.就像一个5M的文件,很可能要超过一分钟才能上传完.但在php中,默认的该页最久执行时间为 30 ...

  6. Android与JS互相调用以及注意

    近期项目中常常使用Html5而Android与JS调用常常会用到,这里记录一下,測试系统5.0以上. 这里先贴一下源代码 Activity: package jwzhangjie.com.webvie ...

  7. 《Java程序设计》第16周周五：数据库连接 与 随机数的使用

    第一部分:实验项目 项目二:数据库初步. 目的:了解Java连接数据库的步骤与方法.以及MySQL数据库的安装与使用. 目标: (1)在机房安装上MySQL数据库. 安装成功 MySQL数据库 (2) ...

  8. Windows 10家庭版也能共享打印机（中）解除Guest账户网络登录限制，实现局域网共享

    由于Windows系统默认是禁止Guest账户从网络登录的.我们须要解除这个限制.首先想到的是用组策略编辑器gpedit.msc. 可是Windows 10家庭版没有组策略编辑器,我们先尝试用U盘把W ...

  9. luogu1967 货车运输 最大瓶颈生成树

    题目大意 给出一张图,给出q对点,求这两个点间权值最小边最大的路径,输出这个最小边权. 题解 我们先一条一条边建图.当建立的边使得图中形成环时,因为环中的每个节点只考虑是否连通和瓶颈大小,要想互相连通 ...

  10. linux logo的格式【转】

    本文转载自:http://blog.csdn.net/xiayu98020214/article/details/7394100 =================================== ...