3.2:pandas数据的导入与导出【CSV，JSON】

一：CSV数据

　　一】：导入数据

　　　　1）从CSV文件读入数据：pd.read_csv("文件名")，默认以逗号为分隔符

　　　　　　D:\data\ex1.csv文件内容：                    D:\data\ex2.csv文件内容

　　　　　　　　a,b,c,d,message　　　　　　　　　　　 1,2,3,4,hello
　　　　　　　　1,2,3,4,hello　　　　　　　　　　　　　5,6,7,8,world
　　　　　　　　5,6,7,8,world　　　　　　　　　　　　  9,10,11,12,foo
　　　　　　　　9,10,11,12,foo　　　　　　　　　　　　

 In [3]: df1 = pd.read_csv('D:\data\ex1.csv')　　　　#打开后默认添加index为从0自增长，columns默认用第一行数据
 
 In [4]: df1
 Out[4]:
    a   b   c   d message
 0  1   2   3   4   hello
 1  5   6   7   8   world
 2  9  10  11  12     foo
 
 In [15]: df2 = pd.read_csv('D:\data\ex2.csv')
 In [16]: df2
 Out[16]:
    1   2   3   4  hello
 0  5   6   7   8  world
 1  9  10  11  12    foo
 
 In [17]: df2 = pd.read_csv('D:\data\ex2.csv',header=None)        #header参数指定columns都为从0自增长的数
 In [18]: df2
 Out[18]:
    0   1   2   3      4
 0  1   2   3   4  hello
 1  5   6   7   8  world
 2  9  10  11  12    foo
 
 In [8]: df2 = pd.read_csv('D:\data\ex2.csv',names=list('abcde'))　　　　#用names参数指定columns的值
 In [9]: df2
 Out[9]:
    a   b   c   d      e
 0  1   2   3   4  hello
 1  5   6   7   8  world
 2  9  10  11  12    foo
 
 In [13]: df2 = pd.read_csv('D:\data\ex2.csv',names=list('abcde'),index_col='e')    #用index_col用指定的columns首元素作为index
 In [14]: df2
 Out[14]:
        a   b   c   d
 e
 hello  1   2   3   4
 world  5   6   7   8
 foo    9  10  11  12

　　　　2）其他格式：pd.read_table('文件名', sep='划分依据')，划分依据可用正则表达式【\s:空格等不可见字符】

　　　　　　注：read_table方法几乎可以读所有的表格型数据，包括txt，csv等等

　　　　　　D:\data\ex3.txt　　　　　　　　　　　　　　　　　　　　　　D:\data\ex4.txt

　　　　　　　　A B C　　　　　　　　　　　　　　　　　　　　　　　　　　　D A B C
　　　　　　　　aaa -0.2 -1.02 -0.62　　　　　　　　　　　　　　　　　　　 aaa -0.2 -1.02 -0.62
　　　　　　　　bbb 0.93 0.3 -0.03　　　　　　　　　　　　　　　　　　　　 bbb 0.93 0.3 -0.03
　　　　　　　　ccc -0.26 -0.39 -0.22　　　　　　　　　　　　　　　　　　   ccc -0.26 -0.39 -0.22
　　　　　　　　ddd -0.87 -0.35 1.1　　　　　　　　　　　　　　　　　　　   ddd -0.87 -0.35 1.1

 In [37]: df1 = pd.read_table('D:\data\ex3.txt',sep='\s+')
 In [38]: df1
 Out[38]:
         A     B     C                          #以最小列数为准，取dataframe数据，且第一行数据作为columns，剩下的如果第一列作为多出则作为index，否者从0自增数作为index
 aaa -0.20 -1.02 -0.62
 bbb  0.93  0.30 -0.03
 ccc -0.26 -0.39 -0.22
 ddd -0.87 -0.35  1.10
 
 In [44]: df2 = pd.read_table('D:\data\ex4.txt',sep='\s+')
 In [45]: df2
 Out[45]:
      D     A     B     C
   aaa -0.20 -1.02 -0.62
   bbb  0.93  0.30 -0.03
   ccc -0.26 -0.39 -0.22
   ddd -0.87 -0.35  1.10

　　　　3）扩展技巧

　　　　　　read_csv/read_table函数参数

　　　　　　

　　　　　　

　　　　　　D:\data\ex5.csv　　　　　　　　　　　　　　　　D:\data\ex6.csv

　　　　　　#hey!　　　　　　　　　　　　　　　　　　　　　　　something,a,b,c,d,message　　　　　　　　　　　　
　　　　　　a,b,c,d,message　　　　　　　　　　　　　　　　　　one,1,2,3,4,NA
　　　　　　#just wanted to make things　　　　　　　　　　　 two,5,6,,8,world
　　　　　　#who are you　　　　　　　　　　　　　　　　　　　three,9,10,11,12,foo
　　　　　　1,2,3,4,hello
　　　　　　5,6,7,8,world
　　　　　　9,10,11,12,foo

 In [46]: df5 = pd.read_csv('D:\data\ex5.csv')
 In [47]: df5
 Out[47]:
                                            #hey!
 a                           b   c   d    message
 #just wanted to make things NaN NaN NaN      NaN
 #who are you                NaN NaN NaN      NaN
 1                           2   3   4      hello
 5                           6   7   8      world
 9                           10  11  12       foo
 
 In [48]: df5 = pd.read_csv('D:\data\ex5.csv',skiprows=[0,2,3])
 In [49]: df5
 Out[49]:
    a   b   c   d message
 0  1   2   3   4   hello
 1  5   6   7   8   world
 2  9  10  11  12     foo
 
 In [59]: df5 = pd.read_csv('D:\data\ex6.csv',nrows = 2)
 In [60]: df5
 Out[60]:
   something  a  b   c  d message
 0       one  1  2   3  4     NaN
 1       two  5  6 NaN  8   world
 
 In [55]: df6 = pd.read_csv('D:\data\ex6.csv',na_values={'message':['foo','NA'],'something':['two']})
 In [56]: df6
 Out[56]:
   something  a   b   c   d message
 0       one  1   2   3   4     NaN
 1       NaN  5   6 NaN   8   world
 2     three  9  10  11  12     NaN

　　二】 数据的写出：to_csv('文件名' , [index=..., header=...] )

 In [7]: df = pd.read_csv('D:\data\ex1.csv',header=None)
 
 In [8]: df
 Out[8]:
    0   1   2   3        4
 0  a   b   c   d  message
 1  1   2   3   4    hello
 2  5   6   7   8    world
 3  9  10  11  12      foo
 
 In[9]:df.to_csv('D:\data\out1.csv')
 
 In[10]:df.to_csv('D:\data\out2.csv',index=False,header=False)　　　　#即是把index和columns都弃掉，header表示columns

二：JSON格式

　　Json类型基本数据类型有对象（字典），数组（列表），字符串，数值，bool 以及 null。

　　注：若是字典，键的类型必须是string

In [22]: js = """{
   ....: "name":"Wes",
   ....: "places_lived":["US","Spain","Germany"],
   ....: "pet":null,
   ....: "siblings":[{"name":"Scott","age":25,"pet":"Zuko"},
   ....: {"name":"Katie","age":33,"pet":"Cisco"}]}
   ....: """
 
In [26]: import json
In [27]: data = json.loads(js)　　　　　　#将json格式转化为python格式
In [28]: data
Out[28]:
{u'name': u'Wes',
 u'pet': None,
 u'places_lived': [u'US', u'Spain', u'Germany'],
 u'siblings': [{u'age': 25, u'name': u'Scott', u'pet': u'Zuko'},
  {u'age': 33, u'name': u'Katie', u'pet': u'Cisco'}]}
 
In [29]: #a_js = json.dumps(data)　　　　#将python格式转化为json格式
 
#最简单构造方法就是提取其中的数据，注意columns list中的值对应json数据中的需要提取的键并将其作为columns
In [31]: siblings = pd.DataFrame(data['siblings'],columns=['name','age'])
In [32]: siblings
Out[32]:
    name  age
0  Scott   25
1  Katie   33

三：XML与HTML

pass

四：二进制 179

　　pass

五：Excel 180

　　pass

七：HTML 与 Web API 181

　　许多网站提供基于json格式的数据API，通过request等库可以获取

　　pass

六：数据库 182

　　pass

七：MongDB

　　184