一. json

1:基本概念

1.1 Json和Javascript

JSON, 全称JavaScript Object Notation,它通过对象和数组的组合来表示数据。在JavaScript中一切都是对象,因此,任何支持的类型都可以通过JSON来表示,常用的类型有数据和对象。

JavaScript中,对象用{},例如{key1:value1, key2:value2...},数组用[],例如["jack", "hong",...]

一个JSON对象可以写成如下,[]和{}可自由嵌套组合

[{
"name": "bob",
"gender": "male",
"birthday": "1992-10-18"
},{
"name": "john",
"gender": "female",
"birthday": "1995-10-18"
}]

1.2 json对象和python中字典的区别

相同点:两者在写法上是一样的

不同点:

1)字典是一种数据结构,json是一种格式;

2)字典有很多内置函数,有多种调用方法,而json是数据打包的一种格式,并不像字典具备操作性

3)json是格式就会有一些形式上的限制,比如json的格式要求必须且只能使用双引号作为key或者值的边界符号,不能使用单引号,但字典就无所谓了

python提供了json模块,可以方便的把json格式的字符串转化为python的数据结构

2. 调用json.loads()将json文本字符串转为python中的数据结构

2. 1 基本例子

import json

# 三个引号也是字符串
str = '''
[{
"name": "bob",
"gender": "male",
"birthday": "1992-10-18"
},{
"name": "john",
"gender": "female",
"birthday": "1995-10-18"
}]
'''
print(type(str))
data = json.loads(str)
print(data)
print(type(data))

输出如下

<class 'str'>
[{'gender': 'male', 'name': 'bob', 'birthday': '1992-10-18'}, {'gender': 'female', 'name': 'john', 'birthday': '1995-10-18'}]
<class 'list'>

这里使用loads()方法将json字符串转化python列表,那么可用索引获得相应值

data[0]['name']

data[0].get('name')  #字典都可以用get()方法来获取相应的值

结果都是 bob,但推荐使用第二种;因为使用get()方法,即使键名不存在,也不会报错,而是返回None,如下

data[0].get('age')
data[0].get('age', 25) #输出如下
None
25 #key不存在时,返回默认值

注意:

变量str中的数据需要用双引号来包着,不能用单引号,否则会报错

2.2  从文件中读取字符串内容,再用loads()转化为列表

比如还用上面变量str中的字符串,文件名为data.json

import json

with open('data.json', 'r') as file:
str = file.read()
data = json.loads(str)
print(data)

3. 调用json.dumps()

3.1 用dumps()方法将列表转化为字符串,再用write()方法写入文本

import json

data = [{
'name' : 'bob',
'gender': 'male',
'birthday': '1992-10-19'
}] with open('data.json', 'w') as file:
file.write(json.dumps(data))

data.json的文本内容为:[{"name": "bob", "gender": "male", "birthday": "1992-10-19"}]

3.2  如果想保存JSON格式,可以加一个参数indent,代表缩进字符个数

with open('data.json', 'w') as file:
file.write(json.dumps(data, indent=2))

得到的data.json文本内容为

[
{
"name": "bob",
"gender": "male",
"birthday": "1992-10-19"
}
]

3.3. 有中文的情况下,需要指定ensure_ascii为False, 并且规定文件输出的编码

with open('data.json', 'w', encoding='utf-8') as file:
file.write(json.dumps(data, indent=2, ensure_ascii=False))

二.  csv文件存储

1. 一个最简单的例子

import csv

with open('data.csv', 'w') as csvfile:
write = csv.writer(csvfile) write.writerow(['id','name','age'])
write.writerow(['','Mike',])
write.writerow(['','bob',])
write.writerow(['','hong',])

1.1 分析

1). 打开data.csv文件,然后指定打开的模式为写入'w',获得文件句柄csvfile;

2). 调用csv的writer()方法初始化写入对象,传入该句柄

3). 调用writerow()方法传入每行的数据

运行后得到一个data.csv文件,内容如下,并且可直接用excel标准形式打开

id,name,age
,Mike,
,bob,
,hong,

1.2. 如果想要修改列与列之间的分隔符为空格,只需要在csv.writer()中传入delimiter参数

writer = csv.writer(csvfile, delimiter= ' ')

1.3. 可调用writerows()方法同时写入多行,此时参数需要为二维列表

writer.writerows([['', 'Mike', ], ['', 'Bob', ], ['', 'hong', ]])

2. csv也提供了字典的写入方式

import csv

with open('data1.csv', 'w') as csvfile:
fieldnames = ['id', 'name', 'age']
writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
writer.writeheader() writer.writerow({'id': '', 'name': 'Mike', 'age': })
writer.writerow({'id': '', 'name': 'Bob', 'age': })
writer.writerow({'id': '', 'name': 'Hong', 'age': })

2.1 分析下

1)先定义三个字段,用fieldnames表示,然后将其作为参数传给DictWriter来初始化一个字典

2)调用writeheader()方法先写入头信息

3)调用writerow()方法传入相应字典

2.2  写入中文

只需要修改一行

with open(data1.csv, 'w', encoding='utf-8') as csvfile:

3. 读取

import csv

with open('data.csv', 'r', encoding='utf-8') as csvfile:
reader = csv.reader(csvfile)
for row in reader:
print(row)

json和csv文件存储的更多相关文章

  1. Python3编写网络爬虫10-数据存储方式三-CSV文件存储

    3.CSV文件存储 CSV 全称 Comma-Separated Values 中文叫做逗号分隔值或者字符分隔值,文件以纯文本形式存储表格数据.文件是一个字符序列 可以由任意数目的记录组成相当于一个结 ...

  2. 爬虫存储介质之CSV文件存储

    本文章来自度娘 CSV文件存储 CSV,全称为Comma-Separated Values,中文可以叫做逗号分隔值或字符分隔值,其文件以纯文本形式 存储表格数据.该文件是一个字符序列,可以由任意数目的 ...

  3. 使用 CSV 文件存储

    将爬取到的数据以 CSV 文件形式存储: import csv import requests req = requests.get("http://www.baidu.com/" ...

  4. 爬虫文件存储:txt文档,json文件,csv文件

    5.1 文件存储 文件存储形式可以是多种多样的,比如可以保存成 TXT 纯文本形式,也可以保存为 Json 格式.CSV 格式等,本节我们来了解下文本文件的存储方式. 5.1.1 TXT文本存储 将数 ...

  5. Python常用的数据文件存储的4种格式(txt/json/csv/excel)及操作Excel相关的第三方库(xlrd/xlwt/pandas/openpyxl)(2021最新版)

    序言:保存数据的方式各种各样,最简单的方式是直接保存为文本文件,如TXT.JSON.CSV等,除此之外Excel也是现在比较流行的存储格式,通过这篇文章你也将掌握通过一些第三方库(xlrd/xlwt/ ...

  6. (完整)爬取数据存储之TXT、JSON、CSV存储

    一.文件存储 1. TXT文本存储 例:知乎发现页面,获得数据存成TXT文本 import requests from pyquery import PyQuery as pq url="h ...

  7. Python3爬虫(八) 数据存储之TXT、JSON、CSV

    Infi-chu: http://www.cnblogs.com/Infi-chu/ TXT文本存储 TXT文本存储,方便,简单,几乎适用于任何平台.但是不利于检索. 1.举例: 使用requests ...

  8. Go Web:数据存储(2)——CSV文件

    存储到CSV文件中 1.内存存储 2.CSV文件存储 3.gob序列化存储 本文接上一篇:内存存储. 关于CSV文件的说明,见csv文件格式 当数据存储到了内存中,可以在需要的时候持久化保存到磁盘文件 ...

  9. Python中如何将数据存储为json格式的文件

    一.基于json模块的存储.读取数据 names_writer.py import json names = ['joker','joe','nacy','timi'] filename='names ...

随机推荐

  1. tar使用

    [tar使用] 1..tar.gz文件 压缩:tar -czvf dstFileName.tar.gz a.txt b.txt …… 解压:tar -xzvf fileName.tar.gz 2..t ...

  2. jsp生成好看的验证码

    这是一个Servlet,名字是ImageServlet package a; import java.awt.Color; import java.awt.Font; import java.awt. ...

  3. tomcat服务编码集设置

    有三处需要记住修改 截图如下效果图: 第一处,对控制台右键,选择“默认值”找到,并设置为gbk: 第二处,在conf中找到server.xml文件并设置: 第三处:找到bin文件,找到tomcat80 ...

  4. 递归中traverse小人 & dc女王的区别

    TRAVERSE 是一个小人, 拿着一个记事本, 顺着二叉树走, 走过一个, 在本子上面记下来 DIVIDE & CONQUER 是女王接到这个任务, 找两个小弟A和B, 让A和B先去收集, ...

  5. 解决clion2016.3不能支持搜狗输入法的问题

    参考链接http://www.cnblogs.com/chentq/p/4975794.html 打开clion.sh在文件头部添加 export GTK_IM_MODULE=fcitx export ...

  6. Golang之指针(point)再探索

    先记录代码 package main import "fmt" /* 声明指针 *T 是指向类型T的值的指针变量的类型 */ func main() { //b := 255 // ...

  7. Linux enca命令

    一.简介 enca是Linux下的文件编码转换工具. 二.安装 http://dl.cihar.com/enca/   http://www.2cto.com/os/201404/295528.htm ...

  8. Laravel 使用 seeder 使用要点

    一.关于 DB use DB; 再使用 DB::table(database.table)->get(); 二.关于 ERROR 1366 (HY000): Incorrect string v ...

  9. ANGULAR 2 BITS: UNIFIED DEPENDENCY INJECTION

    Angular 1.x has two APIs for injecting dependencies into a directive. These APIs are not interchange ...

  10. shell 用环境变量的值修改properties文件

    假设有如下属性文件 demo.properties user.name=test user.password=123456 ............................... 需求:先需要 ...