Python爬虫爬取全球疫情数据并存储到mysql数据库

思路：使用Python爬虫对腾讯疫情网站世界疫情数据进行爬取，封装成一个函数返回一个

　　   字典数据格式的对象，写另一个方法调用该函数接收返回值，和数据库取得连接后把

　　   数据存储到mysql数据库。

一、mysql数据库建表

 1 CREATE TABLE world(
 2     id INT(11) NOT NULL AUTO_INCREMENT,
 3     dt DATETIME NOT NULL COMMENT '日期',
 4     c_name VARCHAR(35) DEFAULT NULL COMMENT '国家',
 5     continent VARCHAR(35) DEFAULT NULL COMMENT '所属大洲',
 6     nowConfirm INT(11) DEFAULT NULL COMMENT '累计确诊',
 7     confirm INT(11) DEFAULT NULL COMMENT '当日现存确诊',
 8     confirmAdd INT(11) DEFAULT NULL COMMENT '当日新增确诊',
 9     suspect INT(11) DEFAULT NULL COMMENT '剩余疑似',
10     heal INT(11) DEFAULT NULL COMMENT '累计治愈',
11     dead INT(11) DEFAULT NULL COMMENT '累计死亡',
12     confirmAddCut INT(11) DEFAULT NULL COMMENT 'confirmAddCut',
13     confirmCompare  INT(11) DEFAULT NULL COMMENT 'confirmCompare',
14     nowConfirmCompare INT(11) DEFAULT NULL COMMENT 'nowConfirmCompare',
15     healCompare  INT(11) DEFAULT NULL COMMENT 'healCompare',
16     deadCompare  INT(11) DEFAULT NULL COMMENT 'deadCompare',
17     PRIMARY KEY(id)
18 )ENGINE=INNODB DEFAULT CHARSET=utf8mb4;

注意建立的表，数据的名字，数据的长度，数据的类型，主键的定义一定要小心仔细。

这里博主出现了几个小错误：

①数据表的主键不可以设置为日期，因为在之后爬取数据之后可以看到，网站给的数据是同一天的，

因为主键不可以有重复，所以相同的日期是不可以作为主键定义的。

②设置int类型的id作为数据表的主键，那么存在一个问题，在往表里插入数据的时候，id位置的数据值需要考虑，

这个方法可以解决：可以在传值的时候把id的值设定为 0，前提是id是自增的，

这样数据库是可以自己处理id的，依然是从0开始自增，这样避免了不给id传值导致Null的异常。

③博主使用的mysql可视化工具默认在一个页面显示30条记录，在右上角可以改变显示的记录数，因为本次插入的

是185条数据，所以在插入完之后如果发现数据不对，可以看看可视化工具是不是有什么设置导致的。

---

二、下面直接上代码（爬虫方法）

 1 """
 2 获取全球疫情数据
 3 """
 4 def get_world_data():
 5     url='https://api.inews.qq.com/newsqa/v1/automation/foreign/country/ranklist'
 6     headers={'user-agent': 'WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'}
 7     # 创建会话对象
 8     # session = requests.session()
 9     # 请求接口
10     # result = session.get('https://api.inews.qq.com/newsqa/v1/automation/foreign/country/ranklist')
11     # 打印结果
12     # print(result.text)
13     res = requests.get(url, headers=headers)
14     # print(res.text)
15     response_data_0 = json.loads(res.text.replace('jQuery34102848205531413024_1584924641755(', '')[:-1])  #转化json对象
16     # print(response_data_0.keys())
17     # print(response_data_0)
18     response_data_1=response_data_0['data']
19     # print(response_data_1)
20     # print(response_data_1[0].keys())
21     # data = jsonpath.jsonpath(resJson_1, '$.data.*')
22     # print(resJson_1.keys())
23     # for d in data:
24     #     res = '日期:' + d['date'] + '--' + d['continent'] + '--' + d['name'] + '--' + '新增确诊:' + str(
25     #         d['confirmAdd']) + '累计确诊:' + str(d['confirm']) + '治愈:' + str(d['heal']) + '死亡:' + str(d['dead'])
26         # file = r'C:/Users/Administrator/Desktop/world_data.txt'
27         # with open(file, 'w+', encoding='utf-8') as f:
28         #     f.write(res + '\n')  # 加\n换行显示
29         #     f.close()
30     world={}
31     for i in response_data_1:
32         temp=i['y']+'.'+i['date']
33         tup = time.strptime(temp, '%Y.%m.%d')
34         dt = time.strftime('%Y-%m-%d', tup)  # 改变时间格式，插入数据库 日期
35         # print(ds)
36         c_name=i['name']        #国家
37         continent=i['continent']  #所属大洲
38         nowConfirm=i['nowConfirm']  #现有确诊
39         confirm=i['confirm']        #累计确诊
40         confirmAdd=i['confirmAdd']      #新增确诊
41         suspect=i['suspect']        #现有疑似
42         heal=i['heal']              #累计治愈
43         dead=i['dead']              #累计死亡
44         confirmAddCut=i['confirmAddCut']
45         confirmCompare=i['confirmCompare']
46         nowConfirmCompare=i['nowConfirmCompare']
47         healCompare=i['healCompare']
48         deadCompare=i['deadCompare']
49         world[c_name] = {'dt':dt ,
50                      'continent': continent,
51                      'nowConfirm': nowConfirm,
52                      'confirm': confirm,
53                      'confirmAdd': confirmAdd,
54                      'suspect': suspect,
55                      'heal': heal,
56                      'dead': dead,
57                      'confirmAddCut': confirmAddCut,
58                      'confirmCompare': confirmCompare,
59                      'nowConfirmCompare': nowConfirmCompare,
60                      'healCompare': healCompare,
61                      'deadCompare': deadCompare,
62                      }
63     return world

三、插入数据库

 1 def insert_world():
 2     """
 3     更新 world 表
 4     :return:
 5     """
 6     cursor = None
 7     conn = None
 8     try:
 9         dic = get_world_data()
10         print(dic)
11         conn, cursor = get_conn()
12         sql = "insert into world values(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
13         sql_query = 'select %s=(select dt from world order by id desc limit 1)' #对比当前最大时间戳
14         cursor.execute(sql_query,dic['美国']['dt'])
15         if not cursor.fetchone()[0]:
16             print(f"{time.asctime()}开始插入世界数据")
17             for k, v in dic.items():   # item 格式 {'2021-01-13': {'confirm': 41, 'suspect': 0, 'heal': 0, 'dead': 1}
18                 cursor.execute(sql, [0,v.get('dt'), k, v.get("continent"), v.get("nowConfirm"),
19                             v.get("confirm"), v.get("confirmAdd"),v.get("suspect"),v.get("heal"), v.get("dead")
20                     , v.get("confirmAddCut"), v.get("confirmCompare"), v.get("nowConfirmCompare"), v.get("healCompare"),
21                 v.get("deadCompare")])
22             conn.commit()  # 提交事务
23             print(f"{time.asctime()}插入世界数据完毕")
24         else:
25             print(f"{time.asctime()}世界数据已是最新数据！")
26     except:
27         traceback.print_exc()
28     finally:
29         close_conn(conn, cursor)

总结一下在完成这两个方法的过程中遇到的问题，首先是最基础的问题，数据的类型和格式的转换，这里主要是指json字符串和

Python里对应的数据对象（list和字典）。

（1）一般来讲对我们而言，需要抓取的是某个网站或者某个应用的内容，提取有用的价值。内容一般分为三部分，

结构化的数据、半结构化的数据和非机构化数据。

1.结构化数据：
       可以用统一的结构加以表示的数据。可以使用关系型数据库表示和存储，表现为二维形式的数据，一般特点是：数据以行为单位，

　　一行数据表示一个实体的信息，每一行的数据的属性是相同的。
2.半结构化数据：
       结构化数据的一种形式，并不符合关系型数据库或其他数据表的形式关联起来的数据模型结构，但包含相关标记，

　　用来分隔语义元素以及对记录和字段进行分层。因此他也被成为自描述的结构。常见的半结构数据有：html，xml和json等、

　　实际上是以树或者图的结构来存储的。
       对于半结构化数据，节点中属性的顺序是不重要的，不同的半结构化数据的属性的个数是不一样的。这样的数据格式，

　　可以自由的表达很多有用的信息，

　　包含自描述信息。所以半结构化数据的扩展性很好，特别适合于在互联网中大规模传播。
3.非结构化数据

　　就是没有固定的结构。各种文档，图片，视频或者音频都属于非结构化数据。对于这类数据，我们一般直接整体进行存储，而且一般存储为二进制形式。

原文链接：https://blog.csdn.net/weixin_44540951/article/details/102806739

json数据

json（JavaScript Object Notation，JS对象标记）是一种轻量级的数据交换格式。

基于ECMAScript（w3c制定的JS规范）的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。

简洁和清晰的层次结构使得JSON成为理想的数据交换语言。

特点：易于阅读、易于机器生成、有效提升网络速度。

JSON语法规则：

在JS语言中，一切都是对象。因此，任何支持的类型都可以通过json来表示。

例如字符串、数字，对象，数组。
Js中对象和数组是比较特殊并且常用的两种类型：
       1、对象表示为键值对{name:’zhangsan’,age:’7’}
       2、数据有逗号分隔[1,2,3,4,5]
       3、花括号保存对象
       4、方括号保存数组。
js的对象就相当于python中的字典
js的数组就相当于Python中的列表
       因为json用来存储js的对象或者数组，所以在Python中我们可以将json转化为list或者dict。

解析json的包json：
       json.dumps(python的list或者dict)---->（返回值）---->json字符串。
       json.loads(json字符串)------>（返回值）----->python的list或者dict.

       json.dump(list/dict,fp)—>list，或者字典保存到json文件中。
       json.load(fp)—>list/dict:从json文件中读出json数据。

json键值对是用来保存js对象的一种方式，和js对象的写法页大同小异，比如：
　　{“firstName”:“Json”,“Class”:“aid1111”}等价于下面这条js语句：{firstName:“Json”，Class：“aid1111”}。
       很多人搞不清楚json和js对象的关系，甚至谁是谁都不清楚。其实可以这么理解：

　　【JSON是JS对象的字符串表达式，他使用文本形式表示一个JS对象的信息，本质是一个字符串。】
        如var obj = {a:“hello”,b:“World”}这是一个js对象。注意，键名也是可以用引号包裹的var json = ’ {“a”:“hello”,“b”:“World”}'这是一个json字符串，本质上是一个字符串。
       JSON作为数据包格式传输的时候具有更高的效率，这是因为JSON不想xml那样具有严格的闭合标签，这就让有效数据量与总数据包比大大提升，从而减少同等数据流量的情况下，网络的传输的压力大大减低。

---

之前写过一篇关于爬取中国疫情数据的博客文章，那里爬取的每日疫情数据和全球爬取的疫情数据格式有一点点不同：

这是中国的疫情数据，注意箭头指的地方，这里的data对应的key是字典

这是全球疫情，注意这里data对应的是list

数据的格式非常重要，因为在后续需要把网页爬取的数据接受之后，还要把数据导入数据库，所以中间数据的格式必须清楚，

比如list类型的可以通过下标去访问，而字典只可以通过name来访问，字典是不提供索引的，所以不可以通过下标访问。还

有就是数据库里的日期格式一定要注意转换再插入。

---

四、总结一下爬取数据的步骤：

（1）首先需要导入需要的包：

1 import requests
2 import pymysql
3 import time
4 import json
5 import traceback

（2）通过request向被爬取网站的url发起一个请求（如果网站有反爬取手段，需要在请求里加上headers）

获取headers：

到指定网站，浏览器按F12，之后在网络那一个选项里可以看到。

（3）获取和解析数据

1  url='https://api.inews.qq.com/newsqa/v1/automation/foreign/country/ranklist'
2  headers={'user-agent': 'WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'}
3
4  res = requests.get(url, headers=headers)
5     # print(res.text)
6  response_data_0 = json.loads(res.text.replace('jQuery34102848205531413024_1584924641755(', '')[:-1])  #转化json对象

这里进行了第一步解析，通过json.loads( ) 方法把从网页获取的json字符串数据转化成Python对应的list或者字典。

如果第一步解析之后data对应的value不是list，那么可以进行第二次解析，本次操作中，世界疫情数据的data对

应的数据是一个list，所以也就不需要进行第二次转化，可以直接通过list的下标去访问。

数据转化是必要的，在网络中json字符串传递小巧安全速度快，但是我们读取数据，如果直接对字符串进行操作

会非常不方便，所以我们需要解析json字符串，也就是通过json.loads(）方法把字符串转化成Python对应的list或

者字典对象，这样我们访问操作这些数据会变得简单。

Tomorrow the birds will sing.