python爬虫-直播吧

概述

---

这是一个我很喜欢的小网站，想了解这个网站先从爬虫开始，爬取直播吧所有的栏目及内容，再存入数据库。先写个简单点的，后期再不断的优化下。

---

准备阶段

---

• 直播吧网址https://www.zhibo8.cc/，打开我们看到如下界面

---

---

• 进入足球新闻-滚动新闻

• 利用浏览器自带的编码工具按下F12查看，发现在XMR中存在页面的地址，打开之后发现
  

  ---

这个就是当前页面的所有内容，如果能把这里面的内容全部保存下来就完成任务了

---

代码

---

 import pymysql#导入 pymysql
 import requests
 import json
 conn = pymysql.connect(
     host='192.168.88.100',
     port=3306,
     user='root',
     password='',
     database='zhibo8',
     charset='utf8'
 )  # 建立数据库mysql连接

 cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)# 获取游标 默认元组类型
 insert_news_sql = ' insert into news(title, url, hash, publish_time, news_type, from_name) values(%s, %s, %s, %s, %s, %s)'

 response = requests.get("https://m.zhibo8.cc/json/hot/24hours.htm")
 news_list = json.loads(response.text).get('news')
 news_data = ()
 for news in news_list:
     title = news.get('title')
     news_type = news.get('type')
     publish_time = news.get('createtime')
     url = news.get('from_url')
     from_name = news.get('from_name')
     hash_str = hash(title)
     news_data = (title, url, hash_str, publish_time, news_type, from_name)
     cursor.execute(insert_news_sql, news_data)  # 执行语句

 conn.commit()  # 提交
 cursor.close()  # 关闭游标
 conn.close()  # 关闭连接

得到了所有的数据