Python网络爬虫数据解析的三种方式
request实现数据爬取的流程：
- 指定url
- 基于request发起请求
- 获取响应的数据
- 数据解析
- 持久化存储
1.正则解析：
- 常用的正则回顾：https://www.cnblogs.com/wqzn/p/9489313.html
单字符：
. : 除换行以外所有字符
[] ：[aoe] [a-w] 匹配集合中任意一个字符
\d ：数字 [-]
\D : 非数字
\w ：数字、字母、下划线、中文
\W : 非\w
\s ：所有的空白字符包,括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。
\S : 非空白
数量修饰：
* : 任意多次 >=
+ : 至少1次 >=
? : 可有可无 0次或者1次
{m} ：固定m次 hello{,}
{m,} ：至少m次
{m,n} ：m-n次
边界：
$ : 以某某结尾
^ : 以某某开头
分组：
(ab)
贪婪模式： .*
非贪婪（惰性）模式： .*? re.I : 忽略大小写
re.M ：多行匹配
re.S ：单行匹配 re.sub(正则表达式, 替换内容, 字符串)
案例：爬去糗事百科糗图图片
# 正则解析
import requests
import re
import urllib
import os url = 'https://www.qiushibaike.com/pic/page/%d/?s=5170627'
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36"
}
if not os.path.exists('./img'):
os.mkdir("./img") start_page = int(input("请输入开始页"))
end_page = int(input("请输入结束页"))
for page in range(start_page,end_page+):
new_url = format(url%page) page_text = requests.get(url=new_url,headers=headers).text
# img_url_list = re.findall("<div class="thumb">.*?<img src="(.*?)" alt=.*?</div>",page_text,re.S)
img_url_list = re.findall('<div class="thumb">.*?<img src="(.*?)" alt=.*?</div>',page_text,re.S)
for img_url in img_url_list:
img_url = 'https:'+img_url
imgName =img_url.split("/")[-]
imgPath = 'qiutu/'+imgName
urllib.request.urlretrieve(url=img_url,filename=imgPath)
print("imgPath",'下载完成') print("over")
2.BeautifulSoup解析
使用流程：
-导包：from bs4 import BeautifulSoup
-使用方法：将html文件，转化成beautiful soup对象，然后通过对象的方法或者属性去查找指定内容的节点。
（）转化本地文件：
soup = BeautifulSoup(open('本地文件')，‘lxml’)
（2） 转化网络文件：
soup = BeautifulSoup('字符串类型或者字节类型', 'lxml')
（） 打印soup对象显示内容为html文件中的内容 基础：
1.根据标签名查找
soup.a 只能找到第一个符合要求的标签
2.获取属性
soup.a.attrs 获取a所有的属性和属性值，返回一个字典
soup.a.attrs['href'] 获取href属性
soup.a['href'] 也可以这样简写
3.获取内容
soup.a.string
soup.a.text
soup.a.get_text()
【备注】如果标签还有标签，呢么string获取的内容是空，而其他两个可以获取文本内容。
4.find: 找到符合第一个符合要求的标签。
soup.find('a')找到第一个符合要求的
soup.find('a',title='xxx')
soup.find('a',id='xxx')
soup.find('a',class='xxx')
soup.find('a',alt='xxx')
5.find_all:找到符合所有符合要求的标签
soup.find_all('a')
soup.find_all(['a','b'])找到所有的a和b标签。
soup.find_all('a',limit=2)限制前两个
6.根据选择器选择指定的内容
soup.select("#ID')
常见的选择器：标签选择器(a)，类选择器(.)，ID选择器(#)，层级选择器
层级选择器：
div .dudu#lala .meme .xixi 下面好多级
div >p >a > .lalala 只能是下面一级
【注意】select选择器返回的永远是列表，需要通过下标来指定对象。
案例：使用bs4实现将诗词名句网站中三国演义小说的每一章的内容爬去到本地磁盘进行存储 http://www.shicimingju.com/book/sanguoyanyi.html
import requests
from bs4 import BeautifulSoup url = 'http://www.shicimingju.com/book/sanguoyanyi.html'
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'
}
page_text = requests.get(url=url,headers=headers).text soup = BeautifulSoup(page_text,'lxml') a_list = soup.select('.book-mulu > ul > li > a') fp = open('sanguo.txt','w',encoding='utf-8')
for a in a_list:
title = a.string
detail_url = 'http://www.shicimingju.com'+a['href']
detail_page_text = requests.get(url=detail_url,headers=headers).text soup = BeautifulSoup(detail_page_text,'lxml')
content = soup.find('div',class_='chapter_content').text fp.write(title+'\n'+content)
print(title,'下载完毕')
print('over')
fp.close()
3.Xpath解析
素材：
<html lang="en">
<head>
<meta charset="UTF-8" />
<title>测试bs4</title>
</head>
<body>
<div>
<p>百里守约</p>
</div>
<div class="song">
<p>李清照</p>
<p>王安石</p>
<p>苏轼</p>
<p>柳宗元</p>
<a href="http://www.song.com/" title="赵匡胤" target="_self">
<span>this is span</span>
宋朝是最强大的王朝，不是军队的强大，而是经济很强大，国民都很有钱</a>
<a href="" class="du">总为浮云能蔽日,长安不见使人愁</a>
<img src="http://www.baidu.com/meinv.jpg" alt="" />
</div>
<div class="tang">
<ul>
<li><a href="http://www.baidu.com" title="qing">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></li>
<li><a href="http://www.163.com" title="qin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a></li>
<li><a href="http://www.126.com" alt="qi">岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a></li>
<li><a href="http://www.sina.com" class="du">杜甫</a></li>
<li><a href="http://www.dudu.com" class="du">杜牧</a></li>
<li><b>杜小月</b></li>
<li><i>度蜜月</i></li>
<li><a href="http://www.haha.com" id="feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a></li>
</ul>
</div>
</body>
</html>
常见的Xpath的表达式
属性定位：
#找到class属性值为song的div标签
//div[@class='song']
层级个索引定位：
#找到class属性值为tang的div的直系子标签ul下的第二个子标签li下的直系子标签a
//div[@class='tang']/ul/li[2]/a
逻辑运算：
#找到href属性值为空且class属性值为du的a标签
//a[@href='' and @class='du']
模糊匹配
//div[contains(@class,'ng')]
//div[start_with(@class, 'tang')]
取文本
#表示获取某个标签下的文本内容
//div[@class='song']/p[1]/text()
#表示获取某个标签下的文本内容和所有子标签的文本内容
//div[@class='tang']//text() 取属性：
//div[@class='tang']//li[2]/a@href
.下载：pip install lxml
.导包：from lxml import etree .将html文档或者xml文档转换成一个etree对象，然后调用对象中的方法查找指定的节点 2.1 本地文件：tree = etree.parse(文件名)
tree.xpath("xpath表达式") 2.2 网络数据：tree = etree.HTML(网页内容字符串)
tree.xpath("xpath表达式")
安装xpath插件在浏览器中对xpath表达式进行验证：可以在插件中直接执行xpath表达式
将xpath插件拖动到谷歌浏览器拓展程序（更多工具）中，安装成功
下载链接：https://pan.baidu.com/s/1Z4PDniPyBZu-cPLSByVsaQ
Python网络爬虫数据解析的三种方式的更多相关文章
- python网络爬虫数据中的三种数据解析方式
一.正则解析 常用正则表达式回顾: 单字符: . : 除换行以外所有字符 [] :[aoe] [a-w] 匹配集合中任意一个字符 \d :数字 [0-9] \D : 非数字 \w :数字.字母.下划线 ...
- python网络爬虫之解析网页的BeautifulSoup(爬取电影图片)[三]
目录 前言 一.BeautifulSoup的基本语法 二.爬取网页图片 扩展学习 后记 前言 本章同样是解析一个网页的结构信息 在上章内容中(python网络爬虫之解析网页的正则表达式(爬取4k动漫图 ...
- 命令行运行Python脚本时传入参数的三种方式
原文链接:命令行运行Python脚本时传入参数的三种方式(原文的几处错误在此已纠正) 如果在运行python脚本时需要传入一些参数,例如gpus与batch_size,可以使用如下三种方式. pyth ...
- PHP中数据类型转换的三种方式
PHP中数据类型转换的三种方式 PHP的数据类型转换属于强制转换,允许转换的PHP数据类型有: 1.(int).(integer):转换成整形2.(float).(double).(real):转换成 ...
- python网络爬虫之解析网页的正则表达式(爬取4k动漫图片)[三]
前言 hello,大家好 本章可是一个重中之重,因为我们今天是要爬取一个图片而不是一个网页或是一个json 所以我们也就不用用到selenium模块了,当然有兴趣的同学也一样可以使用selenium去 ...
- 070.Python聚焦爬虫数据解析
一 聚焦爬虫数据解析 1.1 基本介绍 聚焦爬虫的编码流程 指定url 基于requests模块发起请求 获取响应对象中的数据 数据解析 进行持久化存储 如何实现数据解析 三种数据解析方式 正则表达式 ...
- python 中增加css样式的三种方式
增加css样式的三种方式: <!DOCTYPE html> <html lang="en"> <head> <meta charset=& ...
- Python基础之格式化输出的三种方式
目录 1. 格式化输出的三种方式 1.1 占位符 1.2 format格式化 1.3 f-string格式化 1. 格式化输出的三种方式 在程序中,需要将输出信息打印成固定的格式,这时候就需要格式化输 ...
- python爬虫数据解析的四种不同选择器Xpath，Beautiful Soup，pyquery，re
这里主要是做一个关于数据爬取以后的数据解析功能的整合,方便查阅,以防混淆 主要讲到的技术有Xpath,BeautifulSoup,PyQuery,re(正则) 首先举出两个作示例的代码,方便后面举例 ...
随机推荐
- 硬件-硬盘-SSD（固态硬盘）：百科
ylbtech-硬件-硬盘-SSD(固态硬盘):百科 固态驱动器(Solid State Disk或Solid State Drive,简称SSD),俗称固态硬盘,固态硬盘是用固态电子存储芯片阵列而制 ...
- oauth2.0协议原理
OAuth的授权不会使用第三方触及到用户的帐号信息(如用户密码),即第三方无需使用用户的用户名与密码就可以申请获得该用户资源的授权,因此OAuth是安全的. OAuth的作用:就是让“客户端”安全可控 ...
- 阶段3 1.Mybatis_12.Mybatis注解开发_5 mybatis注解建立实体类属性和数据库表中列的对应关系
创建新项目,一对多 复制刚才关闭的项目的文件 复制到们的新项目里面 复制包的依赖 删减相关代码.只保留这三个查询的方法 模糊查询改成传统的占位符的方式 之前是可以自定义实体类的属性字段,和数据库的字典 ...
- Dataframe的索引问题
1 两个Dataframe相加时,一定要注意索引是否对应再相加,利用这个特点有时可以先用set_index()将某些列置为索引列,再进行相加. import pandas as pd df1 = pd ...
- sql语句exists 用法
参考:SQL语句exists用法,Sql语句中IN和exists的区别及应用 现在有三张表 学生表S: sno ,sname 课程表C:cno ,cname 学生选课表SC: sno ,cno 查询选 ...
- 【Java安全】关于Java中常用加密/解密方法的实现
安全问题已经成为一个越来越重要的问题,在Java中如何对重要数据进行加密解密是本文的主要内容. 一.常用的加密/解密算法 1.Base64 严格来说Base64并不是一种加密/解密算法,而是一种编码方 ...
- javascript 访问 webservice
xml: <?xml version="1.0" encoding="UTF-8"?> <boolean xmlns="http:/ ...
- Cocos2d-X网络编程(1) 网络基本概念
网络模型 OSI层模型.TCP/IP的层模型如下所示. TCP/IP各层对应的协议如下所示. 通过初步的了解,我知道: IP协议:对应于网络层,是网络层的协议, TCP协议:对应于传输层,是传输层的协 ...
- python基础--函数1
# 一,为什么使用函数 # 1,可以使代码的组织结构清晰,可读性好 # 2,遇到重复的问题可以直接调用函数 # 3,功能扩展时,可直接修改,而无需每处都进行修改. # 二,函数为何物 # 函数对程序员 ...
- 56 道高频 JavaScript 与 ES6+ 的面试题及答案
56 道高频 JavaScript 与 ES6+ 的面试题及答案 :https://segmentfault.com/a/1190000020082089?utm_source=weekly& ...