Python爬虫系统化学习(3)
一般来说当我们爬取网页的整个源代码后,是需要对网页进行解析的。
正常的解析方法有三种
①:正则匹配解析
②:BeatuifulSoup解析
③:lxml解析
正则匹配解析:
在之前的学习中,我们学习过爬虫的基本用法,比如/s,/d,/w,*,+,?等用法,但是在对爬取到的网页进行解析的时候,仅仅会这些基础的用法,是不够用的,因此我们需要了解Python中正则匹配的经典函数。
re.match:
runoob解释:re.match尝试从字符串的起始位置匹配一个模式,如果不是起始位置匹配成功的话,match就会返回none,如果匹配成功,re.match就会返回一个匹配的对象,否则也为null.查看匹配返回的对象要使用group函数的方法。
语法:
re.match(pattern,string,flags=0)
解释:pattern是匹配的正则表达式,string是所要匹配的字符,而flags是标志位,用于匹配区分是否大小写,多行匹配等。具体用法如下列表格:
修饰符 | 描述 |
---|---|
re.I | 使得匹配对大小写不敏感 |
re.M | 多行匹配,影响^和$ |
re.S | 使得.匹配包括换行在内的所有字符(正常情况下.不匹配换行符,这个行为很危险,容易被黑客利用绕过) |
re.U | 根据Unicode字符集解析字符,这个标志影响\w,\W,\b,\B |
代码案例:
#!/usr/bin/python
#coding:utf-8
import re
line="Anyone who dreams there gets"
match=re.match(r'(.*) dreams (.*?).*',line,re.M|re.I)
#match1=re.match(r'(.*) Dreams (.*?)',line,re.M)#大小写敏感,匹配会失败
match2=re.match(r'(.*) Dreams (.*?).*',line,re.M|re.I)#非贪婪模式
match3=re.match(r'(.*) Dreams (.*).*',line, re.M|re.I)#贪婪模式
print(match.group())
#print(match1.group())
print(match2.group())
print("match 0:",match.group(0))#Anyone who dreams there gets
print("match 1:",match.group(1))#Anyone who
print("match 2:",match.group(2))#' '
print("match2 0:",match2.group(0))#Anyone who dreams there gets
print("match2 1:",match2.group(1))#Anyone who
print("match2 2:",match2.group(2))#' '
print("match3 0:",match3.group(0))#Anyone who dreams there gets
print("match3 1:",match3.group(1))#Anyone who
print("match3 2:",match3.group(2))#there gets
可以看到(.*?)非贪婪模式会匹配空格,并且放入group(2),默认group()==group(0)位匹配的整句话,而groups()函数会把匹配的结果放到一个列表里。对匹配返回的结果比如match,我们可以使用start(),end(),span(),来查看开始,结束的位置。
正则匹配字符串r'(.*)'的r代表raw string,代表匹配纯粹的字符串,使用它就不会对反引号里的反斜杠进行特殊处理,比如换行符\n不会进行转义。因此我们可以了解下正则匹配中的转义:
在不加r的前提下'\\\\'会被转义,这是因为字符串经过了两次转移,一次是字符串转义,转义成为了'\\',然后进行了正则转义。
如果加了r就会变成'\\',因为以纯粹的字符串进行匹配取消了字符串转义。这就是正则匹配中的转义流程。
re.search
re.search与re.match不同之处在于re.search会扫描整个字符串,并且返回第一个结果,此外re.match并无太大差别,同样可以使用m.span(),m.start(),m.end()来查看起始位置等等
re.findall
在之前的一篇博文:https://www.cnblogs.com/Tianwenfeigong/p/14397771.html
使用到过re.findall函数,用以对bilibili中上传Python教程的Up主进行爬取,从那篇博文中,我们可以看出,re.findall返回的是列表,,对他的数据提取一般先用set()转换为集合的方式会更佳。
在那篇博文中,我还不懂对href进行包含但不选择,因此正则匹配的内容有限,导致正则匹配适用的环境并不多,因此重新爬取新的内容,并且引入一个新的小技巧;
目标:爬取第一个bilibili搜索栏所有的python视频的标题
代码:
#!/usr/bin/python
#coding=utf-8
import requests
import re
link="https://search.bilibili.com/all?keyword=python&from_source=nav_search&spm_id_from=333.851.b_696e7465726e6174696f6e616c486561646572.9"
headers={"User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:85.0) Gecko/20100101 Firefox/85.0'}
r=requests.get(link,headers=headers)
text=r.text
title_list=re.findall('<a title=(.*?) href=.*?>',text)
for i in title_list:
print(i)
重点内容:title_list=re.findall('<a title=(.*?) href=.*?>',text)
第二个.?表示匹配满足条件的结果,第一个(.?)表示对满足条件的结果进行提取
通过这个方式我们就可以提取标题了
BeautifulSoup解析
BeautifulSoup可以从HTML或者XML中提取数据,类似一个工具箱,使用BeautifulSoup时,可以使用一些解析器使得速度快一点呢,目前比较好的的Lxml HTML解析器,使用方法如下:
soup=BeautifulSoup(r.text,"lxml")
BeautifulSoup的本质是复杂的树形结构,对他的对象提取一般有三种方法:
①:遍历文档树,遍历文档树类似于Linux的文件目录,既然是树形结构一定是从上到下的所以第一个节点一定是header,具体方法如下:
#如要获得以<h1>开头的标签,则可以使用
soup.header.h1
#会返回类似于<h1 id="name">CuLin</h1>的内容
#如果要获得div的所有子节点,则可以使用
soup.header.div.contents
#如果要获得div的所有孩子节点,则可以使用
soup.header.div.children
#如果要获得div的子子孙孙节点,则可以使用
soup.header.div.descendants
#如果要获得节点a的父节点,则可以使用
soup.header.div.a.parents
②:搜索文档树:
遍历文档树的局限性很大,一般不是很推荐使用,更多的还是搜索文档树。使用方法很便捷,精髓在find和find_all函数,比如我们要爬取博客文章的标题:
#!/usr/bin/python
#coding:utf-8
import requestss
from bs4 import BeautifulSoup
link="http://www.santostang.com/"
r=requests.get(link)
soup=BeautifulSoup(r.text,"lxml")
#打印第一篇标题
first_title=soup.find("h1",class_="post-title").a.text.strip()
#打印所有文章的
all_title=soup.find_all("h1",class_="post-title")
for i in range(len(all_titile)):
print("No ",i," is ",all_title[i].a.text.strip())
③: CSS选择器:
Css可以作为遍历文档树鼩提取数据,也可以按照搜索文档树的方法去搜索,但是我个人觉得css选择器不如selenium好用,并且使用上很不方便,所以不再赘述
此外lxml解析器重点是xpath,这在selenium也有很好的体现,而xpath的选择我们可以在网页检查中直接检查xpath更为方便。
项目实战
爬取贝壳网站南京房源信息,总房价,平均房价,地点
#coding:utf-8
import requests
import re
from bs4 import BeautifulSoup
link="https://nj.ke.com/ershoufang/pg"
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0","Host":
"nj.ke.com"}
for i in range(1,20):
link_=link+str(i)+'/'
r=requests.get(link_,headers=headers)
soup=BeautifulSoup(r.text,"html.parser")
houst_list=soup.find_all('li',class_='clear')
for house in houst_list:
name=house.find('div',class_='title').a.text.strip()+'\n'
houst_info=house.find('div',class_='houseInfo').text.strip()
houst_info=re.sub('\s+','',houst_info)+'\n'
total_money=str(house.find('div',class_='totalPrice').span.text.strip())+'万'
aver_money=str(house.find('div',class_='unitPrice').span.text.strip())
adderess=house.find('div',class_='positionInfo').a.text.strip()
text_="标题:"+name+"房屋信息:"+houst_info+"总价:"+total_money+' '+aver_money+adderess
with open ('haha.txt',"a+") as f:
f.write(text_)
结果返回一个haha.txt的文本,内容如下:
Python爬虫系统化学习(3)的更多相关文章
- Python爬虫系统化学习(4)
Python爬虫系统化学习(4) 在之前的学习过程中,我们学习了如何爬取页面,对页面进行解析并且提取我们需要的数据. 在通过解析得到我们想要的数据后,最重要的步骤就是保存数据. 一般的数据存储方式有两 ...
- Python爬虫系统化学习(5)
Python爬虫系统化学习(5) 多线程爬虫,在之前的网络编程中,我学习过多线程socket进行单服务器对多客户端的连接,通过使用多线程编程,可以大大提升爬虫的效率. Python多线程爬虫主要由三部 ...
- Python爬虫系统化学习(2)
Python爬虫系统学习(2) 动态网页爬取 当网页使用Javascript时候,很多内容不会出现在HTML源代码中,所以爬取静态页面的技术可能无法使用.因此我们需要用动态网页抓取的两种技术:通过浏览 ...
- Python爬虫系统学习(1)
Python爬虫系统化学习(1) 前言:爬虫的学习对生活中很多事情都很有帮助,比如买房的时候爬取房价,爬取影评之类的,学习爬虫也是在提升对Python的掌握,所以我准备用2-3周的晚上时间,提升自己对 ...
- 一个Python爬虫工程师学习养成记
大数据的时代,网络爬虫已经成为了获取数据的一个重要手段. 但要学习好爬虫并没有那么简单.首先知识点和方向实在是太多了,它关系到了计算机网络.编程基础.前端开发.后端开发.App 开发与逆向.网络安全. ...
- python爬虫专栏学习
知乎的一个讲python的专栏,其中爬虫的几篇文章,偏入门解释,快速看了一遍. 入门 爬虫基本原理:用最简单的代码抓取最基础的网页,展现爬虫的最基本思想,让读者知道爬虫其实是一件非常简单的事情. 爬虫 ...
- Python爬虫的学习经历
在准备学习人工智能之前呢,我看了一下大体的学习纲领.发现排在前面的是PYTHON的基础知识和爬虫相关的知识,再者就是相关的数学算法与金融分析.不过想来也是,如果想进行大量的数据运算与分析,宏大的基础数 ...
- python爬虫scrapy学习之篇二
继上篇<python之urllib2简单解析HTML页面>之后学习使用Python比较有名的爬虫scrapy.网上搜到两篇相应的文档,一篇是较早版本的中文文档Scrapy 0.24 文档, ...
- 【Python爬虫案例学习】下载某图片网站的所有图集
前言 其实很简短就是利用爬虫的第三方库Requests与BeautifulSoup. 其实就几行代码,但希望没有开发基础的人也能一下子看明白,所以大神请绕行. 基本环境配置 python 版本:2.7 ...
随机推荐
- dedecms文章页的上下篇颠倒的问题
dedecms的文章页底下的上下篇,如果按照时间排序的话,最新的一篇应该是最上了,但是底下还是会显示上一篇文章还有,然后下一篇文章没有了,就是颠倒了.如何修改呢. 1.修改include目录下arc. ...
- WPS Excel启用正则表达式
WPS Excel启用正则表达式 新建一个空白表格文件 进入VB编辑器 插入模块 工具-引用-勾选正则表达式 (Microsoft VBScript Regular Express 5.5) 复制代码 ...
- 记angular和asp.net使用grpc进行通信
AspNetCore配置grpc服务端 新建一个Demo项目: GrpcStartup, 目录结构如下图: GrpcStartup.GrpcServices需要安装下面的依赖 <PackageR ...
- A - The Suspects (sars传染)
题意:有m组,0为起点,有0的那一组全是嫌疑人,之后会不断传递到其它组去,问一共有多少人是嫌疑人. Severe acute respiratory syndrome (SARS), an atypi ...
- Codeforces Round #544 (Div. 3) E. K Balanced Teams (DP)
题意:有\(n\)个人,每个人的能力值是\(a_i\),现在你想将这些人分成\(k\)组(没必要全选),但是每组中最高水平和最低水平的人的能力差值必须\(\le 5\),问最多能选多少人. 题解:想了 ...
- C# TCP应用编程一 概述
TCP 是Transmission Control Protocol(传输控制协议)的简称,是TCP/IP 体系中面向连接的运输层协议,在网络中提供全双工的和可靠的服务.一旦通信双方建立了TCP 连接 ...
- net core启动报错Unable to configure HTTPS endpoint. No server certificate was specified
这是因为net core2.1默认使用的https,如果使用Kestrel web服务器的话没有安装证书就会报这个错 其实仔细看他的错误提示,其中有一句叫你执行一个命令安装证书的语句: dotnet ...
- Kubernets二进制安装(14)之flannel之SNAT规则优化
flannel之SNAT规则优化的目的是由于在K8S中的容器内,访问不同宿主机中的容器的资源的时候,日志文件会记录为宿主机的IP地址,而不是记录为容器本身自己的IP地址,建议在不同的宿主机上的容器互访 ...
- Gitlab忘记root用户密码解决办法
一.Gitlab忘记root用户密码,重置用户密码和查看用户ID号方法 1.Gitlab查看用户id号的方法1)方法1:通过api接口查询接口查询地址:http://gitlab的url/api/v ...
- 全局ID生成--雪花算法
分布式ID常见生成策略: 分布式ID生成策略常见的有如下几种: 数据库自增ID. UUID生成. Redis的原子自增方式. 数据库水平拆分,设置初始值和相同的自增步长. 批量申请自增ID. 雪花算法 ...