Python爬虫之 正则表达式和re模块
什么是正则表达式:
通俗理解:按照一定的规则,从某个字符串中匹配出想要的数据。这个规则就是正则表达式。
标准答案:https://baike.baidu.com/item/正则表达式/1700215?fr=aladdin
一个段子:
世界是分为两种人,一种是懂正则表达式的,一种是不懂正则表达式的。
正则表达式常用匹配规则:
匹配某个字符串:
text = 'hello'
ret = re.match('he',text)
print(ret.group())
>> he
以上便可以在hello
中,匹配出he
。
点(.)匹配任意的字符:
text = "ab"
ret = re.match('.',text)
print(ret.group())
>> a
但是点(.)不能匹配不到换行符。示例代码如下:
text = "ab"
ret = re.match('.',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'
\d匹配任意的数字:
text = "123"
ret = re.match('\d',text)
print(ret.group())
>> 1
\D匹配任意的非数字:
text = "a"
ret = re.match('\D',text)
print(ret.group())
>> a
而如果text是等于一个数字,那么就匹配不成功了。示例代码如下:
text = "1"
ret = re.match('\D',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'
\s匹配的是空白字符(包括:\n,\t,\r和空格):
text = "\t"
ret = re.match('\s',text)
print(ret.group())
>> 空白
\w匹配的是a-z
和A-Z
以及数字和下划线:
text = "_"
ret = re.match('\w',text)
print(ret.group())
>> _
而如果要匹配一个其他的字符,那么就匹配不到。示例代码如下:
text = "+"
ret = re.match('\w',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute
\W匹配的是和\w相反的:
text = "+"
ret = re.match('\W',text)
print(ret.group())
>> +
而如果你的text是一个下划线或者英文字符,那么就匹配不到了。示例代码如下:
text = "_"
ret = re.match('\W',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute
[]组合的方式,只要满足中括号中的某一项都算匹配成功:
text = "0731-88888888"
ret = re.match('[\d\-]+',text)
print(ret.group())
>> 0731-88888888
之前讲到的几种匹配规则,其实可以使用中括号的形式来进行替代:
- \d:[0-9]
- \D:0-9
- \w:[0-9a-zA-Z_]
- \W:[^0-9a-zA-Z_]
匹配多个字符:
*
:可以匹配0或者任意多个字符。示例代码如下:text = "0731"
ret = re.match('\d*',text)
print(ret.group())
>> 0731
以上因为匹配的要求是
\d
,那么就要求是数字,后面跟了一个星号,就可以匹配到0731这四个字符。+
:可以匹配1个或者多个字符。最少一个。示例代码如下:text = "abc"
ret = re.match('\w+',text)
print(ret.group())
>> abc
因为匹配的是
\w
,那么就要求是英文字符,后面跟了一个加号,意味着最少要有一个满足\w
的字符才能够匹配到。如果text是一个空白字符或者是一个不满足\w的字符,那么就会报错。示例代码如下:text = ""
ret = re.match('\w+',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute
?
:匹配的字符可以出现一次或者不出现(0或者1)。示例代码如下:text = "123"
ret = re.match('\d?',text)
print(ret.group())
>> 1
{m}
:匹配m个字符。示例代码如下:text = "123"
ret = re.match('\d{2}',text)
print(ret.group())
>> 12
{m,n}
:匹配m-n个字符。在这中间的字符都可以匹配到。示例代码如下:text = "123"
ret = re.match('\d{1,2}',text)
prit(ret.group())
>> 12
如果text只有一个字符,那么也可以匹配出来。示例代码如下:
text = "1"
ret = re.match('\d{1,2}',text)
prit(ret.group())
>> 1
小案例:
验证手机号码:手机号码的规则是以
1
开头,第二位可以是34587
,后面那9位就可以随意了。示例代码如下:text = "18570631587"
ret = re.match('1[34587]\d{9}',text)
print(ret.group())
>> 18570631587
而如果是个不满足条件的手机号码。那么就匹配不到了。示例代码如下:
text = "1857063158"
ret = re.match('1[34587]\d{9}',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute
验证邮箱:邮箱的规则是邮箱名称是用
数字、数字、下划线
组成的,然后是@
符号,后面就是域名了。示例代码如下:text = "hynever@163.com"
ret = re.match('\w+@\w+\.[a-zA-Z\.]+',text)
print(ret.group())
验证URL:URL的规则是前面是
http
或者https
或者是ftp
然后再加上一个冒号,再加上一个斜杠,再后面就是可以出现任意非空白字符了。示例代码如下:text = "http://www.baidu.com/"
ret = re.match('(http|https|ftp)://[^\s]+',text)
print(ret.group())
验证身份证:身份证的规则是,总共有18位,前面17位都是数字,后面一位可以是数字,也可以是小写的x,也可以是大写的X。示例代码如下:
text = "3113111890812323X"
ret = re.match('\d{17}[\dxX]',text)
print(ret.group())
^(脱字号):表示以...开始:
text = "hello"
ret = re.match('^h',text)
print(ret.group())
如果是在中括号中,那么代表的是取反操作.
$:表示以...结束:
# 匹配163.com的邮箱
text = "xxx@163.com"
ret = re.search('\w+@163\.com$',text)
print(ret.group())
>> xxx@163.com
|:匹配多个表达式或者字符串:
text = "hello|world"
ret = re.search('hello',text)
print(ret.group())
>> hello
贪婪模式和非贪婪模式:
贪婪模式:正则表达式会匹配尽量多的字符。默认是贪婪模式。
非贪婪模式:正则表达式会尽量少的匹配字符。
示例代码如下:
text = "0123456"
ret = re.match('\d+',text)
print(ret.group())
# 因为默认采用贪婪模式,所以会输出0123456
>> 0123456
可以改成非贪婪模式,那么就只会匹配到0。示例代码如下:
text = "0123456"
ret = re.match('\d+?',text)
print(ret.group())
案例:匹配0-100
之间的数字:
text = '99'
ret = re.match('[1-9]?\d$|100$',text)
print(ret.group())
>> 99
而如果text=101
,那么就会抛出一个异常。示例代码如下:
text = '101'
ret = re.match('[1-9]?\d$|100$',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'
转义字符和原生字符串:
在正则表达式中,有些字符是有特殊意义的字符。因此如果想要匹配这些字符,那么就必须使用反斜杠进行转义。比如$
代表的是以...结尾,如果想要匹配$
,那么就必须使用\$
。示例代码如下:
text = "apple price is \$99,orange paice is $88"
ret = re.search('\$(\d+)',text)
print(ret.group())
>> $99
原生字符串:
在正则表达式中,\
是专门用来做转义的。在Python中\
也是用来做转义的。因此如果想要在普通的字符串中匹配出\
,那么要给出四个\
。示例代码如下:
text = "apple \c"
ret = re.search('\\\\c',text)
print(ret.group())
因此要使用原生字符串就可以解决这个问题:
text = "apple \c"
ret = re.search(r'\\c',text)
print(ret.group())
re模块中常用函数:
match:
从开始的位置进行匹配。如果开始的位置没有匹配到。就直接失败了。示例代码如下:
text = 'hello'
ret = re.match('h',text)
print(ret.group())
>> h
如果第一个字母不是h
,那么就会失败。示例代码如下:
text = 'ahello'
ret = re.match('h',text)
print(ret.group())
>> AttributeError: 'NoneType' object has no attribute 'group'
如果想要匹配换行的数据,那么就要传入一个flag=re.DOTALL
,就可以匹配换行符了。示例代码如下:
text = "abc\nabc"
ret = re.match('abc.*abc',text,re.DOTALL)
print(ret.group())
search:
在字符串中找满足条件的字符。如果找到,就返回。说白了,就是只会找到第一个满足条件的。
text = 'apple price $99 orange price $88'
ret = re.search('\d+',text)
print(ret.group())
>> 99
分组:
在正则表达式中,可以对过滤到的字符串进行分组。分组使用圆括号的方式。
group
:和group(0)
是等价的,返回的是整个满足条件的字符串。groups
:返回的是里面的子组。索引从1开始。group(1)
:返回的是第一个子组,可以传入多个。
示例代码如下:
text = "apple price is $99,orange price is $10"
ret = re.search(r".*(\$\d+).*(\$\d+)",text)
print(ret.group())
print(ret.group(0))
print(ret.group(1))
print(ret.group(2))
print(ret.groups())
findall:
找出所有满足条件的,返回的是一个列表。
text = 'apple price $99 orange price $88'
ret = re.findall('\d+',text)
print(ret)
>> ['99', '88']
sub:
用来替换字符串。将匹配到的字符串替换为其他字符串。
text = 'apple price $99 orange price $88'
ret = re.sub('\d+','0',text)
print(ret)
>> apple price $0 orange price $0
sub
函数的案例,获取拉勾网中的数据:
html = """
<div>
<p>基本要求:</p>
<p>1、精通HTML5、CSS3、 JavaScript等Web前端开发技术,对html5页面适配充分了解,熟悉不同浏览器间的差异,熟练写出兼容各种浏览器的代码;</p>
<p>2、熟悉运用常见JS开发框架,如JQuery、vue、angular,能快速高效实现各种交互效果;</p>
<p>3、熟悉编写能够自动适应HTML5界面,能让网页格式自动适应各款各大小的手机;</p>
<p>4、利用HTML5相关技术开发移动平台、PC终端的前端页面,实现HTML5模板化;</p>
<p>5、熟悉手机端和PC端web实现的差异,有移动平台web前端开发经验,了解移动互联网产品和行业,有在Android,iOS等平台下HTML5+CSS+JavaScript(或移动JS框架)开发经验者优先考虑;6、良好的沟通能力和团队协作精神,对移动互联网行业有浓厚兴趣,有较强的研究能力和学习能力;</p>
<p>7、能够承担公司前端培训工作,对公司各业务线的前端(HTML5\CSS3)工作进行支撑和指导。</p>
<p><br></p>
<p>岗位职责:</p>
<p>1、利用html5及相关技术开发移动平台、微信、APP等前端页面,各类交互的实现;</p>
<p>2、持续的优化前端体验和页面响应速度,并保证兼容性和执行效率;</p>
<p>3、根据产品需求,分析并给出最优的页面前端结构解决方案;</p>
<p>4、协助后台及客户端开发人员完成功能开发和调试;</p>
<p>5、移动端主流浏览器的适配、移动端界面自适应研发。</p>
</div>
"""
ret = re.sub('</?[a-zA-Z0-9]+>',"",html)
print(ret)
split:
使用正则表达式来分割字符串。
text = "hello world ni hao"
ret = re.split('\W',text)
print(ret)
>> ["hello","world","ni","hao"]
compile:
对于一些经常要用到的正则表达式,可以使用compile
进行编译,后期再使用的时候可以直接拿过来用,执行效率会更快。而且compile
还可以指定flag=re.VERBOSE
,在写正则表达式的时候可以做好注释。示例代码如下:
text = "the number is 20.50"
r = re.compile(r"""
\d+ # 小数点前面的数字
\.? # 小数点
\d* # 小数点后面的数字
""",re.VERBOSE)
ret = re.search(r,text)
print(ret.group())
Python爬虫之 正则表达式和re模块的更多相关文章
- 【Python爬虫】正则表达式与re模块
正则表达式与re模块 阅读目录 在线正则表达式测试 常见匹配模式 re.match re.search re.findall re.compile 实战练习 在线正则表达式测试 http://tool ...
- python爬虫主要就是五个模块:爬虫启动入口模块,URL管理器存放已经爬虫的URL和待爬虫URL列表,html下载器,html解析器,html输出器 同时可以掌握到urllib2的使用、bs4(BeautifulSoup)页面解析器、re正则表达式、urlparse、python基础知识回顾(set集合操作)等相关内容。
本次python爬虫百步百科,里面详细分析了爬虫的步骤,对每一步代码都有详细的注释说明,可通过本案例掌握python爬虫的特点: 1.爬虫调度入口(crawler_main.py) # coding: ...
- 玩转python爬虫之正则表达式
玩转python爬虫之正则表达式 这篇文章主要介绍了python爬虫的正则表达式,正则表达式在Python爬虫是必不可少的神兵利器,本文整理了Python中的正则表达式的相关内容,感兴趣的小伙伴们可以 ...
- python爬虫网页解析之lxml模块
08.06自我总结 python爬虫网页解析之lxml模块 一.模块的安装 windows系统下的安装: 方法一:pip3 install lxml 方法二:下载对应系统版本的wheel文件:http ...
- python爬虫网页解析之parsel模块
08.06自我总结 python爬虫网页解析之parsel模块 一.parsel模块安装 官网链接https://pypi.org/project/parsel/1.0.2/ pip install ...
- python模块 re模块与python中运用正则表达式的特点 模块知识详解
1.re模块和基础方法 2.在python中使用正则表达式的特点和问题 3.使用正则表达式的技巧 4.简单爬虫例子 一.re模块 模块引入; import re 相关知识: 1.查找: (1)find ...
- python爬虫解析库之re模块
re模块 一:什么是正则? 正则就是用一些具有特殊含义的符号组合到一起(称为正则表达式)来描述字符或者字符串的方法.或者说:正则就是用来描述一类事物的规则.(在Python中)它内嵌在Python中, ...
- python基础之正则表达式和re模块
正则表达式 就其本质而言,正则表达式(或 re)是一种小型的.高度专业化的编程语言,(在Python中)它内嵌在Python中,并通过 re 模块实现.正则表达式模式被编译成一系列的字节码,然后由用 ...
- python 爬虫之-- 正则表达式
正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配. 正则表达式非python独有,python 提供了正则表达式的接口,re模块 一.正则匹配字符简介 模式 描述 \d ...
随机推荐
- 测试工程师Docker基础
一.docker概述 1.docker为什么会出现 本质:所有技术的出现都是因为出现了一些问题,我们需要去解决,才去研究和学习: 问题: 开发环境.测试环境.仿真环境.正式环境等诸多环境都需要进行 ...
- Flask面试问题
1,什么是Flask,有什么优点?概念解释Flask是一个Web框架,就是提供一个工具,库和技术来允许你构建一个Web应用程序.这个Web应用程序可以是一些Web页面,博客,wiki,基于Web的日里 ...
- 从RocketMQ的Broker源码层面验证一下这两个点
本篇博客会从源码层面,验证在RocketMQ基础概念剖析,并分析一下Producer的底层源码中提到的结论,分别是: Broker在启动时,会将自己注册到所有的NameServer上 Broker在启 ...
- 扩展欧几里得算法(EXGCD)学习笔记
0.前言 相信大家对于欧几里得算法都已经很熟悉了.再学习数论的过程中,我们会用到扩展欧几里得算法(exgcd),大家一定也了解过.这是本蒟蒻在学习扩展欧几里得算法过程中的思考与探索过程. 1.Bézo ...
- C++如何解析函数调用
C语言是一个简单的语言.用户针对每一个函数,只能设置一个唯一的函数签名.但是C++而言,就给了我们很多的灵活性: 你可以将多个函数设置为相同的名字(overloading) 你可以使用内置操作符重载( ...
- python中gzip模块的使用
gzip模块能够直接压缩和解压缩bytes-like类型的数据,同时也能实现对应格式文件的压缩与解压缩 一.数据压缩与解压缩 压缩 函数-gzip.compress(data, compresslev ...
- 带你全面认识CMMI V2.0(五)——改进
改进(Improving)涉及开发.管理和改进过程及其相关资产,其主要重点是提高组织绩效.保持习惯和持久性可确保过程在整个组织中是持久.习惯性地执行和维持,并有助于有效地实现业务绩效目标.治理(GOV ...
- 201871030134-余宝鹏 实验三 结对项目—《D{0-1}KP 实例数据集算法实验平台》项目报告
项目 内容 课程班级博客链接 班级博客 这个作业要求链接 作业要求 我的课程学习目标 1.体验软件项目开发中的两人合作,练习结对编程(Pair programming) 2.掌握GitHub协作开发程 ...
- BUAA_2021_SE_READING_#1
项目 内容 这个作业属于哪个课程 2021春季软件工程(罗杰 任健) 这个作业的要求在哪里 个人阅读作业#1 我在这个课程的目标是 通过课程学习,完成第一个可以称之为"软件"的项目 ...
- Ray Tracing in one Weekend 阅读笔记
目录 一.创建Ray类,实现背景 二.加入一个球 三.让球的颜色和其法线信息相关 四.多种形状,多个碰撞体 五.封装相机类 六.抗锯齿 七.漫发射 八.抽象出材料类(编写metal类) 九.介质材料( ...