day34-常见内置模块三(re模块)

re模块

1、什么是正则
　　正则就是用一些具有特殊含义的符号组合到一起（称为正则表达式）来描述字符或者字符串的方法。或者说：正则就是用来描述一类事物的规则。（在Python中）它内嵌在Python中，并通过re模块实现。正则表达式模式被编译成一系列的字节码，然后由用C编写的匹配引擎执行。

元字符　　 匹配内容
\w 　　　　匹配字母（包含中文）或数字或下划线
\W　　　　匹配非字母（包含中文）或数字或下划线
\s 　　　　匹配任意的空白符
\S 　　　　匹配任意非空白符
\d 　　　　匹配数字
\D 　　　　匹配非数字
\A 　　　　从字符串开头匹配
\Z 　　　　匹配字符串的结束
\n 　　　　匹配一个换行符
\t 　　 　　匹配一个制表符
^ 　　 　　匹配字符串的开始
$ 　 　　　匹配字符串的结尾
. 　 　　　 匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。
[...]  　　　 匹配字符组中的字符
[^...]    　　 匹配除了字符组中的字符的所有字符
* 　 　　　 匹配0个或者多个左边的字符。
+ 　    　　 匹配一个或者多个左边的字符。
？　   　　  匹配0个或者1个左边的字符，非贪婪方式。
{n} 　　　   精准匹配n个前面的表达式。
{n,m} 　　  匹配n到m次由前面的正则表达式定义的片段，贪婪方式
a|b 　 　　 匹配a或者b。
() 　    　　 匹配括号内的表达式，也表示一个组

2、匹配模式举例
之前学过的字符串的常用操作：一对一匹配

s1 = 'abcdefg你好'
print(s1.find('你好'))
# 7 返回的是字符串开始的下标

2.1、单个匹配：

import re
1)、\w 和 \W 汉字字母数字下划线
print(re.findall('\w', '你好Tom123!@#$%^&*()-_=+'))
# ['你', '好', 'T', 'o', 'm', '1', '2', '3', '_']
print(re.findall('\W', '你好Tom123!@#$%^&*()-_=+'))
# ['!', '@', '#', '$', '%', '^', '&', '*', '(', ')', '-', '=', '+']

2)、 \s 和 \S  空格、TAB、换行符、回车
print(re.findall('\s','a 1\t\n\r'))
# [' ', '\t', '\n', '\r']
print(re.findall('\S','a 1\t\n\r'))
# ['a', '1']

3）、\d 和 \D 数字
print(re.findall('\d','你好Tom123!@#$%^&*()-_=+'))
# ['1', '2', '3']
print(re.findall('\D','你好Tom123!@#$%^&*()-_=+'))
# ['你', '好', 'T', 'o', 'm', '!', '@', '#', '$', '%', '^', '&', '*', '(', ')', '-', '_', '=', '+']

4）、\A 和 ^ 以什么开头，字符串写在后面
print(re.findall('\Ahel','hello123!@#'))
# ['hel']
print(re.findall('^hello','hello123!@#'))
# ['hello']

5）、\Z 和 $ 以什么结尾，字符串写在前面
print(re.findall('@#\Z','hello123!@#'))
# ['@#']
print(re.findall('!@#$','hello123!@#'))
# ['!@#']

6）、\n 和 \t \r
print(re.findall('\n','h e l \n \t \r 123'))
# ['\n']
print(re.findall('\t','h e l \n \t \r 123'))
# ['\t']
print(re.findall('\r','h e l \n \t \r 123'))
# ['\r']

2.2、重复匹配 . ? * + {m,n} .* .*?

import re
# . 匹配任意字符，除了换行符（re.DOTALL这个参数可以匹配\n）
print(re.findall('a.b','aab a b a1b a*b a.b a\nb'))
# ['aab', 'a b', 'a1b', 'a*b', 'a.b']
print(re.findall('a.b','aab a b a1b a*b a.b a\nb',re.DOTALL))
# ['aab', 'a b', 'a1b', 'a*b', 'a.b', 'a\nb']

# ? 匹配0个或1个左边字符
print(re.findall('a?b','aab aaab abb aabb'))
# ['ab', 'ab', 'ab', 'b', 'ab', 'b']

# * 匹配0个或多个左边字符，满足贪婪匹配
print(re.findall('a*b','aab aaab abb aabb'))
# ['aab', 'aaab', 'ab', 'b', 'aab', 'b']

# + 匹配1个或多个左边字符，满足贪婪匹配
print(re.findall('a+b','ab aab aaab abbb'))
# ['ab', 'aab', 'aaab', 'ab']

# {m,n}  匹配m个至n个左边字符，满足贪婪匹配
print(re.findall('a{2,4}b','ab aab aaab aaaab aaaaab'))
# ['aab', 'aaab', 'aaaab', 'aaaab']

# .* 匹配0个或多个任意非换行字符，贪婪匹配（从头到尾匹配出来），加re.DOTALL就可以匹配换行符
print(re.findall('a.*b','ab aab a*()b a b a\nb'))
# ['ab aab a*()b a b']
print(re.findall('a.*b','ab aab a*()b a b a\nb',re.DOTALL))
# ['ab aab a*()b a b a\nb']

# .*? 匹配0个或多个任意非换行字符，非贪婪匹配（一个一个匹配出来），加re.DOTALL就可以匹配换行符
#这里的?不是0个或1个的意思，而是表示.*模式的非贪婪匹配,re.DOTALL可以匹配换行
print(re.findall('a.*?b','ab aab a*()b aaaab a b a\nb'))
# ['ab', 'aab', 'a*()b', 'aaaab', 'a b']

# []: 括号中可以放任意一个字符,一个中括号代表一个字符
# - 在[]中表示范围,如果想要匹配上- 那么这个-符号不能放在中间，只能放在两边
# ^ 在[]中表示取反的意思.

print(re.findall('a.b', 'a1b a3b aeb a*b arb a_b'))  # ['a1b', 'a3b', 'a4b', 'a*b', 'arb', 'a_b']
print(re.findall('a[abc]b', 'aab abb acb adb afb a_b'))  # ['aab', 'abb', 'acb']
print(re.findall('a[0-9]b', 'a1b a3b aeb a*b arb a_b'))  # ['a1b', 'a3b']
print(re.findall('a[a-z]b', 'a1b a3b aeb a*b arb a_b'))  # ['aeb', 'arb']
print(re.findall('a[a-zA-Z]b', 'aAb aWb aeb a*b arb a_b'))  # ['aAb', 'aWb', 'aeb', 'arb']
print(re.findall('a[0-9][0-9]b', 'a11b a12b a34b a*b arb a_b'))  # ['a11b', 'a12b', 'a34b']
print(re.findall('a[*-+]b','a-b a*b a+b a/b a6b'))  # ['a*b', 'a+b']

# - 在[]中表示范围,如果想要匹配上- 那么这个-符号不能放在中间.
print(re.findall('a[-*+]b','a-b a*b a+b a/b a6b'))  # ['a-b', 'a*b', 'a+b']
print(re.findall('a[^a-z]b', 'acb adb a3b a*b'))  # ['a3b', 'a*b']

2.3、分组：

() 制定一个规则,将满足规则的结果匹配出来
找到字符串中'Tom_123 Mike_123 Jack_123'的 Tom、Mike、Jack
print(re.findall('([a-zA-Z]+)_123','Tom_123 Mike_123 Jack_123'))

找出a标签中的URL
print(re.findall('href="(.*?)"','<a href="http://www.baidu.com">点击</a>'))#['http://www.baidu.com']

| 或匹配
print(re.findall('Tom|Mike|Jack', ' Tom123MikeaabJack'))  # ['alex', '太白', 'wusir', '太白']
print(re.findall('compan(y|ies)','Too many companies have gone bankrupt, and the next one is my company'))  # ['ies', 'y']
print(re.findall('compan(?:y|ies)','Too many companies have gone bankrupt, and the next one is my company'))  # ['companies', 'company']
分组() 中加入?: 表示将整体匹配出来而不只是()里面的内容。

3、常用方法举例

3.1、findall 全部找到返回一个列表。
print(re.findall('a', 'alexwusirbarryeval'))  # ['a', 'a', 'a']

3.2、search 只到找到第一个匹配然后返回一个包含匹配信息的对象,该对象可以通过调用group()方法得到匹配的字符串,如果字符串没有匹配，则返回None。
print(re.search('Tom|Mike', 'Mike and Tom are 18 years old'))  # <_sre.SRE_Match object; span=(0, 4), match='Mike'>
print(re.search('Tom|Mike', 'Mike and Tom are 18 years old').group())  # Mike

3.3、match 同search,不过在字符串开始处进行匹配,完全可以用search+^代替match
print(re.match('Tom|Mike', 'Mike and Tom are 18 years old')) # <_sre.SRE_Match object; span=(0, 4), match='Mike'>
print(re.match('Tom|Mike', 'Mike and Tom are 18 years old').group()) # Mike

如果开头没有找到，则返回None
print(re.match('Tom|Mike', '123 Mike and Tom are 18 years old')) #None
这时如果group()就会报错

3.4、split 分割 可按照任意分割符进行分割
print(re.split('[ ：:,;；，]','Tom:Mike：Jack,Rose;Bob；Lucy'))  #['Tom', 'Mike', 'Jack', 'Rose', 'Bob', 'Lucy']

3.5、sub 替换
print(re.sub('Tom', 'Mike', 'Tom is a student, Tom is 18 years old。')) # Mike is a student, Mike is 18 years old。

可以指定替换的次数
print(re.sub('Tom', 'Mike', 'Tom is a student, Tom is 18 years old。',1)) #Mike is a student, Tom is 18 years old。

也可以使用位置替换，将所有的字符串按位置编号重新组合
print(re.sub('([a-zA-Z]+)([^a-zA-Z]+)([a-zA-Z]+)([^a-zA-Z]+)([a-zA-Z]+)([^a-zA-Z]+)([a-zA-Z]+)([^a-zA-Z]+)([a-zA-Z]+)', r'\5\2\3\4\1\6\7\8\9', r'Tom and Mike are friends'))
# Mike and Tom are friends
print(re.sub('([a-zA-Z]+)([^a-zA-Z]+)([a-zA-Z]+)([^a-zA-Z]+)([a-zA-Z]+)([^a-zA-Z]+)([a-zA-Z]+)([^a-zA-Z]+)([a-zA-Z]+)', r'\5\2\3\4\1', r'Tom and Mike are friends'))
# Mike and Tom

3.6、compile表达式
obj=re.compile('\d{2}')
print(obj.search('abc123eeee').group()) #
print(obj.findall('abc123eeee')) #['12'],重用了obj

3.7、finditer 迭代器
ret = re.finditer('\d', 'ds3sy4784a')   #finditer返回一个存放匹配结果的迭代器
print(ret)  # <callable_iterator object at 0x10195f940>
print(next(ret).group())  #查看第一个结果
print(next(ret).group())  #查看第二个结果
print([i.group() for i in ret])  #查看剩余的结果

4、命名分组举例（了解）

命名分组匹配：
ret = re.search("<(?P<tag_name>\w+)>\w+</(?P=tag_name)>","<h1>hello</h1>")
还可以在分组中利用?<name>的形式给分组起名字
获取的匹配结果可以直接用group('名字')拿到对应的值
print(ret.group('tag_name'))  #结果 ：h1
print(ret.group())  #结果 ：<h1>hello</h1>

ret = relx.search(r"<(\w+)>\w+</\1>","<h1>hello</h1>")
如果不给组起名字，也可以用\序号来找到对应的组，表示要找的内容和前面的组内容一致
获取的匹配结果可以直接用group(序号)拿到对应的值
print(ret.group(1))
print(ret.group())  #结果 ：<h1>hello</h1>

5、相关小练习

1、1-2*(60+(-40.35/5)-(-4*3))"
  1.1 匹配所有的整数
print(re.findall('\d+',"1-2*(60+(-40.35/5)-(-4*3))"))
# ['1', '2', '60', '40', '35', '5', '4', '3']

  1.2 匹配所有的数字（包含小数）
print(re.findall(r'\d+\.?\d*|\d*\.?\d+', "1-2*(60+(-40.35/5)-(-4*3))"))
# ['1', '2', '60', '40.35', '5', '4', '3']

  1.3 匹配所有的数字（包含小数包含负号）
print(re.findall(r'-?\d+\.?\d*|\d*\.?\d+', "1-2*(60+(-40.35/5)-(-4*3))"))
['', '-2', '', '-40.35', '', '-4', '']

2、匹配一段你文本中的每行的邮箱
http://blog.csdn.net/make164492212/article/details/51656638 匹配所有邮箱
实例1、只允许英文字母、数字、下划线、英文句号、以及中划线组成
举例：zhangsan-001@gmail.com 

分析邮件名称部分：
26个大小写英文字母表示为a-zA-Z
数字表示为0-9
下划线表示为_
中划线表示为-
由于名称是由若干个字母、数字、下划线和中划线组成，所以需要用到+表示多次出现
根据以上条件得出邮件名称表达式：[a-zA-Z0-9_-]+ 

分析域名部分：
一般域名的规律为“[N级域名][三级域名.]二级域名.顶级域名”，比如“qq.com”、“www.qq.com”、“mp.weixin.qq.com”、“12-34.com.cn”，分析可得域名类似“** .** .** .**”组成。
“**”部分可以表示为[a-zA-Z0-9_-]+
“.**”部分可以表示为\.[a-zA-Z0-9_-]+
多个“.**”可以表示为(\.[a-zA-Z0-9_-]+)+
综上所述，域名部分可以表示为[a-zA-Z0-9_-]+(\.[a-zA-Z0-9_-]+)+

最终表达式：
由于邮箱的基本格式为“名称@域名”，需要使用“^”匹配邮箱的开始部分，用“$”匹配邮箱结束部分以保证邮箱前后不能有其他字符，所以最终邮箱的正则表达式为：
^[a-zA-Z0-9_-]+@[a-zA-Z0-9_-]+(\.[a-zA-Z0-9_-]+)+$

实例2、名称允许汉字、字母、数字，域名只允许英文域名
举例：杨元庆001Abc@lenovo.com.cn

分析邮件名称部分：
汉字在正则表示为[\u4e00-\u9fa5]
字母和数字表示为A-Za-z0-9
通过分析得出邮件名称部分表达式为[A-Za-z0-9\u4e00-\u9fa5]+

分析邮件域名部分
邮件部分可以参考实例1中的分析域名部分。
得出域名部分的表达式为[a-zA-Z0-9_-]+(\.[a-zA-Z0-9_-]+)+。

最终表达式：
我们用@符号将邮箱的名称和域名拼接起来，因此完整的邮箱表达式为
^[A-Za-z0-9\u4e00-\u9fa5]+@[a-zA-Z0-9_-]+(\.[a-zA-Z0-9_-]+)+$

3、匹配一段你文本中的每行的时间字符串 这样的形式：'1995-04-27'
s1 = '''
时间就是1980-01-02,2008-03-04
1980-01-02 is Tom's birthday
Jack 1931-05-10:2010-10-20
2018-12-03
'''
print(re.findall('\d{4}-\d{2}-\d{2}', s1))
# ['1980-01-02', '2008-03-04', '1980-01-02', '1931-05-10', '2010-10-20', '2018-12-03']

4、匹配 一个浮点数
print(re.findall('\d+\.\d*','1.17'))
# ['1.17']

5、匹配qq号：腾讯从10000开始：
print(re.findall('[1-9][0-9]{4,}', ''))
# ['2413545136']

6、匹配标签
s1 = '''
<p><a style="text-decoration: underline;" href="http://www.cnblogs.com/jin-xin/articles/7459977.html" target="_blank">python基础一</a></p>
<p><a style="text-decoration: underline;" href="http://www.cnblogs.com/jin-xin/articles/7562422.html" target="_blank">python基础二</a></p>
<p><a style="text-decoration: underline;" href="https://www.cnblogs.com/jin-xin/articles/9439483.html" target="_blank">Python最详细，最深入的代码块小数据池剖析</a></p>
<p><a style="text-decoration: underline;" href="http://www.cnblogs.com/jin-xin/articles/7738630.html" target="_blank">python集合,深浅copy</a></p>
<p><a style="text-decoration: underline;" href="http://www.cnblogs.com/jin-xin/articles/8183203.html" target="_blank">python文件操作</a></p>
<h4 style="background-color: #f08080;">python函数部分</h4>
<p><a style="text-decoration: underline;" href="http://www.cnblogs.com/jin-xin/articles/8241942.html" target="_blank">python函数初识</a></p>
<p><a style="text-decoration: underline;" href="http://www.cnblogs.com/jin-xin/articles/8259929.html" target="_blank">python函数进阶</a></p>
<p><a style="text-decoration: underline;" href="http://www.cnblogs.com/jin-xin/articles/8305011.html" target="_blank">python装饰器</a></p>
<p><a style="text-decoration: underline;" href="http://www.cnblogs.com/jin-xin/articles/8423526.html" target="_blank">python迭代器,生成器</a></p>
<p><a style="text-decoration: underline;" href="http://www.cnblogs.com/jin-xin/articles/8423937.html" target="_blank">python内置函数,匿名函数</a></p>
<p><a style="text-decoration: underline;" href="http://www.cnblogs.com/jin-xin/articles/8743408.html" target="_blank">python递归函数</a></p>
<p><a style="text-decoration: underline;" href="https://www.cnblogs.com/jin-xin/articles/8743595.html" target="_blank">python二分查找算法</a></p>

'''
6.1、找到所有的p标签
ret = re.findall('<p>.*?</p>', s1)
print(ret)

6.2、找到所有a标签对应的url
print(re.findall('<a.*?href="(.*?)".*?</a>',s1))
print(re.findall('href="(.*?)"', s1))