python 正则表达式re模块

#####################总结##############

   优点:  灵活, 功能性强, 逻辑性强.           

   缺点:  上手难,旦上手, 会爱上这个东西   

   工具: 各大文本编辑器一般都有正则匹配功能. 我们也可以去 http://tool.chinaz.com/regex/进行在线测试.

正则表达式由普通字符和元字符组成,普通字符包含大小写字母, 数字,在匹配普通字符的时候我们直接写就可以了

(1) 字符组 

　　字符组很简单用[]括起来,在[]中出现的内容会被匹配,例如:[abc] 匹配a或b或c 

　　[a-z] 匹配a到z之间的所有字母, [0-9]匹配所有阿拉伯数字               

    　[a-zA-Z0-9]  : 匹配的是大写字母,小写字母和阿拉伯数字

(2)简单元字符

• .    匹配除换行符以外的任意字符
• \w 匹配字母或数字下划线
• \s  匹配任意的空白符
• \d  匹配数字
• \n  匹配一个换行符
• \t   匹配一个制表符
• \b  匹配一个单词的结尾
• ^   匹配字符串的开始
• $  匹配字符串的结尾
• \W 匹配非字母或数字或下划线
• \D  匹配非数字
• \S  匹配非空白符
• a|b 匹配字符a或字符b
• ()   匹配括号内表达式,也表示一个组
• [......]   匹配字符组中的字符
• [^...]   匹配除了字符组中字符的所有字符

(3)量词

当一次性匹配多个字符时,需要用到量词

• *   重复零次或更多次
• +  重复一次或多次
• ?  重复零次或一次
• {n} 重复n次
• {n,} 重复n次或者更多次
• {n,m}重复n到m次

比如：

m = re.match(r'^(\d{3})-(\d{3,10})$', '025-7654321')
得到的结果group(0)始终都是字符串本身。 

m.group(0)
Out[103]: '025-7654321'
group(1)是提取的第一个字符串

m.group(1)
Out[104]: ''
 group(2)是提取的第二个字符串

m.group(2)
Out[105]: ''
 groups()会全部输出一个tuple。

type(m.groups())
Out[107]: tuple
m.groups()
Out[106]: ('', '')

(4)惰性匹配和贪婪匹配

在量词中 *,+,{ }都属于贪婪匹配,就是尽可能多的匹配到结果.

str: 麻花藤昨天让英雄联盟关服了
reg: 麻花藤.*
此时匹配的是整句话

在使用.*后面如果加了? 则是尽可能少的匹配,

str: 麻花藤昨天让英雄联盟关服了
reg: 麻花藤.*?
此时匹配的是 麻花藤 

.*?x的特殊含义找到下一X为止

str: abcdefgxhijklmn
reg: .*?x
结果: abcdefgx

(5) 分组

  在正则中使用()进行分组.

比如. 我们要匹配身份证号,身份证号分成两种,老的身份证号有15位,新的身份证号有18位,并且新的身份证号结尾有可能是x

给出以下正则:
^[1-9]\d{13,16}[0-9x]$      错误
^[1-9]\d{14}(\d{2}[0-9x])?$      正确
^([1-9]\d{16}[0-9x]|[1-9]\d{14})$      正确

(6)转义:

在正则表达式中, 有很多有特殊意义的是元字符,比如\n和\s等,如果要在正则中匹 配正常的"\n"而不是"换行符"就需要对"\"进行转义, 变成'\\'.

在python中, 无论是正则表达式, 还是待匹配的内容, 都是以字符串的形式出现的, 在字符串中\也有特殊的含义, 本身还需要转义.

所以如果匹配一次"\n", 字符串中要写成'\\n', 那么正则里就要写成"\\\\n",这样就太麻烦了. 这个时候我们就用到了r'\n'这个概念, 此时的正则是r'\\n'就可以了

2. re模块

  re模块是python提供的一套关于处理正则表达式的模块.核心功能有四个: 

(1) findall 查找所有. 返回list

import re
lst = re.findall("a","adsadjafaaowjf")
print(lst)                 #['a', 'a', 'a', 'a', 'a']

lst = re.findall(r"\d+","12年了,你只挣了10000")
print(lst)                  #['12', '10000']

(2)search进行匹配,但是如果匹配到了第一个结果,就会返回这个结果,如果匹配不上search返回的则是None

ret = re.search(r"\d","20年了,你只挣了20000").group()
print(ret)

(3)match 只能从字符串的开头进行匹配

ret = re.match('a', 'abc').group() #如果没有取group就会报错
print(ret)     # a

(4) finditer 和findall差不多,只不过这时返回的是迭代器

it = re.finditer("m","mdhahsfofncamdnmdadod")
for el in it :
    print (el.group())       #依然需要分组

(5)其他操作

ret = re.split("[ab]","qwerafjbcd")  #先按"a"分割得到"qwer"和"fjbcd",再对"qwer"和"fjbcd"按"b"分割
print(ret)     #['qwer', 'fj', 'cd']

ret = re.sub(r"\d+","_sb_","alex250taibai250wusir250ritian38")   # 把字符串中的数字换成__sb__
print(ret)      #alex_sb_taibai_sb_wusir_sb_ritian_sb_

ret = re.subn(r"\d+","_sb_","alex250taibai250wusir250ritian38")     # 把字符串中的数字换成__sb__返回元组(替换的结果,替换了多少次)
print(ret)        #('alex_sb_taibai_sb_wusir_sb_ritian_sb_', 4)

compile()

obj = re.compile(r'\d{3}')      # 将正则表达式编译成为一个正则表达式对象,规则要匹配的是3个数字
ret = obj.search("ajdjffafk456")  # 正则表达式对象调⽤用search, 参数为待匹配的字符串串
print(ret.group())                 #

re爬虫重点:

obj = re.compile(r"(?P<id>\d+)(?P<name>e+)")    # 从正则表达式匹配的内容每个组起名字
ret = obj.search("abc123eee")   #搜索

print(ret.group())     #123eee
print(ret.group("id"))     #123  #获取id组的内容
print(ret.group("name"))     #eee   获取name组的内容

(6)两个坑

注意: 在re模块中和我们在线测试工具中的结果可能是不一样的

ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com')
print(ret)  # 结果 ['oldboy']     这是因为findall会优先把匹配结果组里内容返回,如果想要匹配结果,取消权限即可 

ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com')
print(ret)  # ['www.oldboy.com']

split里也有一个坑

ret=re.split("\d+","eva3egon4yuan")
print(ret) #结果 ： ['eva', 'egon', 'yuan']
ret=re.split("(\d+)","eva3egon4yuan")
print(ret) #结果 ： ['eva', '3', 'egon', '4', 'yuan']
#在匹配部分加上（之后所切出的结果是不不同的)
#没有（）的没有保留所匹配的项，但是有()的却能够保留了匹配的项，
#这个在某些需要保留匹配部分的使用过程是非常重要的

1.手机号的匹配

^[1-9]\d{14}(\d{2}[0-9x])?$

2.将douban250的电影信息爬下来.并将信息写入文件中

import re
from urllib.request import urlopen
import ssl                                          #有时候需要
ssl._create_default_https_context = ssl._create_unverified_context

def get_page(url):
    response = urlopen(url)
    return response.read().decode("utf-8")

def parse_page(s):
    outcome =re.compile(r'<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*? <span class="title">(?P<title>.*?)</span>.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*? <span>(?P<comment_num>.*?)评价</span>',re.S)
    result = outcome.finditer(s)
    for i in result:
        yield {"id": i.group("id"),
               "title": i.group("title"),
               "rating_num": i.group("rating_num"),
               "comment_num": i.group("comment_num"),
        }

def main(num):
    url ='https://movie.douban.com/top250?start=%s&filter=' % num
    response = get_page(url)
    result = parse_page(response)
    with open("movie_info1", "a", encoding="utf8") as f:
        for el in result:
            print(el)
            data = str(el)
            f.write(data + "\n")
count = 0
for i in range(10):
    main(count)
    count += 25

3.爬取电影天堂最新电影地址

from urllib.request import urlopen
import re
import json

main_url = "https://www.dytt8.net/"
reg = re.compile(r'\[<a href="/html/gndy/dyzz/index.html">最新电影下载</a>\]<a href=\'(?P<url>.*?)\'>', re.S)
son_reg = re.compile(r'<div id="Zoom">.*?◎片　　名(?P<name>.*?)<br />.*?◎主　　演(?P<main>.*?)<br />◎简　　介.*?<td style="WORD-WRAP: break-word" bgcolor="#fdfddf"><a href="(?P<download>.*?)">', re.S)

# 获取主页面内容
def get_main_page():
    main_page = urlopen(main_url).read().decode("gbk")
    # 主页面
    it = reg.finditer(main_page)
    lst = []
    for el in it:
        d = get_son_page(main_url+el.group("url"))
        lst.append(d)
    # indent 控制格式
    json.dump(lst, open("movie.json", mode="w", encoding="utf-8"), indent=4, ensure_ascii=False)

# 获取子页面内容
def get_son_page(son_url):
    content = urlopen(son_url).read().decode("gbk")
    it = son_reg.finditer(content)
    for el in it:
        return {"name":el.group("name").strip(), "main":el.group("main").strip().replace("　　　　　　", "").split("<br />"), "download":el.group("download").strip()}

get_main_page()