常用正则表达式爬取网页信息及HTML分析总结

Python爬取网页信息时，经常使用的正则表达式及方法。

1.获取<tr></tr>标签之间内容

2.获取<a href..></a>超链接之间内容

3.获取URL最后一个参数命名图片或传递参数

4.爬取网页中所有URL链接

5.爬取网页标题title两种方法

6.定位table位置并爬取属性-属性值

7.过滤<span></span>等标签

8.获取<script></script>等标签内容

1). 获取<tr></tr>标签之间内容
开始标签如：<tr>、<th>、<td>、<a>、<table>、<div>...
后缀标签如：</tr>、</th>、</td>、</a>、</table>、</div>...

核心代码：

res_tr = r'<tr>(.*?)</tr>'

m_tr = re.findall(res_tr,language,re.S|re.M)

# eg_v1

import re

language = '''<tr><th>床前明月光</th><td>忧思独伤心</td></tr><tr>'''

# 正则表达式获取<tr></tr>之间内容

res_tr = r"<tr>(.*?)</tr>"

m_tr = re.findall(res_tr,language,re.S|re.M)

print (unicode(m_tr,"utf-8"))

for line in m_tr:

print line

res_th = r"<th>(.*?)</th>"

m_th = re.findall(res_th,line,re.S|re.M)

for mm in m_th:

print (unicode(mm,"utf-8"))

res_td = r"<td>(.*?)</td>"

m_td = re.findall(res_td,line,re.S|re.M)

for nn in m_td:

print (unicode(nn,"utf-8"))

2). 获取超链接<a href=..></a>之间内容
在使用正则表达式时，需要分析网页链接，获取URL或网页内容。核心代码如下：

res = r'<a .*?>(.*?)</a>'

mm = re.findall(res, content, re.S|re.M)

urls=re.findall(r"<a.*?href=.*?<\/a>", content, re.I|re.S|re.M)

# eg_v2

import re

content = '''

<td>

<a href="https://www.baidu.com/articles/zj.html" title="浙江省">浙江省主题介绍</a>

<a href="https://www.baidu.com//articles/gz.html" title="贵州省">贵州省主题介绍</a>

</td>

'''

# 获取<a href></a>之间的内容

res = r'<a .*?>(.*?)</a>'

mm = re.findall(res,content,re.S|re.M)

for value in mm:

print (value)

# 获取所有<a href></a>链接所有内容

urls = re.findall(r"a.*?href=.*?<\/a>",content,re.I|re.S|re.M)

for i in urls:

print i

# 获取<a href></a>中的URL

res_url = r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')"

link = re.findall(res_url,content,re.I|re.S|re.M)

for url in link:

print (url)

3). 获取URL最后一个参数命名图片或传递参数
使用Python爬取图片过程中，会遇到图片对应的URL最后一个字段通常用于命名图片
通过该URL的"/"后面的参数命名图片
# eg_v3

urls = 'http://i1.hoopchina.com.cn/blogfile/201411/11/BbsImg141568417848931_640*640.jpg'

value = urls.split("/")[-1]

print (value)

# BbsImg141568417848931_640*640.jpg

使用Python获取GET方法的URL链接中，还可能存在传递参数的值,获取参数方法:

url = 'http://localhost/test.py?a=hello&b=world'

values = url.split('?')[-1]

print (values)

# a=hello&b=world

for key_value in values.split('&'):

print (key_value.split('='))

# ['a', 'hello']

# ['b', 'world']

4). 爬取网页中所有URL链接
从固有网页中爬取URL链接，再进行下一步的循环爬取或URL抓取.
# eg_v4 (爬取CSDN首页的所有URL链接)

import re

import urllib2

url = "http://www.csdn.net/"

content = urllib2.urlopen(url).read()

urls = re.findall(r'<a.*?href=.*?<\/a>',content,re.I)

for url in urls:

print (unicode(url,"utf-8"))

link_list = re.findall(r"(?=href=\".+?(?=\")|(?<=href=\').+?(?=\')",content)

for url in link_list:

print (url)

5). 爬取网页标题title两种方法
获取网页标题也是一种常见的爬虫,常位于<html><head><title>标题</title></head></html>中
# eg_v5 (爬取CSDN标题)

import re

import urllib2

url = 'http://www.csdn.net/'

content = urllib2.urlopen(url).read()

# 方法一

title_pat = r'(?<=<title>).*?(?=</title>)'

title_ex = re.compile(title_pat,re.M|re.S)

title_obj = re.search(title_ex,content)

title = title_obj.group()

print (title)

# 方法二

title = re.findall(r'<title>(.*?)</title>',content)

print (title[0])

6). 定位table位置并爬取属性-属性值
# eg_v6 (正则表达式获取td值的例子)

import re

s = '''<table>

<tr>

<td>序列号</td><td>DEIN3-39CD3-2093J3</td>

<td>日期</td><td>2013年1月22日</td>

<td>售价</td><td>392.70 元</td>

<td>说明</td><td>仅限5用户使用</td>

</tr>

</table>

'''

res = r'<td>(.*?)</td><td>(.*?)</td>'

m = re.findall(res,s,re.S|re.M)

for line in m:

print (unicode(line[0],'utf-8'),unicode(line[1],'utf-8'))

# 如果<td id="">包含该属性则正则表达式为r'<td id=.*?>(.*?)</td>'；同样如果不一定是id属性开头，则可以使用正则表达式r'<td .*?>(.*?)</td>'

7). 过滤<span></span>等标签
获取值过程中，通常会存在<span>、<br>、<a href>等标签
核心代码：

elif "span" in nn: #处理标签<span>

res_value = r'<span .*?>(.*?)</span>'

m_value = re.findall(res_value,nn,re.S|re.M)

for value in m_value:

print unicode(value,'utf-8'),

# eg_v7

import re

language = '''

<table class="infobox bordered vcard" style="width: 21em; font-size: 89%; text-align: left;" cellpadding="3">

<caption style="text-align: center; font-size: larger;" class="fn"><b>购书</b></caption>

<tr>

<th>性別：</th>

<td>男</td>d

</tr>

<tr>

<th>異名：</th>

<td><span class="nickname">(字) 翔宇</span></td>

</tr>

<tr>

<th>政黨：</th>

<td><span class="org"><a href="../articles/%E4%B8%AD9A.html" title="购书中心"></a></span></td>

</tr>

<tr>

<th>籍貫：</th>

<td><a href="../articles/%E6%B5%9981.html" title="广东省">广东省</a><a href="../articles/%E7%BB%8D82.html" title="绍兴市">绍兴市</a></td>

</tr>

</table>

'''

# 获取table中tr值

res_tr = r'<tr>(.*?)</tr>'

m_tr = re.findall(res_tr,language,re.S|re.M)

# 获取表格第一列th 属性

for line in m_tr:

res_th = r'<th>(.*?)</th>'

m_th = re.findall(res_th,line,re.S|re.M)

for mm in m_th:

if "href" in mm： # 如果获取加粗的th中含超链接则处理

restr = r'<a href=.*?(.*?)<\a>'

h = re.findall(res_tr,mm,re.S|re.M)

print (unicode(h[0],'utf-8'))

else:

print (unicode(mm,'utf-8'))

# 取表格第二列td 属性值

res_td = r'<td>(.*?)</td>'

m_td = re.findall(res_td,line,re.S|re.M)

for nn in m_td:

if 'href' in nn:

res_value = r'<a .*?>(.*?)</a>'

m_value = re.findall(res_value,nn,re.S|re.M)

for value in m_value:

print (unicode(value,'utf-8'))

elif "span" in nn:

res_value = r'<span .*?>(.*?)</span>'

m_value = re.findall(res_value,nn,re.S|re.M)

for value in m_value:

print (unicode(value,'utf-8')

else:

print (unicode(nn,'utf-8'))

print (' ')

8). 获取<script></script>等标签内容
在获取游讯网图库中，图集对应的原图它是存储在script中，其中获取原图-original即可
通过正则表达式下载URL：

res_original = r'"original":"(.*?)"' #原图

m_original = re.findall(res_original,script)

# eg_v8

import re

import os

import urllib

content = '''

<script>var images = [

{ "big":"http://i-2.yxdown.com/2015/3/18/KDkwMHgp/6381ccc0-ed65-4422-8671-b3158d6ad23e.jpg",

  "thumb":"http://i-2.yxdown.com/2015/3/18/KHgxMjAp/6381ccc0-ed65-4422-8671-b3158d6ad23e.jpg",

  "original":"http://i-2.yxdown.com/2015/3/18/6381ccc0-ed65-4422-8671-b3158d6ad23e.jpg",

  "title":"","descript":"","id":75109},

{ "big":"http://i-2.yxdown.com/2015/3/18/KDkwMHgp/fec26de9-8727-424a-b272-f2827669a320.jpg",

  "thumb":"http://i-2.yxdown.com/2015/3/18/KHgxMjAp/fec26de9-8727-424a-b272-f2827669a320.jpg",

  "original":"http://i-2.yxdown.com/2015/3/18/fec26de9-8727-424a-b272-f2827669a320.jpg",

  "title":"","descript":"","id":75110},

</script>

'''

html_script = r'<script>(.*?)</script>'

m_script = re.findall(html_script,content,re.S|re.M)

for script in m_script:

	res_original = r'"original":"(.*?)"'

	m_original = re.findall(res_original,script)

	for pic_url in m_original:

		print (pic_url)

		filename = os.path.basename(pic_url)

		urllib.urlretrieve(pic_url,"D:\\" + filename)

常用正则表达式爬取网页信息及HTML分析总结的更多相关文章

[python] 常用正则表达式爬取网页信息及分析HTML标签总结【转】
[python] 常用正则表达式爬取网页信息及分析HTML标签总结转http://blog.csdn.net/Eastmount/article/details/51082253 标签: pytho ...
python学习之——爬取网页信息
爬取网页信息说明:正则表达式有待学习,之后完善此功能 #encoding=utf-8 import urllib import re import os #获取网络数据到指定文件 def getHt ...
Python爬取网页信息
Python爬取网页信息的步骤以爬取英文名字网站(https://nameberry.com/)中每个名字的评论内容,包括英文名,用户名,评论的时间和评论的内容为例. 1.确认网址在浏览器中输入初 ...
python 嵌套爬取网页信息
当需要的信息要经过两个链接才能打开的时候,就需要用到嵌套爬取. 比如要爬取起点中文网排行榜的小说简介,找到榜单网址:https://www.qidian.com/all?orderId=&st ...
用shell脚本爬取网页信息
有个小需求,就是爬取一个小网站一些网页里的某些信息,url是带序号的类似的,不需要写真正的spider,网页内容也是差不多的需要取出网页中<h1></h1>中间的字符串,而且 ...
python网络爬虫之解析网页的正则表达式(爬取4k动漫图片)[三]
前言 hello,大家好本章可是一个重中之重,因为我们今天是要爬取一个图片而不是一个网页或是一个json 所以我们也就不用用到selenium模块了,当然有兴趣的同学也一样可以使用selenium去 ...
使用webdriver+urllib爬取网页数据(模拟登陆，过验证码)
urilib是python的标准库,当我们使用Python爬取网页数据时,往往用的是urllib模块,通过调用urllib模块的urlopen(url)方法返回网页对象,并使用read()方法获得ur ...
初识python 之爬虫：使用正则表达式爬取“糗事百科 - 文字版”网页数据
初识python 之爬虫:使用正则表达式爬取"古诗文"网页数据的兄弟篇. 详细代码如下: #!/user/bin env python # author:Simple-Sir ...
初识python 之爬虫：使用正则表达式爬取“古诗文”网页数据
通过requests.re(正则表达式) 爬取"古诗文"网页数据. 详细代码如下: #!/user/bin env python # author:Simple-Sir # tim ...

随机推荐

Android支持全面屏设置
在AndroidManifest的application里面设置resizeableActivity的属性为true <application android:name=".Compl ...
what's the 回撤
什么是“回撤”? “回撤”是个谓语,前面隐含了一个主语.一般来说,没有人说“亏损回撤”的,我们说的“回撤”,通常指“股价回撤”.“市值回撤”.“净值回撤”和“盈利回撤”. “股价回撤”是针对个股的,即 ...
006-docker-安装-nginx
1.搜索镜像 docker search nginx 2.拉取合适镜像 docker pull nginx docker images 3.使用镜像 docker run -p 8080:80 --n ...
技巧:低版本VS打开高版本VS创建的工程
错误一:当用低版本VS打开高版本VS创建的工程时,会出现: 方案:将该工程的解决方案文件的后缀由xxx.sln改成了xxx.txt然后,查看其内容如下: Microsoft Visual Studio ...
node 学习系列-hello world
准备学习node,记录一段 1.搭建好 node 以后,就记录一下 hello world
[vue]data数据属性及ref获取dom
data项的定义 this.$refs获取dom 获取不到数据这样中转下才ok 小结: data里不能用this.$ref. 另外使用visjs时候 view-source:http://visjs ...
[django]django配合前端vue前后端联调,django服务端解决跨域(django-cors-headers)
django内部csrf post提交数据解决 https://www.cnblogs.com/iiiiiher/articles/9164940.html 前端写了个页面,里面$.post发现403 ...
[wx]雪落香杉树人物关系图
雪落香杉树开始的时候场面比较宏大,出场的人比较多.加上外国人名字没辨识度,所以容易乱被告人: 宫本天道 9 10 11 12月被关77天(谋杀罪,9.16日早谋杀卡尔.海因)--妻子:初枝白色衬 ...
dialog问题记录
这个怎么回事,怎么会负利润 http://mmbiz.qpic.cn/mmbiz_jpg/sd9PceC1NdAEVpR5pKerugkpEPEUIsBVoaz5ibTiaHtxoickmF2bXqF ...
SmartGit 过期破解 - 授权文件 Free Trial License to Non-Commercial
亲测可用~ Windows: %APPDATA%/syntevo/SmartGit/OS X: ~/Library/Preferences/SmartGit/Unix/Linux: ~/.sm ...

常用正则表达式爬取网页信息及HTML分析总结

常用正则表达式爬取网页信息及HTML分析总结的更多相关文章

随机推荐

热门专题