BeautifulSoup解析库

解析库

解析器	使用方法	优势	劣势
Python标准库	BeautifulSoup(html, 'html.parser')	速度适中，容错能力强	老版本python容错能力差
lxml HTML解析库	BeautifulSoup(html, 'lxml')	速度快，容错能力强	安装c语言库
lxml XML解析库	BeautifulSoup(html, 'xml')	速度快，唯一支持XML的解析器	安装c语言库
html5lib	BeautifulSoup(html, 'html5lib')	最高的容错性，浏览器方式解析文档，生成HTML格式文档	速度慢

基本使用

from bs4 import BeautifulSoup

html = '''

<html><head><title>The Dormouse's story</title></head>

<body>

<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

'''

soup = BeautifulSoup(html, 'lxml')

print(soup.prettify())

选择标签

soup = BeautifulSoup(html, 'lxml')

print(soup.title)                # <title>The Dormouse's story</title>

print(type(soup.title))            # <class 'bs4.element.Tag'>

print(soup.head)             # <head><title>The Dormouse's story</title></head>

print(soup.p)         # <p class="title"><b>The Dormouse's story</b></p>

可以看到，当有多个标签满足条件时，只返回了第一个。

获取标签名称(.name)

soup = BeautifulSoup(html, 'lxml')

print(soup.title.name)         # title

获取属性(.attrs)

HTML 4定义了一系列可以包含多个值的属性.在HTML5中移除了一些,却增加更多.最常见的多值的属性是 class (一个tag可以有多个CSS的class). 还有一些属性 rel , rev , accept-charset , headers , accesskey . 在Beautiful Soup中多值属性的返回类型是list:

如果某个属性看起来好像有多个值,但在任何版本的HTML定义中都没有被定义为多值属性,那么Beautiful Soup会将这个属性作为字符串返回

如果转换的文档是XML格式,那么tag中不包含多值属性

soup = BeautifulSoup(html, 'lxml')

print(soup.p.attrs['class'])    # ['title']

print(soup.p['class'])          # ['title']

print(soup.a.attrs['id'])        # link1

以上两种方法都是可以实现的。

获取内容(.string/.strings)

soup = BeautifulSoup(html, 'lxml')

print(soup.p.string)                  # The Dormouse's story

嵌套选择

soup = BeautifulSoup(html, 'lxml')

# 获取head标签里面的title标签的内容

print(soup.head.title.string)         # The Dormouse's story

子节点和子孙节点

contents以一个列表的形式返回所有的子节点

soup = BeautifulSoup(html, 'lxml')

# 将p标签下面的所有的子节点以列表的形式返回

print(soup.p.contents)   # [<b>The Dormouse's story</b>]

children以一个迭代器的形式返回所有的子节点

soup = BeautifulSoup(html, 'lxml')

# 返回的是一个列表迭代器

print(soup.p.children)        # <list_iterator object at 0x000002174E8C8128>

for i,child in enumerate(soup.p.children):

    print(i,child)            # 0 <b>The Dormouse's story</b>

descendants以一个迭代器的形式返回所有的子孙节点

soup = BeautifulSoup(html, 'lxml')

print(soup.p.descendants)            # <generator object descendants at 0x000002A2AD9E86D0>

for i,child in enumerate(soup.p.descendants):

    print(i,child)

# 0 <b>The Dormouse's story</b>

# 1 The Dormouse's story

父节点和祖先节点

parent来获取父节点

soup = BeautifulSoup(html, 'lxml')

print(soup.b.parent)   # <p class="title"><b>The Dormouse's story</b></p>

parents来获取祖先节点，是一个迭代器的形式

soup = BeautifulSoup(html, 'lxml')

print(list(soup.b.parents))

兄弟节点

next_siblings获取后面的全部的兄弟节点，返回一个列表

soup = BeautifulSoup(html, 'lxml')

print(list(soup.p.next_siblings))

previous_siblings获取前面的全部的兄弟节点，返回一个列表

soup = BeautifulSoup(html, 'lxml')

print(list(soup.p.previous_siblings))

find_all()

find_all( name , attrs , recursive , text , **kwargs )

bs4中最常用的方法，find_all()方法返回满足条件的全部标签，find()方法只返回第一个标签。

返回结果是一个列表，每一个元素都是一个tag对象，可以使用get_text()来获取标签的文本。

name 参数

可以查找所有名字为 name 的tag,字符串对象会被自动忽略掉.

soup.find_all("title")

# [<title>The Dormouse's story</title>]

keyword 参数

如果一个指定名字的参数不是搜索内置的参数名,搜索时会把该参数当作指定名字tag的属性来搜索

搜索指定名字的属性时可以使用的参数值包括字符串 , 正则表达式 , 列表, True .

为True时，相当于选取全部的带有该属性的标签，不论属性值是多少。

soup.find_all(id='link2')

# [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

soup.find_all(href=re.compile("elsie"))

# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]

attrs 参数

有些tag属性在搜索不能使用,比如HTML5中的 data-* 属性，这时候使用attrs参数定义一个字典参数来搜索包含特殊属性的tag:

data_soup.find_all(attrs={"data-foo": "value"})

# [<div data-foo="value">foo!</div>]

text参数

通过 text 参数可以搜搜文档中的字符串内容.与 name 参数的可选值一样, text 参数接受字符串 , 正则表达式 , 列表, True .

soup.find_all(text='foo')

soup.find_all("a", text="Elsie")

limit 参数

使用 limit 参数限制返回结果的数量

soup.find_all("a", limit=2)

# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,

#  <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

recursive 参数

调用tag的 find_all() 方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False

soup.html.find_all("title", recursive=False)

CSS选择器

通过select()直接传入CSS选择器即可

soup.select("title")

# [<title>The Dormouse's story</title>]

soup.select("p nth-of-type(3)")

# [<p class="story">...</p>]