python BeautifulSoup库的基本使用

Beautiful Soup 是用Python写的一个HTML/XML的解析器，它可以很好的处理不规范标记并生成剖析树(parse tree)。它提供简单又常用的导航（navigating），搜索以及修改剖析树的操作。它可以大大节省你的编程时间。

安装

1. 可以利用 pip 或者 easy_install 来安装，以下两种方法均可

easy_install beautifulsoup4

pip install beautifulsoup4

2. 如果想安装最新的版本，请直接下载安装包来手动安装，也是十分方便的方法。

下载地址：https://pypi.python.org/pypi/beautifulsoup4/4.3.2

下载完成之后解压

运行下面的命令即可完成安装

sudo python setup.py install

使用

中文文档

本文将以下面的HTML代码，讲解使用BeautifulSoup库，bs4库将任何HTML输入都变成utf‐8编码

>>> import requests

>>> r = requests.get('http://python123.io/ws/demo.html')

>>> r.text

'<html><head><title>This is a python demo page</title></head>\r\n

<body>\r\n<p class="title"><b>The demo python introduces several python courses.</b>

</p>\r\n<p class="course">Python is a wonderful general-purpose programming language.

You can learn Python from novice to professional by tracking the following courses:\r\n

<a href="http://www.icourse163.org/course/BIT-268001" class="py1" id="link1">Basic Python</a>

 and <a href="http://www.icourse163.org/course/BIT-1001870001" class="py2" id="link2">Advanced Python</a>

.</p>\r\n</body></html>'

>>> demo = r.text

1. BeautifulSoup4库的引用

from bs4 import BeautifulSoup

import bs4

2. BeautifulSoup4库解析器

soup = BeautifulSoup('data','html.parser')

解析器	使用方法	条件
bs4的HTML解析器	BeautifulSoup(mk, 'html.parser')	安装bs4库
lxml的HTML解析器	BeautifulSoup(mk, 'lxml')	安装 lxml 库
lxml的XML解析器	BeautifulSoup(mk, 'xml')	安装 lxml 库
html5lib的解析器	BeautifulSoup(mk, 'html5lib')	安装 html5lib 库

3. BeautifulSoup类的基本元素

基本元素	说明
Tag	标签,最基本的信息组织单元,分别用<>和</>标明开头和结尾
Name	标签的名字,<p>...</p>的名字是'p',格式：<tag>.name
Attributes	标签的属性，字典形式组织，格式：<tag>.attrs
NavigableString	标签内非属性字符串,<>...</>中字符串,格式：<tag>.string
Comment	标签内字符串的注释部分，一种特殊的Comment类型

############## Tag标签 ##############

>>> from bs4 import BeautifulSoup

>>> soup = BeautifulSoup(demo, 'html.parser')

>>> soup.title

<title>This is a python demo page</title>

>>> tag = soup.a

>>> tag

<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>

任何存在于HTML语法中的标签都可以用soup.<tag>访问获得,当HTML文档中存在多个相同<tag>对应内容时，soup.<tag>返回第一个

##############  Tag Name(名字) ##############

>>> from bs4 import BeautifulSoup

>>> soup = BeautifulSoup(demo, 'html.parser')

>>> soup.a.name

'a'

>>> soup.a.parent.name	#父级标签名称

'p'

>>> soup.a.parent.parent.name	##父级的父级的标签名称

'body'

每个<tag>都有自己的名字，通过<tag>.name获取，字符串类型

##############  Tag attrs(属性) ##############

>>> from bs4 import BeautifulSoup

>>> soup = BeautifulSoup(demo, 'html.parser')

>>> tag = soup.a

>>> tag.attrs

{'class': ['py1'], 'id': 'link1', 'href': 'http://www.icourse163.org/course/BIT-268001'}

>>> tag.attrs['class']

['py1']

>>> tag.attrs['href']

'http://www.icourse163.org/course/BIT-268001'

>>> type(tag.attrs)

<class 'dict'>

>>> type(tag)

<class 'bs4.element.Tag'>

一个<tag>可以有0或多个属性，字典类型

##############  Tag的NavigableString ##############

>>> soup.a

<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>

>>> soup.a.string

'Basic Python'

>>> soup.title

<title>This is a python demo page</title>

>>> soup.title.string

'This is a python demo page'

>>> type(soup.title.string)

<class 'bs4.element.NavigableString'>

NavigableString可以跨越多个层次

##############  Tag的Comment ##############

>>> newsoup = BeautifulSoup('<b><!-- This is comment --></b><p>This is comment</p>', 'html.parser')

>>> newsoup.b.string

' This is comment '

>>> type(newsoup.b.string)

<class 'bs4.element.Comment'>

>>> newsoup.p.string

'This is comment'

>>> type(newsoup.p.string)

<class 'bs4.element.NavigableString'>

Comment是一种特殊类型

4. 标签树的遍历

BeautifulSoup类型是标签树的根节点

1）下行遍历

属性	说明
.contents	子节点的列表，将<tag>所有儿子节点存入列表
.children	子节点的迭代类型，与.contents类似，用于循环遍历儿子节点
.descendants	子孙节点的迭代类型，包含所有子孙节点，用于循环遍历

>>> soup.head

<head><title>This is a python demo page</title></head>

>>> soup.head.contents			#返回列表类型

[<title>This is a python demo page</title>]

>>> soup.body.contents

['\n', <p class="title"><b>The demo python introduces several python courses.</b></p>, '\n', <p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:

<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a> and <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>.</p>, '\n']

>>> len(soup.body.contents)

5

>>> soup.body.contents[1]

<p class="title"><b>The demo python introduces several python courses.</b></p>

#遍历儿子节点

for child in soup.body.children:

    print(child)

#遍历子孙节点

for child in soup.body.descendants:

    print(child)

2）上行遍历

属性	说明
.parent	节点的父亲标签
.parents	节点先辈标签的迭代类型，用于循环遍历先辈节点

>>> soup.title.parent

<head><title>This is a python demo page</title></head>

>>> soup.html.parent	#html的父节点是自己

<html><head><title>This is a python demo page</title></head>

<body>

<p class="title"><b>The demo python introduces several python courses.</b></p>

<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:

<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a> and <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>.</p>

</body></html>

>>> soup.parent	#没有父节点

#标签树的上行遍历(遍历所有先辈节点包括soup本身所以要区别判断)

for parent in soup.a.parents:

    if parent is None:

        print(parent)

    else:

        print(parent.name)

3）平行遍历

属性	说明
.next_sibling	返回按照HTML文本顺序的下一个平行节点标签
.previous_sibling	返回按照HTML文本顺序的上一个平行节点标签
.next_siblings	迭代类型，返回按照HTML文本顺序的后续所有平行节点标签
.previous_siblings	迭代类型，返回按照HTML文本顺序的前续所有平行节点标签

>>> soup.a.next_sibling

' and '

>>> soup.a.next_sibling.next_sibling

<a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>

>>> soup.a.previous_sibling

'Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:\r\n'

#遍历后续节点

for sibling in soup.a.next_sibling:

	print(sibling)

#遍历前续节点

for sibling in soup.a.previous_sibling:

	print(sibling)

5. 使用prettify方法更友好的输出

>>> import requests

>>> r = requests.get('http://python123.io/ws/demo.html')

>>> r.text

'<html><head><title>This is a python demo page</title></head>\r\n<body>\r\n<p class="title"><b>The demo python introduces several python courses.</b></p>\r\n<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:\r\n<a href="http://www.icourse163.org/course/BIT-268001" class="py1" id="link1">Basic Python</a> and <a href="http://www.icourse163.org/course/BIT-1001870001" class="py2" id="link2">Advanced Python</a>.</p>\r\n</body></html>'

>>> from bs4 import BeautifulSoup

>>> soup = BeautifulSoup(r.text, 'html.parser')

>>> soup.prettify()

'<html>\n <head>\n  <title>\n   This is a python demo page\n  </title>\n </head>\n <body>\n  <p class="title">\n   <b>\n    The demo python introduces several python courses.\n   </b>\n  </p>\n  <p class="course">\n   Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:\n   <a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">\n    Basic Python\n   </a>\n   and\n   <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">\n    Advanced Python\n   </a>\n   .\n  </p>\n </body>\n</html>'

>>> print(soup.prettify())

<html>

 <head>

  <title>

   This is a python demo page

  </title>

 </head>

 <body>

  <p class="title">

   <b>

    The demo python introduces several python courses.

   </b>

  </p>

  <p class="course">

   Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:

   <a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">

    Basic Python

   </a>

   and

   <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">

    Advanced Python

   </a>

   .

  </p>

 </body>

</html>

6. 内容查找

方法	说明
<>.find()	搜索且只返回一个结果，同.find_all()参数
<>.find_parents()	在先辈节点中搜索，返回列表类型，同.find_all()参数
<>.find_parent()	在先辈节点中返回一个结果，同.find()参数
<>.find_next_siblings()	在后续平行节点中搜索，返回列表类型，同.find_all()参数
<>.find_next_sibling()	在后续平行节点中返回一个结果，同.find()参数
<>.find_previous_siblings()	在前序平行节点中搜索，返回列表类型，同.find_all()参数
<>.find_previous_sibling()	在前序平行节点中返回一个结果，同.find()参数

<>.find_all(name, attrs, recursive, string, **kwargs)

name : 对标签名称的检索字符串
attrs: 对标签属性值的检索字符串，可标注属性检索
recursive: 是否对子孙全部检索，默认True
string: <>…</>中字符串区域的检索字符串

<tag>(..) 等价于 <tag>.find_all(..)
soup(..) 等价于 soup.find_all(..)

#提取所有URL

for link in soup.find_all('a'):

    print(link.get('href'))

http://www.icourse163.org/course/BIT-268001

http://www.icourse163.org/course/BIT-1001870001

>>> soup.find_all('a')		#查找所有的a标签，返回一个列表

[<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>, <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>]

>>> soup.find_all(['a','b'])	#查找所有的a标签和b标签，返回一个列表

[<b>The demo python introduces several python courses.</b>, <a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>, <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>]

>>> soup.find_all('p','course')		#查找所有具有course属性的p标签，

[<p class="course">Python is a wonderful general-purpose programming language. You can learn Python from novice to professional by tracking the following courses:

<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a> and <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>.</p>]

>>> soup.find_all(id='link1')	#查找所有属性为id='link1'的标签

[<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>]

>>> import re		#使用正则查找所有id属性中以'link'开头的标签

>>> soup.find_all(id=re.compile('link'))

[<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>, <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>]

>>> soup.find_all('a')

[<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>, <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>]

>>> soup.find_all('a',recursive=False)	#查找所有a标签且不遍历子孙节点

[]

>>> soup.find_all(string="Basic Python")		#查找所有标签间内容为"Basic Python"的字符串

['Basic Python']

>>> import re

>>> soup.find_all(string=re.compile('python'))

['This is a python demo page', 'The demo python introduces several python courses.']	#查找所有标签间内容中有"python"的字符串

python BeautifulSoup库的基本使用的更多相关文章

python BeautifulSoup库用法总结
1. Beautiful Soup 简介简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据.官方解释如下: Beautiful Soup提供一些简单的.pyt ...
Python BeautifulSoup库的用法
BeautifulSoup是一个可以从HTML或者XML文件中提取数据的Python库,它通过解析器把文档解析为利于人们理解的文档导航模式,有利于查找和修改文档. BeautifulSoup3目前已经 ...
Python爬虫-- BeautifulSoup库
BeautifulSoup库 beautifulsoup就是一个非常强大的工具,爬虫利器.一个灵活又方便的网页解析库,处理高效,支持多种解析器.利用它就不用编写正则表达式也能方便的实现网页信息的抓取 ...
Python爬虫小白入门（三）BeautifulSoup库
# 一.前言 *** 上一篇演示了如何使用requests模块向网站发送http请求,获取到网页的HTML数据.这篇来演示如何使用BeautifulSoup模块来从HTML文本中提取我们想要的数据. ...
python爬虫从入门到放弃（六）之 BeautifulSoup库的使用
上一篇文章的正则,其实对很多人来说用起来是不方便的,加上需要记很多规则,所以用起来不是特别熟练,而这节我们提到的beautifulsoup就是一个非常强大的工具,爬虫利器. beautifulSoup ...
python爬虫学习之使用BeautifulSoup库爬取开奖网站信息-模块化
实例需求:运用python语言爬取http://kaijiang.zhcw.com/zhcw/html/ssq/list_1.html这个开奖网站所有的信息,并且保存为txt文件和excel文件. 实 ...
python下载安装BeautifulSoup库
python下载安装BeautifulSoup库 1.下载https://www.crummy.com/software/BeautifulSoup/bs4/download/4.5/ 2.解压到解压 ...
python爬虫学习(一)：BeautifulSoup库基础及一般元素提取方法
最近在看爬虫相关的东西,一方面是兴趣,另一方面也是借学习爬虫练习python的使用,推荐一个很好的入门教程:中国大学MOOC的<python网络爬虫与信息提取>,是由北京理工的副教授嵩天老 ...
python库：bs4，BeautifulSoup库、Requests库
Beautiful Soup https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/ Beautiful Soup 4.2.0 文档 htt ...

随机推荐

Sql 调优总结
1前言 Sql 语句调优对应用性能非常重要,看了几篇文章,总结了一下数据库优化的方法. 2 数据库 Sql 优化 1 对查询进行优化,要尽量避免全表扫描,首先应考虑在 where 及 order by ...
一起学习造轮子（一）：从零开始写一个符合Promises/A+规范的promise
本文是一起学习造轮子系列的第一篇,本篇我们将从零开始写一个符合Promises/A+规范的promise,本系列文章将会选取一些前端比较经典的轮子进行源码分析,并且从零开始逐步实现,本系列将会学习Pr ...
.net core CKEditor 图片上传
最近在玩 asp.net core,不想用UEditor,想使用CKEditor.故需要图片上传功能. 废话不多说,先上效果图: CKEditor 前端代码: <text id="co ...
Ubuntu Desktop: 备份与还原
Ubuntu Desktop 版本默认自带了图形化的备份/还原工具 Déjà Dup.该工具主要用来备份和还原用户的数据,当然我们也可以用它来备份/还原系统的数据.本文主要介绍 Déjà Dup 的主 ...
Python-递归复习-斐波那契-阶乘-52
# 超过最大递归限制的报错# 只要写递归函数,必须要有结束条件. # 返回值# 不要只看到return就认为已经返回了.要看返回操作是在递归到第几层的时候发生的,然后返回给了谁.# 如果不是返回给最外 ...
Python Revisited Day 01
逻辑操作符身份操作符 is a = ['AAA', 3, None] b = ['AAA', 3, None] a is b #False b = a a is b #True 身份比较速度快,原因 ...
ReentrantLock源码分析
参考: 五月的仓颉 ReentrantLock实现原理活在梦里 AQS源码解读重入锁是基于AQS实现的,它提供了公平锁和非公平锁两个版本的实现. public class ReentrantLoc ...
Java使用Redis实现分布式锁来防止重复提交问题
如何用消息系统避免分布式事务? - 少年阿宾 - BlogJavahttp://www.blogjava.net/stevenjohn/archive/2018/01/04/433004.html [ ...
Python技术之书籍汇总
近日,一直在学习Python,发现有关的书籍还是很多值得一读的,所以在此总结一下.以后慢慢去研读吧!!! Python入门 <Python编程快速上手——让繁琐工作自动化> 作者: [美] ...
熟悉pyspider的装饰器
熟悉pyspider的装饰器取经地点:https://segmentfault.com/a/1190000002477863 @config(age=10 * 24 * 60 * 60) 在这表示我们 ...

python BeautifulSoup库的基本使用

安装

使用

python BeautifulSoup库的基本使用的更多相关文章

随机推荐

热门专题