BeautifulSoup解析库的介绍和使用

### BeautifulSoup解析库的介绍和使用

### 三大选择器：节点选择器，方法选择器，CSS选择器

### 使用建议：方法选择器 > CSS选择器 > 节点选择器

## 测试文本

text = '''

<html><head><title>there is money</title></head>

<body>

<p class="title" name="dmr"><b>there is money</b></p>

<p class="money">good good study, day day up

<a href="https://www.baidu.com/1" class="error" id="l1"><span><!-- 1 --></span></a>,

<a href="https://www.baidu.com/2" class="error" id="l2"><span>2</span></a> and

<a href="https://www.baidu.com/3" class="error" id="l3">3</a>;

66666666666

</p>

<p class='body'>...</p>

'''

1. 基本用法

## 基本用法

from bs4 import BeautifulSoup

# 初始化BeautifulSoup对象，选择lxml类型

soup = BeautifulSoup(text, 'lxml')

# 以标准的缩进格式输出

print(soup.prettify())

# 提取title节点的文本内容

print(soup.title.string)

'''

输出内容：

<html>

 <head>

  <title>

   there is money

  </title>

 </head>

 <body>

  <p class="title" name="dmr">

   <b>

    there is money

   </b>

  </p>

  <p class="money">

   good good study, day day up

   <a class="error" href="https://www.baidu.com/1" id="l1">

    <!-- 1 -->

   </a>

   ,

   <a class="error" href="https://www.baidu.com/2" id="l2">

    2

   </a>

   and

   <a class="error" href="https://www.baidu.com/3" id="l3">

    3

   </a>

   ;

66666666666

  </p>

  <p class="body">

   ...

  </p>

 </body>

</html>

there is money

'''

2. 节点选择器

### 节点选择器

from bs4 import BeautifulSoup

soup = BeautifulSoup(text, 'lxml')

print(type(soup))

print(soup.title)

print(type(soup.title))

print(soup.p)

print(soup.head)

'''

输出结果：

<class 'bs4.BeautifulSoup'>

<title>there is money</title>

<class 'bs4.element.Tag'>

<p class="title" name="dmr"><b>there is money</b></p>

<head><title>there is money</title></head>

'''

## 提取信息

from bs4 import BeautifulSoup

soup = BeautifulSoup(text, 'lxml')

# 提取title标签的文本内容

print(soup.title.string)

# p表情的名称

print(soup.p.name)

# p标签的属性，字典格式

print(soup.p.attrs)

print(soup.p.attrs.get('name'))

# attrs可省略，直接以字典的提取方式进行信息提取

print(soup.p['class'])

print(soup.p.get('class'))

print(soup.p.string)

'''

输出内容：

there is money

p

{'class': ['title'], 'name': 'dmr'}

dmr

['title']

['title']

there is money

'''

## 嵌套选择，套中套

from bs4 import BeautifulSoup

soup = BeautifulSoup(text, 'lxml')

print(soup.body.p.string)

'''

输出内容：

there is money

'''

## 关联选择

## 子节点和子孙节点

from bs4 import BeautifulSoup

soup = BeautifulSoup(text, 'lxml')

# 直接子节点，包含换行符文本内容等;contents获取到一个list, children生成一个迭代器（建议使用）

print(soup.body.contents)

print(len(soup.body.contents))

print(soup.body.children)

for i, child in enumerate(soup.body.children):

    print(i, child)

print(soup.body.descendants)

for j, item in enumerate(soup.body.descendants):

    print(j, item)

'''

输出结果：

['\n', <p class="title" name="dmr"><b>there is money</b></p>, '\n', <p class="money">good good study, day day up

<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>,

<a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a> and

<a class="error" href="https://www.baidu.com/3" id="l3">3</a>;

66666666666

</p>, '\n', <p class="body">...</p>, '\n']

7

<list_iterator object at 0x0000000002DAD320>

0 

1 <p class="title" name="dmr"><b>there is money</b></p>

2 

3 <p class="money">good good study, day day up

<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>,

<a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a> and

<a class="error" href="https://www.baidu.com/3" id="l3">3</a>;

66666666666

</p>

4 

5 <p class="body">...</p>

6 

<generator object Tag.descendants at 0x0000000002D67E58>

0 

1 <p class="title" name="dmr"><b>there is money</b></p>

2 <b>there is money</b>

3 there is money

4 

5 <p class="money">good good study, day day up

<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>,

<a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a> and

<a class="error" href="https://www.baidu.com/3" id="l3">3</a>;

66666666666

</p>

6 good good study, day day up

7 <a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>

8 <span><!-- 1 --></span>

9  1

10 ,

11 <a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a>

12 <span>2</span>

13 2

14  and 

15 <a class="error" href="https://www.baidu.com/3" id="l3">3</a>

16 3

17 ;

66666666666

18 

19 <p class="body">...</p>

20 ...

21

'''

## 父节点和祖先节点

from bs4 import BeautifulSoup

soup = BeautifulSoup(text, 'lxml')

print(soup.a.parent)

print(soup.a.parents)

for i, parent in enumerate(soup.a.parents):

    print(i, parent)

'''

输出结果：

<p class="money">good good study, day day up

<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>,

<a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a> and

<a class="error" href="https://www.baidu.com/3" id="l3">3</a>;

66666666666

</p>

<generator object PageElement.parents at 0x0000000002D68E58>

0 <p class="money">good good study, day day up

<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>,

<a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a> and

<a class="error" href="https://www.baidu.com/3" id="l3">3</a>;

66666666666

</p>

1 <body>

<p class="title" name="dmr"><b>there is money</b></p>

<p class="money">good good study, day day up

<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>,

<a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a> and

<a class="error" href="https://www.baidu.com/3" id="l3">3</a>;

66666666666

</p>

<p class="body">...</p>

</body>

2 <html><head><title>there is money</title></head>

<body>

<p class="title" name="dmr"><b>there is money</b></p>

<p class="money">good good study, day day up

<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>,

<a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a> and

<a class="error" href="https://www.baidu.com/3" id="l3">3</a>;

66666666666

</p>

<p class="body">...</p>

</body></html>

3 <html><head><title>there is money</title></head>

<body>

<p class="title" name="dmr"><b>there is money</b></p>

<p class="money">good good study, day day up

<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>,

<a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a> and

<a class="error" href="https://www.baidu.com/3" id="l3">3</a>;

66666666666

</p>

<p class="body">...</p>

</body></html>

'''

## 兄弟节点

from bs4 import BeautifulSoup

soup = BeautifulSoup(text, 'lxml')

print('Next sibling: ', soup.a.next_sibling)

print('Previous sibling: ', soup.a.previous_sibling)

print('Next siblings: ', soup.a.next_siblings)

print('Previous siblings: ', soup.a.previous_sibling)

'''

输出结果：

Next sibling:  ,

Previous sibling:  good good study, day day up

Next siblings:  <generator object PageElement.next_siblings at 0x0000000002D67E58>

Previous siblings:  good good study, day day up

'''

3. 方法选择器

### 方法选择器，较为灵活

## find_all方法，查询所有符合条件的，返回一个列表，元素类型为tag

## find方法，查询符合条件的第一个元素，返回一个tag类型对象

## 同理，find_parents和find_parent

## find_next_siblings和find_next_sibling

## find_previous_siblings和find_previous_sibling

## find_all_next和find_next

## find_all_previous和find_previous

from bs4 import BeautifulSoup

import re

soup = BeautifulSoup(text, 'lxml')

# 找到节点名为a的节点，为一个列表

print(soup.find_all(name='a'))

print(soup.find_all(name='a')[0])

# 找到id属性为l1， class属性为error的节点

print(soup.find_all(attrs={'id': 'l1'}))

print(soup.find_all(class_='error'))

# 通过文本关键字来进行匹配文本内容

print(soup.find_all(text=re.compile('money')))

'''

输出内容：

[<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>, <a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a>, <a class="error" href="https://www.baidu.com/3" id="l3">3</a>]

<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>

[<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>]

[<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>, <a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a>, <a class="error" href="https://www.baidu.com/3" id="l3">3</a>]

['there is money', 'there is money']

'''

4. CSS选择器

### CSS选择器，select方法，返回一个列表

from bs4 import BeautifulSoup

soup = BeautifulSoup(text, 'lxml')

print(soup.select('p a'))

print(soup.select('.error'))

print(soup.select('#l1 span'))

print(soup.select('a'))

print(type(soup.select('a')))

'''

输出内容：

[<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>, <a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a>, <a class="error" href="https://www.baidu.com/3" id="l3">3</a>]

[<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>, <a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a>, <a class="error" href="https://www.baidu.com/3" id="l3">3</a>]

[<span><!-- 1 --></span>]

[<a class="error" href="https://www.baidu.com/1" id="l1"><span><!-- 1 --></span></a>, <a class="error" href="https://www.baidu.com/2" id="l2"><span>2</span></a>, <a class="error" href="https://www.baidu.com/3" id="l3">3</a>]

<class 'bs4.element.ResultSet'>

'''

## 嵌套选择，获取属性，获取文本

from bs4 import BeautifulSoup

soup = BeautifulSoup(text, 'lxml')

# 嵌套选择

for i in soup.select('a'):

    print(i.select('span'))

# 获取属性

print(soup.select('a')[0].attrs)

print(soup.select('a')[0].get('class'))

# 获取文本

print(soup.select('a')[1].string)

print(soup.select('a')[2].get_text())

'''

输出结果：

[<span><!-- 1 --></span>]

[<span>2</span>]

[]

{'href': 'https://www.baidu.com/1', 'class': ['error'], 'id': 'l1'}

['error']

2

3

'''

BeautifulSoup解析库的介绍和使用的更多相关文章

BeautifulSoup解析库
解析库解析器使用方法优势劣势 Python标准库 BeautifulSoup(html, 'html.parser') 速度适中,容错能力强老版本python容错能力差 lxml HTML解 ...
第三节：Web爬虫之BeautifulSoup解析库
Beautiful Soup官方说明: Beautiful Soup提供一些简单的.python式的函数用来处理导航.搜索.修改分析树等功能.它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为 ...
pyquery解析库的介绍和使用
### pyquery的介绍和使用 ## 测试文本 text = ''' <html><head><title>there is money</title&g ...
BeautifulSoup与Xpath解析库总结
一.BeautifulSoup解析库 1.快速开始 html_doc = """ <html><head><title>The Dor ...
xpath beautiful pyquery三种解析库
这两天看了一下python常用的三种解析库,写篇随笔,整理一下思路.太菜了,若有错误的地方,欢迎大家随时指正.......(conme on.......) 爬取网页数据一般会经过获取信息-> ...
Python爬虫3大解析库使用导航
1. Xpath解析库 2. BeautifulSoup解析库 3. PyQuery解析库
爬虫模块介绍--Beautifulsoup （解析库模块，正则）
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时 ...
爬虫解析库re,Beautifulsoup,
re模块点我回顾 Beautifulsoup模块 #安装 Beautiful Soup pip install beautifulsoup4 #安装解析器 Beautiful Soup支持Pytho ...
解析库之re，Beautifulsoup
本篇导航: 介绍基本使用遍历文档树搜索文档树总结 re模块在之前的python进阶中有讲过不再做过多的阐述,本篇为BeautifulSoup库的分析 20.collections模块和 ...

随机推荐

OKR与影响地图，别再傻傻分不清
摘要:OKR和影响地图虽然都是为了一个目标去进行规划的方法,但是两者侧重的内容却不一致. 本文分享自华为云社区<一分钟读懂OKR与影响地图>,作者: 敏捷的小智. 什么是OKR及影响地图 ...
2021.10.27考试总结[冲刺NOIP模拟17]
T1 宝藏发现每个数成为中位数的长度是关于权值单调的.线段树二分判断是否合法,单调指针扫即可. 考场上写了二分,平添\(\log\). \(code:\) T1 #include<bits/s ...
Spring Security：Servlet 过滤器（三）
3)Servlet 过滤器 Spring Security 过滤器链是一个非常复杂且灵活的引擎.Spring Security 的 Servlet 支持基于 Servlet 过滤器,因此通常首先了解过 ...
最新JS正则表达式验证手机号码（2019）
根据移动.联通.电信的电话号码号段,实现一个简单的正则表达式来验证手机号码: // 手机号校验 export function isPhoneNumber(phoneNum) { // let reg ...
《手把手教你》系列技巧篇（三十七）-java+ selenium自动化测试-日历时间控件-上篇（详解教程）
1.简介我们在实际工作中,有可能遇到有些web产品,网页上有一些时间选择,然后支持按照不同时间段范围去筛选数据.网页上日历控件一般,是一个文本输入框,鼠标点击,就会弹出日历界面,可以选择具体日期.这 ...
java核心技术第3章 java基本程序设计结构
类名规范:以大写字母开头的名词若由多个单词组成每个单词的第一个字母应大写(驼峰命名法) 与.java文件名相同运行程序:java ClassName(dos命令) 打印语句:System.ou ...
GitHub 开源的小工具「GitHub 热点速览 v.21.45」
作者:HelloGitHub-小鱼干 Copilot 是 GitHub 官方出品的代码自动补全工具,之前使用该工具需要有一定的要求.而本周靠 2k+ star 上热点的 copilot-docs 则是 ...
LeetCode 113. 路径总和 II C++
提交结果:内存超100%,用时超69% /** * Definition for a binary tree node. * struct TreeNode { * int val; * TreeNo ...
K8S发布策略，无损发布
大家好,相信大部分公司都已经使用K8S进行容器管理和编排了,但是关于K8S的发布策略,还有很多同学不太清楚,通过这篇文章的介绍,相信大家对目前K8S的发布情况有一个概括的认识.总结下来,共有如下几种: ...
hivesql笔记
一.常用聚合函数 count():计数 count(distinct 字段) 去重统计 sum():求合 avg():平均 max():最大值 min():最小值二.hivesql执行顺序 from ...

BeautifulSoup解析库的介绍和使用

BeautifulSoup解析库的介绍和使用的更多相关文章

随机推荐

热门专题