一、Beautiful Soup的简介

　　简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释：Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。Beautiful Soup已成为和lxml、html6lib一样出色的python解释器，为用户灵活地提供不同的解析策略或强劲的速度。

#安装 Beautiful Soup

pip install beautifulsoup4

#安装解析器

Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,其中一个是 lxml .根据操作系统不同,可以选择下列方法来安装lxml:

$ apt-get install Python-lxml

$ easy_install lxml

$ pip install lxml

另一个可供选择的解析器是纯Python实现的 html5lib , html5lib的解析方式与浏览器相同,可以选择下列方法来安装html5lib:

$ apt-get install Python-html5lib

$ easy_install html5lib

$ pip install html5lib

三、 Beautiful Soup的简单使用

'''

pip3 install beautifulsoup4  # 安装bs4

pip3 install lxml  # 下载lxml解析器

'''

html_doc = """

<html><head><title>The Dormouse's story</title></head>

<body>

<p class="sister"><b>$37</b></p>

<p class="story" id="p">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" >Elsie</a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

"""

# 从bs4中导入BeautifulSoup

from bs4 import BeautifulSoup

# 调用BeautifulSoup实例化得到一个soup对象

# 参数一: 解析文本

# 参数二:

# 参数二: 解析器（html.parser、lxml...）

soup = BeautifulSoup(html_doc, 'lxml')

print(soup)

print('*' * 100)

print(type(soup))

print('*' * 100)

# 文档美化

html = soup.prettify()

print(html)

四、 Beautiful Soup之遍历文档树

html_doc = """

<html><head><title>The Dormouse's story</title></head>

<body>

<p class="sister"><b>$37</b></p>

<p class="story" id="p">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" >Elsie</a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

"""

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_doc, 'lxml')

'''

遍历文档树：

    1、直接使用

    2、获取标签的名称

    3、获取标签的属性

    4、获取标签的内容

    5、嵌套选择

    6、子节点、子孙节点

    7、父节点、祖先节点

    8、兄弟节点

'''

# 1、直接使用

print(soup.p)  # 查找第一个p标签

print(soup.a)  # 查找第一个a标签

# 2、获取标签的名称

print(soup.head.name)  # 获取head标签的名称

# 3、获取标签的属性

print(soup.a.attrs)  # 获取a标签中的所有属性

print(soup.a.attrs['href'])  # 获取a标签中的href属性

# 4、获取标签的内容

print(soup.p.text)  # $37

# 5、嵌套选择

print(soup.html.head)

# 6、子节点、子孙节点

print(soup.body.children)  # body所有子节点，返回的是迭代器对象

print(list(soup.body.children))  # 强转成列表类型

print(soup.body.descendants)  # 子孙节点

print(list(soup.body.descendants))  # 子孙节点

#  7、父节点、祖先节点

print(soup.p.parent)  # 获取p标签的父亲节点

# 返回的是生成器对象

print(soup.p.parents)  # 获取p标签所有的祖先节点

print(list(soup.p.parents))

# 8、兄弟节点

# 找下一个兄弟

print(soup.p.next_sibling)

# 找下面所有的兄弟，返回的是生成器

print(soup.p.next_siblings)

print(list(soup.p.next_siblings))

# 找上一个兄弟

print(soup.a.previous_sibling)  # 找到第一个a标签的上一个兄弟节点

# 找到a标签上面的所有兄弟节点

print(soup.a.previous_siblings)  # 返回的是生成器

print(list(soup.a.previous_siblings))

四、 Beautiful Soup之搜索文档树

html_doc = """

<html><head><title>The Dormouse's story</title></head>

<body>

<p class="sister"><b>$37</b></p>

<p class="story" id="p">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" >Elsie</a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

"""

'''

搜索文档树:

    find()  找一个

    find_all()  找多个

标签查找与属性查找:

    标签:

            name 属性匹配

            attrs 属性查找匹配

            text 文本匹配

        - 字符串过滤器

            字符串全局匹配

        - 正则过滤器

            re模块匹配

        - 列表过滤器

            列表内的数据匹配

        - bool过滤器

            True匹配

        - 方法过滤器

            用于一些要的属性以及不需要的属性查找。

    属性:

        - class_

        - id

'''

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_doc, 'lxml')

# # 字符串过滤器

# name

p_tag = soup.find(name='p')

print(p_tag)  # 根据文本p查找某个标签

# # 找到所有标签名为p的节点

tag_s1 = soup.find_all(name='p')

print(tag_s1)

#

#

# # attrs

# # 查找第一个class为sister的节点

p = soup.find(attrs={"class": "sister"})

# print(p)

# # 查找所有class为sister的节点

tag_s2 = soup.find_all(attrs={"class": "sister"})

print(tag_s2)

# text

text = soup.find(text="$37")

print(text)

#

#

# # 配合使用:

# # 找到一个id为link2、文本为Lacie的a标签

a_tag = soup.find(name="a", attrs={"id": "link2"}, text="Lacie")

print(a_tag)

# # 正则过滤器

import re

# name

p_tag = soup.find(name=re.compile('p'))

print(p_tag)

# 列表过滤器

import re

# name

tags = soup.find_all(name=['p', 'a', re.compile('html')])

print(tags)

# - bool过滤器

# True匹配

# 找到有id的p标签

p = soup.find(name='p', attrs={"id": True})

print(p)

# 方法过滤器

# 匹配标签名为a、属性有id没有class的标签

def have_id_class(tag):

    if tag.name == 'a' and tag.has_attr('id') and tag.has_attr('class'):

        return tag

tag = soup.find(name=have_id_class)

print(tag)

python爬虫之beautifulsoup的使用的更多相关文章

  1. 使用Python爬虫库BeautifulSoup遍历文档树并对标签进行操作详解（新手必学）

    为大家介绍下Python爬虫库BeautifulSoup遍历文档树并对标签进行操作的详细方法与函数下面就是使用Python爬虫库BeautifulSoup对文档树进行遍历并对标签进行操作的实例,都是最 ...

  2. Python爬虫——用BeautifulSoup、python-docx爬取廖雪峰大大的教程为word文档

    版权声明:本文为博主原创文章,欢迎转载,并请注明出处.联系方式:460356155@qq.com 廖雪峰大大贡献的教程写的不错,写了个爬虫把教程保存为word文件,供大家方便下载学习:http://p ...

  3. 【Python爬虫】BeautifulSoup网页解析库

    BeautifulSoup 网页解析库 阅读目录 初识Beautiful Soup Beautiful Soup库的4种解析器 Beautiful Soup类的基本元素 基本使用 标签选择器 节点操作 ...

  4. Python爬虫之BeautifulSoup的用法

    之前看静觅博客,关于BeautifulSoup的用法不太熟练,所以趁机在网上搜索相关的视频,其中一个讲的还是挺清楚的:python爬虫小白入门之BeautifulSoup库,有空做了一下笔记: 一.爬 ...

  5. Python爬虫系列-BeautifulSoup详解

    安装 pip3 install beautifulsoup4 解析库 解析器 使用方法 优势 劣势 Python标准库 BeautifulSoup(markup,'html,parser') Pyth ...

  6. Python爬虫之Beautifulsoup模块的使用

    一 Beautifulsoup模块介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Be ...

  7. Python 爬虫—— requests BeautifulSoup

    本文记录下用来爬虫主要使用的两个库.第一个是requests,用这个库能很方便的下载网页,不用标准库里面各种urllib:第二个BeautifulSoup用来解析网页,不然自己用正则的话很烦. req ...

  8. 通过哪吒动漫豆瓣影评，带你分析python爬虫与BeautifulSoup快速入门【华为云技术分享】

    久旱逢甘霖 西安连着几天温度排行全国三甲,也许是<哪吒之魔童降世>的剧组买通了老天,从踩着风火轮的小朋友首映开始,就全国性的持续高温,还好今天凌晨的一场暴雨,算是将大家从中暑边缘拯救回来了 ...

  9. python爬虫之BeautifulSoup

    爬虫有时候写正则表达式会有假死现象 就是正则表达式一直在进行死循环查找 例如:https://social.msdn.microsoft.com/forums/azure/en-us/3f4390ac ...

  10. python爬虫入门--beautifulsoup

    1,beautifulsoup的中文文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/ 2, from bs4 import Be ...

随机推荐

  1. <SDOI2009>学校食堂

    我. 调了快一天 因为一个位置错误的感叹号 :-) !!!!!!!!!!!!!!!!!!!!!!!!!!!!!! 狗dp #include<cstdio> #include<cstr ...

  2. Windows XP系列全下载(均为MSDN原版)

    正版windows xp sp3 下载大全(附:正版密钥) 微软MSDN Windows XP Professional下载 Windows XP Professional 简体中文 (最原始版本,无 ...

  3. Hexo搭建总结

    Hexo搭建过程记录 1.Hexo基本环境搭建 1.Hexo安装前提 Node.js和Git,他们的安装方法可以自行百度. 2.具体安装步骤可以参考: https://www.cnblogs.com/ ...

  4. Eclipse如何打开Android工程

    一.Eclipse如何打开Android工程 1.你可以在file->new->other->android object选择选项:create object from exists ...

  5. Nginx之常用基本配置（二）

    上一篇我们把nginx的主配置文件结构大概介绍了下,全局配置段比较常用的指令说了一下,http配置段关于http服务器配置指令介绍了下,以及有几个调优的指令,server_name的匹配机制,错误页面 ...

  6. C#使用正则表达式获取HTML代码中a标签里包含指定后缀的href的值

    //C#使用正则表达式获取HTML代码中a标签里包含指定后缀的href的值,表达式如下: Regex regImg = new Regex(@"(?is)<a[^>]*?href ...

  7. springboot框架中集成thymeleaf引擎，使用form表单提交数据，debug结果后台获取不到数据

    springboot框架中集成thymeleaf引擎,使用form表单提交数据,debug结果后台获取不到数据 表单html: <form class="form-horizontal ...

  8. 手把手教你如何用MSF进行后渗透测试！

    在对目标进行渗透测试的时候,通常情况下,我们首先获得的是一台web服务器的webshell或者反弹shell,如果权限比较低,则需要进行权限提升:后续需要对系统进行全面的分析,搞清楚系统的用途:如果目 ...

  9. 🤢保护眼睛,从更换win电脑主题开始🤢

    目的: win电脑主题颜色设置为

  10. vue+element 表单封成组件(2)

    今天我们继续把时间选择器,多选框和单选框加上 父组件(在昨天的基础上增加): <template> <el-form :model="ruleForm" ref= ...