# -*- coding: utf-8 -*-

from bs4 import BeautifulSoup

# 安装：pip install beautifulsoup4

# Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,其中一个是 lxml .根据操作系统不同,可以选择下列方法来安装lxml:

# 安装解析器：pip install lxml

# 另一个可供选择的解析器是纯Python实现的 html5lib , html5lib的解析方式与浏览器相同,可以选择下列方法来安装html5lib:

# 安装解析器：pip install html5lib

# 基本使用：直接连接网页太麻烦，直接拿下载好的网页做测试；

# html_doc = """

# <html><head><title>The Dormouse's story</title></head>

# <body>

# <p class="title"><b>The Dormouse's story</b></p>

# <p class="title"><b>The Dormouse's story2</b></p>

#

# <p class="story">Once upon a time there were three little sisters; and their names were

# <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,

# <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

# <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

# and they lived at the bottom of a well.</p>

#

# <p class="story">...</p>

# """

# 基本使用：容错处理，文档的容错能力指的是在HTML代码不完整的情况下，使用该模块可以识别错误

# 使用该Beautifulsoup解析上述代码，能够得到一个bearutifulsoup对象，并且按照标准格式输出

# soup = BeautifulSoup(html_doc,"lxml")    # 具有容错功能

# print(soup.prettify())     #可以处理好缩进,按照标准格式输出

# soup = BeautifulSoup(html_doc,"html.parser")

# print(soup)

# 遍历文档树

# 1、用法

# soup = BeautifulSoup(open("a.html"),"lxml")

# soup = BeautifulSoup(html_doc,"lxml")

# print(soup.p)       #存在多个相同的标签只返回第一个

# print(soup.a)

# 2、获取标签的名称

# print(soup.p.name)           #获取该标签的名称，不过有点多此一举

# 3、获取标签属性

# print(soup.p.attrs)

# 4、获取标签的内容

# print(soup.p.string)      # p下边没有子元素的时候返回他的文本，否则返回none

# print(soup.p.strings)       # 拿到p的生成器对象

# print(soup.p.text)            #去文本内容

# for line in soup.stripped_strings:

#     print(line)                 # 去掉空白，打印p的文本内容

# 5、嵌套选择：

# print(soup.head.title.string)      #标签嵌套

# print(soup.body.a.string)

# 6、子节点，子孙接点

# print(soup.p.contents)       #取p下边的所有子节点

# print(soup.p.children)         #得到一个迭代器，包含p下的所有子节点

# for i in soup.p.children:

#     print(i)

# for i,child in enumerate(soup.p.children):

#     print(i,child)

# print(soup.p.descendants)

# for i,child in enumerate(soup.p.descendants):

#     print(i,child)        # 获取子孙接点

# 7、父节点，祖先接点

# print(soup.a.parent)          #获取a的父节点

# print(list(soup.a.parents))     #获取到a的所有祖先元素、

# 8、兄弟接点

# print(soup.a.next_sibling)     #h获取a的上一个兄弟

# print(soup.a.previous_sibling)   # h获取a的下一个兄弟

# print(list(soup.a.next_siblings))    #所有的兄弟列表

# print(soup.a.previous_siblings)     #兄弟的生成器对象

# 搜索文档树

# 五种过滤器: 字符串、正则表达式、列表、True、方法

    # 1、字符串：标签名

    # print(soup.find_all("b"))

    # 2、正则表达式

    # import re

    # print(soup.find_all(re.compile("^b")))

    # 3、列表

    # print(soup.find_all(["a","b"]))     # 找到a或b

    # 4、True

    # print(soup.find_all(True))     #找到所有的tag

    # for tag in soup.find_all(True):

    #     print(tag.name)           #找到所有的标签名

    # 5、方法:如果没有合适过滤器,那么还可以定义一个方法,方法只接受一个元素参数 ,如果这个方法返回 True 表示当前元素匹配并且被找到,如果不是则反回 False

    # def has_class_but_no_id(tag):

    #     return tag.has_attr("class") and not tag.has_attr("id")

    #

    # print(soup.find_all(has_class_but_no_id))

# find_all( name , attrs , recursive , text , **kwargs )

html_doc = """

<html><head><title>The Dormouse's story</title></head>

<body>

<p id="my p" class="title"><b id="bbb" class="boldest">The Dormouse's story</b>

</p>

<p class="story">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

"""

import re

from bs4 import BeautifulSoup

soup=BeautifulSoup(html_doc,'lxml')

# 1、name: 搜索name参数的值可以使任一类型的 过滤器 ,字符窜,正则表达式,列表,方法或是 True

# print(soup.find_all(name=re.compile("^t")))

# 2、keyword: key=value的形式，value可以是过滤器：字符串 , 正则表达式 , 列表, True .

# print(soup.find_all(id=re.compile("my")))

# print(soup.find_all(href=re.compile("lacie"),id=re.compile("\d")))

# print(soup.find_all(id=True))?

# # 有些tag属性在搜索不能使用,比如HTML5中的 data-* 属性:

# data_soup = BeautifulSoup('<div data-foo="value">foo!</div>','lxml')

# # data_soup.find_all(data-foo="value") #报错：SyntaxError: keyword can't be an expression

# # 但是可以通过 find_all() 方法的 attrs 参数定义一个字典参数来搜索包含特殊属性的tag:

# print(data_soup.find_all(attrs={"data-foo": "value"}))

# # [<div data-foo="value">foo!</div>]

# 3、按照类名查找，注意关键字是class_，class_=value,value可以是五种选择器之一

# print(soup.find_all('a',class_='sister')) #查找类为sister的a标签

# print(soup.find_all('a',class_='sister ssss')) #查找类为sister和sss的a标签，顺序错误也匹配不成功

# print(soup.find_all(class_=re.compile('^sis'))) #查找类为sister的所有标签

# 4、attrs

# print(soup.find_all("p",attrs={"class":"story"}))

# 5、text: 值可以是：字符，列表，True，正则

# print(soup.find_all(text='Elsie'))

# print(soup.find_all('a',text='Elsie'))

# 6、limit参数:如果文档树很大那么搜索会很慢.如果我们不需要全部结果,可以使用 limit 参数限制返回结果的数量.效果与SQL中的limit关键字类似,当搜索到的结果数量达到 limit 的限制时,就停止搜索返回结果??

# print(soup.find_all("a",limit=2))

# 7、recursive:调用tag的 find_all() 方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False .

# print(soup.html.find_all("a"))

# print(soup.find_all("a"))

# print(soup.html.find_all("a",recursive=False))

# find( name , attrs , recursive , text , **kwargs )   # 和find_all类似

# html_doc = """

# <html><head><title>The Dormouse's story</title></head>

# <body>

# <p class="title">

#     <b>The Dormouse's story</b>

#     Once upon a time there were three little sisters; and their names were

#     <a href="http://example.com/elsie" class="sister" id="link1">

#         <span>Elsie</span>

#     </a>

#     <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

#     <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

#     <div class='panel-1'>

#         <ul class='list' id='list-1'>

#             <li class='element'>Foo</li>

#             <li class='element'>Bar</li>

#             <li class='element'>Jay</li>

#         </ul>

#         <ul class='list list-small' id='list-2'>

#             <li class='element'><h1 class='yyyy'>Foo</h1></li>

#             <li class='element xxx'>Bar</li>

#             <li class='element'>Jay</li>

#         </ul>

#     </div>

#     and they lived at the bottom of a well.

# </p>

# <p class="story">...</p>

# """

# from bs4 import BeautifulSoup

# soup=BeautifulSoup(html_doc,'lxml')

# css选择器

# 1、css选择器

# print(soup.select(".sister span"))

# print(soup.select("#link1"))

# print(soup.select("#link1 span"))

# print(soup.select("#list-2 .element.xxx"))

# print(soup.select("#list-2")[0].select(".element"))

# 2、获取属性

# print(soup.select("#list-2 h1")[0].attrs)

# 3、获取内容

# print(soup.select("#list-2 h1")[0].get_text())
import requests

from bs4 import BeautifulSoup

html_doc = """

<html><head><title>The Dormouse's story</title></head>

<body>

<p class="title"><b>The Dormouse's story</b></p>

<p class="title"><b>The Dormouse's story2</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

"""

soup = BeautifulSoup(html_doc,"lxml")

# print(soup)     #完整的HTML文档

# print(soup.text)   #所有网页的文本信息

# print(soup.p.attrs)     #获取到第一个p的属性值

# print(soup.find_all("p"))    #获取到所有的p标签的标签信息

p_s = soup.find_all("p")

# for p in p_s:       #循环每一个p标签

#     print(p.text)    #打印每个p标签的文本信息

# for p in p_s:

    # print(p.a)          #打印p下边的a标签

# a_l = soup.find("a")

# print(a_l.get("href"))      #获取到a标签的href属性

# a_s = soup.find_all("a",attrs={"class":"sister"})    #找到所有具有sister属性的a标签

# print(a_s)

# a_t = soup.find_all("a",text="Elsie")            #获取到a标签的文本是elsie的标签

# print(a_t)

# a_ls = soup.find_all("a")

# for a in a_ls:

#     print(a.get("href"))

# select_a = soup.select("#link1")[0]

# print(select_a)

测试代码

修改文档树：中文链接

https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html#id40

解析库-beautifulsoup模块的更多相关文章

  1. 爬虫----爬虫解析库Beautifulsoup模块

    一:介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你 ...

  2. 【爬虫入门手记03】爬虫解析利器beautifulSoup模块的基本应用

    [爬虫入门手记03]爬虫解析利器beautifulSoup模块的基本应用 1.引言 网络爬虫最终的目的就是过滤选取网络信息,因此最重要的就是解析器了,其性能的优劣直接决定这网络爬虫的速度和效率.Bea ...

  3. 【网络爬虫入门03】爬虫解析利器beautifulSoup模块的基本应用

    [网络爬虫入门03]爬虫解析利器beautifulSoup模块的基本应用   1.引言 网络爬虫最终的目的就是过滤选取网络信息,因此最重要的就是解析器了,其性能的优劣直接决定这网络爬虫的速度和效率.B ...

  4. 爬虫解析库——BeautifulSoup

    解析库就是在爬虫时自己制定一个规则,帮助我们抓取想要的内容时用的.常用的解析库有re模块的正则.beautifulsoup.pyquery等等.正则完全可以帮我们匹配到我们想要住区的内容,但正则比较麻 ...

  5. 爬虫解析库beautifulsoup

    一.介绍 Beautiful Soup是一个可以从HTML或XML文件中提取数据的python库. #安装Beautiful Soup pip install beautifulsoup4 #安装解析 ...

  6. 解析库beautifulsoup

    目录 一.介绍 二.遍历文档树 三.搜索文档树(过滤) 四.修改文档树 五.总结 一.介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的 ...

  7. 爬虫解析库BeautifulSoup的一些笔记

    BeautifulSoup类使用   基本元素 说明 Tag 标签,最基本的信息组织单元,分别是<>和</>标明开头和结尾 Name 标签的名字,<p></p ...

  8. 爬虫之解析库BeautifulSoup

    介绍 Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据.官方解释如下: Beautiful Soup提供一些简单的.python式的函数用来处理导航.搜索.修改分析树等 ...

  9. BeautifulSoup解析库

    解析库 解析器 使用方法 优势 劣势 Python标准库 BeautifulSoup(html, 'html.parser') 速度适中,容错能力强 老版本python容错能力差 lxml HTML解 ...

随机推荐

  1. NodeJs学习笔记（五）---单元测试补充

    今天早上继续研究Mocha,忽然发现一个问题,我的大部分程序都是需要登录验证的,所以需要预先登录之后才能进行下一步测试,就开始在网上找答案,发现没有这种资料,很疑惑,最后发现其实是自己太笨了,因为这个 ...

  2. cron任务解释

    cron本来是在linux下的一个定时任务执行工具,现在很多语言都支持cron,本文参考https://en.wikipedia.org/wiki/Cron,解释一下cron配置. 概述 cron配置 ...

  3. 多命令顺序执行，dd命令，管道|，grep，通配符，其他特殊符号

    多命令顺序执行:命令1;命令2 命令之间没有逻辑关系 命令1&&命令2 命令1执行正确才执行命令2,命令1执行错误不会执行命令2 命令1||命令2 命令执行错误才执行命令2,命令1执行 ...

  4. iOS iOS10 的适配问题

    其他:Xcode8 iOS10 的新特性 1.系统判断方法失效:2.隐私数据的访问问题:3.UIColor 问题4.真彩色的显示5.ATS问题6.UIStatusBar问题7.UITextField8 ...

  5. SpringMVC 返回json的两种方式

    前后台数据交互使用json是一种很重要的方式.本文主要探讨SpringMVC框架使用json传输的技术. 请注意,本文所提到的项目使用Spring 版本是4.1.7,其他版本在具体使用上可能有不一样的 ...

  6. DeepLearning.ai学习笔记（三）结构化机器学习项目--week2机器学习策略(2)

    一.进行误差分析 很多时候我们发现训练出来的模型有误差后,就会一股脑的想着法子去减少误差.想法固然好,但是有点headlong~ 这节视频中吴大大介绍了一个比较科学的方法,具体的看下面的例子 还是以猫 ...

  7. shell if相关参数

    [ -a FILE ] 如果 FILE 存在则为真. [ -b FILE ] 如果 FILE 存在且是一个块特殊文件则为真. [ -c FILE ] 如果 FILE 存在且是一个字特殊文件则为真. [ ...

  8. Linux服务器上的oracle数据导入和导出

    背景: 在同一台Linux服务器上,有两个数据库用户,分别为:database1,database2,如何把database1用户下面的所有的表和数据,导入到database2数据库(database ...

  9. bzoj 4012: [HNOI2015]开店 主席树

    Description 风见幽香有一个好朋友叫八云紫,她们经常一起看星星看月亮从诗词歌赋谈到 人生哲学.最近她们灵机一动,打算在幻想乡开一家小店来做生意赚点钱.这样的 想法当然非常好啦,但是她们也发现 ...

  10. python爬去电影天堂恐怖片+游戏

    1.爬去方式python+selenium 2.工作流程 selenium自动输入,自动爬取,建立文件夹,存入磁力链接到记事本 3.贴上代码 #!/usr/bin/Python# -*- coding ...