一、准备环境：

1、准备测试页面test.html

<html>

<head>

    <title>

        The Dormouse's story

    </title>

</head>

<body>

<p class="title">

    <b>

        The Dormouse's story

    </b>

</p>

<p class="story">

    Once upon a time there were three little sisters; and their names were

    <a class="sister" href="http://example.com/elsie" id="link1">

        Elsie

    </a>

    ,

    <a class="sister" href="http://example.com/lacie" id="link2">

        Lacie

    </a>

    and

    <a class="sister" href="http://example.com/tillie" id="link2">

        Tillie

    </a>

    ; and they lived at the bottom of a well.

</p>

<p class="story">

    ...

</p>

</body>

</html>

test.html

2、安装相关模块

pip install bs4

pip install requests

二、beautifulsoup相关语法：

1、实例化beautifulsoup对象

from bs4 import BeautifulSoup

# 实例化BeautifulSoup对象

# 1、转化本地HTML文件

soup = BeautifulSoup(open('本地文件'), 'lxml')

# 如使用本地文件

with open('test.html',mode='r',encoding='utf-8') as f:

    soup = BeautifulSoup(f,'lxml')

print(soup.a)   # 打印第一个a标签的所有内容

# 2、通过requests.get或其它方式获取到的HTML数据

soup = BeautifulSoup('字符串类型或者字节类型', 'lxml')

# 如通过requests获取到的网页数据

from requests

page_html = requests.get(url='http://www.baidu.com').text

soup = BeautifulSoup(page_html, 'lxml')

print(soup.a)   # 打印第一个a标签的所有内容

2、通过实例化对象获取标签，标签内容，标签属性（这里以上面准备的test.html为示例进行演示）。

import requests

from bs4 import BeautifulSoup

with open('test.html',mode='r',encoding='utf-8') as f:

    soup = BeautifulSoup(f,'lxml')

print(soup.title)             # 打印title标签的全部内容

print(soup.a)                 # 打印a标签的全部内容

print(soup.a.attrs)           # 打印a标签的所有属性内容

print(soup.a.attrs['href'])   # 打印a标签href属性的值

print(soup.a['href'])         # 也可以简写

# 打印a标签中的文本内容内容

print(soup.a.string)

print(soup.a.text)

print(soup.a.get_text())

# 需要注意的是，如果a标签中还嵌套有其它标签，soup.a.string将获取不到值返回一个None，
# 而soup.a.text和soup.a.get_text()可以获取到包括a标签在内的所有子标签中的文本内容。

# 注意：soup.tagName只定位到第一次出现的tagName标签便结束匹配

soup.find('a')                                         # 与soup.tagName一样只匹配到第一次出现的。不同的是可以使用标签和属性进行联合查找。

print(soup.find('a',{'class':"sister",'id':'link2'}))  # 根据标签和属性进行定位

find_all()  # 和find的用法一样，只是返回值是一个列表，这里就不演示了

# 根据选择器进行定位

# 常见的选择器：标签选择器(a)、类选择器(.)、id选择器(#)、层级选择器

soup.select('a')              # 根据标签定位到所有a标签

print(soup.select('.sister')) # 根据类名sister定位

print(soup.select('#link1'))  # 根据id 进行定位

print(soup.select('p>a'))     # 定位所有p标签下的a标签

数据解析模块BeautifulSoup简单使用的更多相关文章

  1. X2.5 添加自定义数据调用模块（简单方法）

    Discuz!X系列的diy功能还是相当不错的,在对其进行二次开发的过程中,或许需要加入新的数据调用模块,这样可以使你开发的功能模块也像原来的模块一样,只需要点点鼠标,填写一些简单的信息,就可以在各个 ...

  2. python爬虫数据解析之BeautifulSoup

    BeautifulSoup是一个可以从HTML或者XML文件中提取数据的python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式. BeautfulSoup是python爬虫三 ...

  3. iOS开发——数据解析Swift篇&简单json数据处理

    简单json数据处理 //loadWeather var url = NSURL(string: "http://www.weather.com.cn/adat/sk/101240701.h ...

  4. 070.Python聚焦爬虫数据解析

    一 聚焦爬虫数据解析 1.1 基本介绍 聚焦爬虫的编码流程 指定url 基于requests模块发起请求 获取响应对象中的数据 数据解析 进行持久化存储 如何实现数据解析 三种数据解析方式 正则表达式 ...

  5. 【爬虫入门手记03】爬虫解析利器beautifulSoup模块的基本应用

    [爬虫入门手记03]爬虫解析利器beautifulSoup模块的基本应用 1.引言 网络爬虫最终的目的就是过滤选取网络信息,因此最重要的就是解析器了,其性能的优劣直接决定这网络爬虫的速度和效率.Bea ...

  6. 【网络爬虫入门03】爬虫解析利器beautifulSoup模块的基本应用

    [网络爬虫入门03]爬虫解析利器beautifulSoup模块的基本应用   1.引言 网络爬虫最终的目的就是过滤选取网络信息,因此最重要的就是解析器了,其性能的优劣直接决定这网络爬虫的速度和效率.B ...

  7. 爬虫----爬虫解析库Beautifulsoup模块

    一:介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你 ...

  8. Request模块—数据解析工具

    一.爬虫基本步骤 指定URL信息 发起请求 获取响应数据 对响应数据进行数据解析 持久化存储 二.数据解析 1. 正则表达式 (1) 基本语法 1. 单字符: . : 除换行以外所有字符 [] :[a ...

  9. 最简单简洁高效的Json数据解析

    一.无图无真相 二.主要代码 1.导入jar包 拷贝fastjson.jar包到projectlibs包下 2.封装工具类JsonUtil.java package com.example.parse ...

随机推荐

  1. FCC---Animate Elements at Variable Rates----一闪一闪亮晶晶，不同的闪动节奏

    There are a variety of ways to alter the animation rates of similarly animated elements. So far, thi ...

  2. 升鲜宝V2.0_生鲜配送行业，对生鲜配送行业的思考及对系统流程开发的反思_升鲜宝生鲜配送系统_15382353715_余东升

    升鲜宝V2.0_生鲜配送行业,对生鲜配送行业的思考及对系统流程开发的反思_升鲜宝生鲜配送系统_15382353715_余东升 -----生鲜配送行业现状及存在问题----- 1.  从业者整体素质偏低 ...

  3. Fiddler使用技巧：强大的数据文本编解码功能

    - 总览 打开Fiddler后,使用快捷键Ctrl+e或者点击菜单Tools-->TextWizard...即可进入TextWizard界面. 界面上方为输入框,用来输入需要编码或解码的数据. ...

  4. [20190523]修改参数后一些细节注意.txt

    [20190523]修改参数后一些细节注意.txt --//昨天远程给别人解决一个小问题,就是配置使用hugepage.一些细节必须注意,通过例子说明问题. 1.环境:# cat /proc/vers ...

  5. k8s资产清单（二）

    什么是清单 说白了清单是k8s当中用来定义pod的文件,语法格式遵循yaml语法,在yaml当中可以定义控制器类型,元数据,容器端口号等等等....,也可以针对于清单对pod进行删除等操作 为什么太学 ...

  6. [MySQL] 解决Error 1698: Access denied for user 'root'@'localhost'

    当程序中使用root账号连接mysql时报以下错误,但是使用命令行是可以正常连接的,那么就查询下mysql数据库的user表,查看下当前用户的密码加密方式,看看是不是unix_socketMariaD ...

  7. [视频教程] ubuntu系统下安装最新版PHP7.3.X环境

    视频地址: https://www.bilibili.com/video/av69088870/ 笔记: 先安装一下这个命令 add-apt-repositoryapt-get install sof ...

  8. Java jdom解析xml文件带冒号的属性

    Java jdom解析xml文件带冒号的属性 转载请标明出处: https://dujinyang.blog.csdn.net/article/details/99644824 本文出自:[奥特曼超人 ...

  9. react的路由权限控制

    在使用路由的时候,有的时候我们的界面只能够在登录之后才可以看的到,这个时候就需要使用路由权限控制了 找了资料发现一个就是我使用的方法,一个是高阶组件. 原谅菜鸟看不太懂不会使用高阶组件………… 首先在 ...

  10. 解决飞秋绑定TCP错误

    电脑不能打开网页,局域网的飞秋不能运行:提示TCP/IP错误,错误事件代码:10106.重装TCP/IP协议后就OK了…… 步骤如下:1.删除这两个注册表选项:(打开注册表命令regedit.如果不能 ...