吴裕雄--天生自然python学习笔记:python爬虫与网页分析
我们所抓取的网页源代码一般都是 HTML 格式的文件,只要研究明白 HTML 中
的标签( Tag )结构,就很容易进行解析并取得所需数据 。
HTML 网页结构
HTML 网 页是由许多标签( Tag )构成,标签需用 。字符括起来 。 大部分标签
成对出现,与开始标签对应的结束标签前多 一个“/ ” 字符,例如 < html><斤itml>。 少
数标签非成对出现 ,如 <i mg src=’’image. g”〉 。 HTML 网页主要结构如下 :
比较简单的标签如“<title >标题</title >”,只包含标签名称及其内容,并没有属
性;有些较复杂的标签,除标签本身外,还包含了一些属性, 如“<img src="data:image.
jpg” alt=”图片说明” width=200px height=320px>”,其中 的 scr 、 alt 、 width 、 height 都
是 i mg 标签的属性 。
从网页开发界面查看网页源代码
当使用 QQ/ IE/Firefox 浏览器浏览某个网站时,按下 F12 键就会打开网页的开发
界面。我们以 QQ 浏览器为例,第 一 次打开开发界面时会默认停留在开发界面中的
Elements 菜单,此时我们就可以看到该网页的 HTML 源代码 。
以百度搜索网站的首页为例,我们希望从网页中取得该网页的标题名称,那么
我们可以进行如下操作:
在 QQ 浏览器中输入 www.baidu.com ,打开百度网 。 然后我们按 F12 键,
打开网页的开发界面,单击 Elements 菜单,在代码中展开<head>标签。
在<head> 标签下,我们可以看到该页面的<title> </title >标签内包含了
我们在页面中看到的“百度一下,你就知道”标题内容。
通过鼠标右键查看源代码
试用 BeautifulSoup 进行网页抓取与解析
如果 需 抓取的数据较复杂,我们可以用 一 个功能更强的网页解析工具
BeautifulSoup 来对特定 的目标进行抓取和分析 。
使用 BeautifulSoup
导入 BeautifulSoup 后,先用 requests 包中的 get 方 法取得网页源码,然后就
可以用 Python 内 建的 html.parser 解析器对源代码进行解析,解析的结果返回到
Beautiful Soup 类对象 S p 中 。语法格式如下 :
例如:创建 BeautifulSoup 类对象 Sp ,解析“htttp://www.baidu.com ”网页源代码 。
import requests
from bs4 import BeautifulSoup url = 'http://www.baidu.com'
html = requests.get(url)
sp = BeautifulSoup(html.text, 'html.parser')
BeautifulSoup 的属性和方法
BeautifulSoup 常用的属性和方法如下 : (表中假设己创 建 BeautifulSoup 类的对
象 s p)
select 方法
select 方法通过 css 样式表的方式抓取指定数据 , 它的返回值是列表。
例如 :抓取<title> 的内 容。
datal = sp.select (” title”)
select 方法可以抓取指定的 id ,因为 id 是唯一的 ,所以抓取结果最精确。例如 :
抓取 id 为 rightdown 的网页源代码内 容,注意 id 前必须力口气” 符号。
datal = sp . select (”#rightdown ”)
可以通过 css 类的类名 title 进行搜索。例如 :
还可以使用 tag 标签逐层搜索。例如 :
为了方便讲解,我们通过下面例子来说明 。假设 HTML 原始码如下 , 井创 建
Beautiful Soup 对象 sp :
html_doc = """
<html><head><title>页标题</title></head> <p class="title"><b>文件标题</b></p> <p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p> <p class="story">...</p>
from bs4 import BeautifulSoup sp = BeautifulSoup(html_doc,'html.parser')
print(sp.find('b')) # 返回值:<b>文件标题</b>
print(sp.find_all('a'))
用 find_all( tag, {属性名称:属性内容})可以抓取所有符合属性规定的 tag 内 容。
注意其中第二个参数是字典型数据。所以 ,上例功能还可通过下面的代码实现:
print(sp.find_all("a", {"class":"sister"}))
data1=sp.find("a", {"href":"http://example.com/elsie"})
print(data1.text) # 返回值:Elsie
data2=sp.find("a", {"id":"link2"})
print(data2.text) # 返回值:Lacie
data3 = sp.select("#link3")
print(data3[0].text) # 返回值:Tillie
print(sp.find_all(['title','a']))
data1=sp.find("a", {"id":"link1"})
print(data1.get("href")) #返回值: http://example.com/elsie
吴裕雄--天生自然python学习笔记:python爬虫与网页分析的更多相关文章
- 吴裕雄--天生自然HADOOP学习笔记:hadoop集群实现PageRank算法实验报告
实验课程名称:大数据处理技术 实验项目名称:hadoop集群实现PageRank算法 实验类型:综合性 实验日期:2018年 6 月4日-6月14日 学生姓名 吴裕雄 学号 15210120331 班 ...
- 吴裕雄--天生自然MySQL学习笔记:MySQL UPDATE 更新
如果需要修改或更新 MySQL 中的数据,我们可以使用 SQL UPDATE 命令来操作. 语法 以下是 UPDATE 命令修改 MySQL 数据表数据的通用 SQL 语法: UPDATE table ...
- 吴裕雄--天生自然MySQL学习笔记:MySQL 插入数据
MySQL 表中使用 INSERT INTO SQL语句来插入数据. 可以通过 mysql> 命令提示窗口中向数据表中插入数据,或者通过PHP脚本来插入数据. 以下为向MySQL数据表插入数据通 ...
- 吴裕雄--天生自然MySQL学习笔记:MySQL简介
MySQL 是最流行的关系型数据库管理系统,在 WEB 应用方面 MySQL 是最好的 RDBMS(Relational Database Management System:关系数据库管理系统)应用 ...
- 吴裕雄--天生自然 oracle学习笔记:oracle理论学习详解及各种简单操作例子
1. 数据库的发展过程 层次模型 -->网状模型 -->关系模型 -->对象关系模型 2. 关于数据库的概念 DB:数据库(存储信息的仓库) DBMS:数据库管理系统(用于管理数据库 ...
- 吴裕雄--天生自然HADOOP学习笔记:基本环境配置
实验目的 学习安装Java 学习配置环境变量 学习设置免密码登陆的方法 掌握Linux环境下时间同步的配置 实验原理 1.Java的安装 java是大数据的黄金语言,这和java跨平台的特性是密不可分 ...
- 吴裕雄--天生自然HADOOP学习笔记:使用yum安装更新软件
实验目的 了解yum的原理及配置 学习软件的更新与安装 学习源代码编译安装 实验原理 1.编译安装 前面我们讲到了安装软件的方式,因为linux是开放源码的,我们可以直接获得源码,自己编译安装.例如: ...
- 吴裕雄--天生自然HADOOP学习笔记:Shell工具使用
实验目的 学习使用xshell工具连接Linux服务器 在连上的服务器中进入用户目录 熟悉简单的文件操作命令 实验原理 熟悉shell命令是熟悉使用linux环境进行开发的第一步,我们在linux的交 ...
- 吴裕雄--天生自然HTML学习笔记:HTML 布局
网页布局对改善网站的外观非常重要. 请慎重设计您的网页布局. <!DOCTYPE html> <html> <head> <meta charset=&qu ...
- 吴裕雄--天生自然MySQL学习笔记:MySQL 安装
所有平台的 MySQL 下载地址为: MySQL 下载:https://dev.mysql.com/downloads/mysql/ 注意:安装过程我们需要通过开启管理员权限来安装,否则会由于权限不足 ...
随机推荐
- GitHub的学习和使用
大二寒假阶段: 今天初学了GitHub,并下载了git base,在如下大佬给的链接下并完成了新用户的注册以及项目的上传学习. 网站的新用户注册界面: https://g ...
- EOF是什么?(笔记)
一.参考文章 1.EOF是什么?(阮一峰网络日志) 2.Linux 中的 EOF 到底是什么 二.知识点 1.EOF 定义在 /usr/include/stdio.h 文件中: 从上面 EOF 的定义 ...
- 为什么常用 Map<> map = new HashMap()
在初学Java的时候,经常能看到教材上的写法,使用了接口Map来引用一个map,而不是它的具体实现,那么这样做的好处是什么呢? <Effective Java>第52条:通过接口引用对象 ...
- UVA-10074 最大子矩阵 DP
求出大矩阵里面全为0的最大子矩阵 我自己用的个挫DP写的,感觉写的不是很好,其实可以再优化,DP想法就是以 0 0 到当前 i j 为整体矩阵考虑,当前 i j就是从 i-1 j或者 i,j-1那里最 ...
- (转)防火墙上的object-group命令实际应用。 (2010-11-11 10:03:53)
RLooo的博客:http://blog.sina.com.cn/s/blog_59879e3a0100o5w1.html 使用object-group 能大大简化配置工作量,很实用. 防火墙上的配置 ...
- SVN的import和export的使用
import 上传到服务器 export 下载到本地 import这个命令在使用的时候,都要多加一级目录 比如 目录结构是 E:\\1\\2 在1目录下执行import 只会把2目录提交上去,1的 ...
- ORM表之间高级设计
ORM表之间高级设计 一.表的继承 # db_test1 # 一.基表 # Model类的内部配置Meta类要设置abstract=True, # 这样的Model类就是用来作为基表 # 多表:Boo ...
- Spring集成MyBatis配置文件
<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.sp ...
- Mac电脑没声音了怎么办?苹果电脑没声音的解决方法
在使用Mac电脑的过程中,偶尔会出现电脑没声音?发出奇怪的声音?连接外部音频设备出问题等音频故障,遇到这种情况该怎么办呢?小编有妙招! 检查音量 首先检查Mac是否被静音,按住F12快捷键或滑动菜单栏 ...
- Tomcat远程debug配置
当我们需要定位生产环境问题,而日志又不清晰的情况下,我们可以借助Tomcat提供的远程调试,设置如下: // Linxu系统: apach/bin/startup.sh开始处中增加如下内容: decl ...