PYTHON网络爬虫与信息提取[信息的组织与提取](单元五)
1 三种信息类型的简介
xml : extensible markup language
与html非常相似
现有html后有xml
xml是html发展来的 扩展 通用
json 类型
javascript object notation
有类型的键值对 表达的方式
一个key对应多个值
"key1":["asas",''asas'']
嵌套使用
"name":{
"newname":“北京理工大学”
"oldname":"延安自然科学院"
}
yaml (yaml ain't markup language) :)
name: 北京理工大学 无类型的
通过缩写表示所属的相关关系(嵌套)
name:
oldname:xxxxx
newname:sasas
通过减号表达并列关系
name :
-xxxxxx
-asasasas
竖线表示整块数据
text:|
asdadsssssssssssssdsd
sdadasdasdasdasdasd
asdasd
#表示注释
xml 世界上最早的通用信息标记语言 ,可拓展性好
json 信息有类型,适合程序处理,简介
yaml 信息无类型 文本型息比例最好,可读性好
xml internet上的交互与流动
json 程序对借口的使用,云端 但是无注释
yaml 各类系统的配置文件 有注释易读
2 信息提取的一般方法
方法一:完整解析信息的标记形式,需要表及解析器 列如 bs4的标签书遍历
繁琐慢;
方法二:无视标记信息,直接提取关键信息,利用文本查找
准确性与内容相关
融合方法:结合形式解析与搜索方法
例:
提取html上所有的URL链接
1.找到所有的a标签
2.找到a标签中的href?
form bs4 import BeautifulSoup
soup=BeautifulSoup(demo,"html.parser")
for link in soup.find_all("a"):
print(link.get("href"))
3基于BeautifulSoup的内容查找
方法find_all(name,attrs,recursive,string,**kwargs)
返回一个列表类型,存储查找的结果
soup.find_all("a”)
soup,find_all(["a","b"]) 同时查找ab标签
for tag in soup.find_all(True):
print(tag.name)
可以打印该soup中的所有tag信息
import re
for tag in soup.find_all(re.compile("b")):
print(tag.name)
打印以b开头的
attrs
查找p标签中带有course属性值的的
soup.find_all("p","course")
//soup.find_all("p",attrs={"ssdsd":"dssds})
也可以约定是某一个属性为XX
soup.find_all(id="link1")
#id属性为link1
import re //利用正则表达式
recursive 表示是否对所有子孙都搜索 默认为TRUE
soup.find_all("a")
string 对标签中的字符穿检索的属性
例:
soup.find_all(string="Basic python")
也可以用正则表达式
简短形式
<tag>() 等价于 <tag>.find_all()
soup(...)等价于 soup.find_all()
7个拓展方法
find 只返回一个结果 字符串类型
find_parents 只在先辈节点中搜索,返回一个列表
find_parent 只在黔北节点中搜索,返回结果 字符串类型一个
find_next_siblings只在后续平行节点中搜索,返回列表类型
find_next_sibling 同上只返回一个 字符串类型
find_previous_siblings
find_previsou_sibling 同上
差不多
PYTHON网络爬虫与信息提取[信息的组织与提取](单元五)的更多相关文章
- Python网络爬虫与信息提取
1.Requests库入门 Requests安装 用管理员身份打开命令提示符: pip install requests 测试:打开IDLE: >>> import requests ...
- 第3次作业-MOOC学习笔记:Python网络爬虫与信息提取
1.注册中国大学MOOC 2.选择北京理工大学嵩天老师的<Python网络爬虫与信息提取>MOOC课程 3.学习完成第0周至第4周的课程内容,并完成各周作业 4.提供图片或网站显示的学习进 ...
- 第三次作业-Python网络爬虫与信息提取
1.注册中国大学MOOC 2.选择北京理工大学嵩天老师的<Python网络爬虫与信息提取>MOOC课程 3.学习完成第0周至第4周的课程内容,并完成各周作业 过程. 5.写一篇不少于100 ...
- 第三次作业-MOOC学习笔记:Python网络爬虫与信息提取
1.注册中国大学MOOC 2.选择北京理工大学嵩天老师的<Python网络爬虫与信息提取>MOOC课程 3.学习完成第0周至第4周的课程内容,并完成各周作业 第一周 Requests库的爬 ...
- Python网络爬虫与信息提取笔记
直接复制粘贴笔记发现有问题 文档下载地址//download.csdn.net/download/hide_on_rush/12266493 掌握定向网络数据爬取和网页解析的基本能力常用的 Pytho ...
- 【学习笔记】PYTHON网络爬虫与信息提取(北理工 嵩天)
学习目的:掌握定向网络数据爬取和网页解析的基本能力the Website is the API- 1 python ide 文本ide:IDLE,Sublime Text集成ide:Pychar ...
- Python网络爬虫与信息提取(一)
学习 北京理工大学 嵩天 课程笔记 课程体系结构: 1.Requests框架:自动爬取HTML页面与自动网络请求提交 2.robots.txt:网络爬虫排除标准 3.BeautifulSoup框架:解 ...
- PYTHON网络爬虫与信息提取[scrapy框架应用](单元十、十一)
scrapy 常用命令 startproject 创建一个新的工程 scrapy startproject <name>[dir] genspider 创建一个爬虫 ...
- Python网络爬虫与信息提取(二)—— BeautifulSoup
BeautifulSoup官方介绍: Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式. 官方 ...
随机推荐
- 暑期集训日志(Day0~Day5)
章·五:2019-07-15:明月不谙离恨苦,斜光到晓穿朱户 ·昨日小结: 昨天考试又是爆零边缘,除了难过就剩难过了. T1暴力打崩了只拿了5分. T2没给分时间.最后20分钟打了个残码.没仔细观察数 ...
- 深入浅出 Java Concurrency (35): 线程池 part 8 线程池的实现及原理 (3)[转]
线程池任务执行结果 这一节来探讨下线程池中任务执行的结果以及如何阻塞线程.取消任务等等. 1 package info.imxylz.study.concurrency.future;2 3 publ ...
- 杂项-公司:Oracle
ylbtech-杂项-公司:Oracle 甲骨文公司,全称甲骨文股份有限公司(甲骨文软件系统有限公司),是全球最大的企业级软件公司,总部位于美国加利福尼亚州的红木滩.1989年正式进入中国市场.201 ...
- java中自己对页面跳转问题的一些经验
在eclipse中,如果你要在jsp页面跳转到servlet页面中,可以用action=“/根文件名/servlet文件名” 的方式跳转. 例如我创建了一个web application名字是test ...
- Sharepoint常见概念
有待补充: 1.环境部署(AD+DNS+SQL+SharePoint前端): SharePoint基本都是这样的结构,可以在多台服务器中,也就是场,当然也可以在一台服务器上.说说这几部分的功能 (1) ...
- 左神算法进阶班8_1数组中累加和小于等于aim的最长子数组
[题目] 给定一个数组arr,全是正数:一个整数aim,求累加和小于等于aim的,最长子数组,要求额外空间复杂度O(1),时间复杂度O(N) [题解] 使用窗口: 双指针,当sum <= aim ...
- flock文件锁的学习和应用
flock文件锁 学习与应用 2016-9-20 作用: 可以使用flock文件锁,避免指定命令的同时执行.(实现任务锁定,解决冲突) 用法: # flock -xn /opt/lock_file ...
- 关于排序--sort()和qsort()使用
一.sort()函数的使用 使用sort()函数的时候要加上头文件#include<algorithm>和using namespace std. 这个函数接收两个或者三个参数. 第一个参 ...
- docker中使用源码方式搭建SRS流媒体服务
一.背景 搭建流媒体服务的方式一般会采用nginx+rtmp和srs服务两种,前者是nginx加上插件所用,而后者是专门为了为了流媒体而生,在这一节中我们将从头搭建srs流媒体服务 二. 运行环境 为 ...
- mysql case....when条件
oracle的写法SELECT decode(ttype,1,’a',2,’b',3,’c',’d') FROM taba 可以在mysql里写成SELECT if(ttype=1, 'a',if(t ...