在爬虫的学习中,我们爬取网页信息之后就是对信息项匹配,这个时候一般是使用正则.但是在使用中发现正则写的不好的时候不能精确匹配(这其实是自己的问题!)所以就找啊找.想到了可以通过标签来进行精确匹配岂不是比正则要快.所以找到了lxml. 因为lxml是对xml格式的解析,支持html格式,而对于xml格式的解析有一门专用的语言,XPath.XPath用于在xml文档中通过元素和属性进行导航.lxml库也是解析xml文件,所以也应用了XPath语法.我们先学习一下XPath 的标准语法,然后将这些语法…

1:在下载lxml之前,要先查看python的版本信息, 在CMD命令行输入python 再输入import pip; print(pip.pep425tags.get_supported()) --------------------------------------------------------------------------------------------------------------------------------------------------------…

python标准库中带有一个Queue模块,顾名思义,队列.该模块也衍生出一些基本队列不具有的功能. 我们先看一下队列的方法: put 存数据 get 取数据 empty 判断队列是否为空 qsize 显示队列中真实存在的元素长度 maxsize 最大支持队列长度 join 等到队列为空,该行语句下面的语句才会执行 full 检查队列是否已满 单向队列 import queue q = queue.Queue(5) print(q.maxsize) q.put(343) q.put(23) q.…

1.logging模块的使用非常简单,引入模块就可以使用. import logging logging.debug('This is debug message') logging.info('This is info message') logging.warning('This is warning message') 屏幕上打印: WARNING:root:This is warning message 默认情况下,logging将日志打印到屏幕,日志级别为WARNING: 日志级别大小…

pickle提供了一个简单的持久化功能.可以将对象以文件的形式存放在磁盘上. 基本接口: pickle.dump(obj, file, [,protocol]) 注解:将对象obj保存到文件file中去. protocol为序列化使用的协议版本, 0:ASCII协议,所序列化的对象使用可打印的ASCII码表示:1:老式的二进制协议: 2:2.3版本引入的新二进制协议,较以前的更高效.其中协议0和1兼容老版本的python.protocol默认值为0. file:对象保存到的类文件对象.file必…

Python3学习笔记(urllib模块的使用)   1.基本方法 urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None) -         url:  需要打开的网址 -         data:Post提交的数据 -         timeout:设置网站的访问超时时间 直接用urllib.request模块的urlopen…

XPath与正则都是用于数据的提取,二者的区别是: 正则:功能相对强大,写起来相对复杂: XPath:语法简单,可以满足绝大部分的需求: 所以,如果你可以根据自己的需要进行选择. 一.首先,我们需要为Google浏览器配置XPath插件: 请自行学习,效果如下: 二.XPath的语法: 注意: XPath的索引从1开始. 三.XPath的案例: 一级分类: //h3[@class="classify_c_h3"]/a/text() 二级分类: //div[@class="cl…

Xpath,lxml模块用法 转载的原因和前面的一样,我写的没别人写的好,所以我也不浪费时间了,直接转载这位崔庆才大佬的 原帖链接:传送门 以下为转载内容: -------------------------------------------------------------------------------------------------------------------------------- 参考来源 lxml用法源自 lxml python 官方文档,更多内容请直接参阅官方…

Python3学习(1)-基础篇 Python3学习(2)-中级篇 Python3学习(3)-高级篇 切片:取数组.元组中的部分元素 L=['Jack','Mick','Leon','Jane','Aiden'] 取前三个:使用索引 取2-4个元素:索引 取最后2个元素:索引,倒序 取前3个元素:索引 N=[0,1,2,3,4,5,6,7,8,9] 前8个中每2个取1个 每3个中取1个 高阶函数:map/reduce/filter/sorted map:map()函数接收两个参数,一个是函数,一…

目录 Python3学习之路~2.1 列表.元组操作 Python3学习之路~2.2 简单的购物车程序 Python3学习之路~2.3 字符串操作 Python3学习之路~2.4 字典操作 Python3学习之路~2.5 简单的三级菜单程序 Python3学习之路~2.6 集合操作 Python3学习之路~2.7 文件操作 Python3学习之路~2.8 文件操作实现简单的shell sed替换功能 Python3学习之路~2.9 字符编码与转码 Python3学习之路~2.10 修改hapro…