在爬虫的学习中,我们爬取网页信息之后就是对信息项匹配,这个时候一般是使用正则.但是在使用中发现正则写的不好的时候不能精确匹配(这其实是自己的问题!)所以就找啊找.想到了可以通过标签来进行精确匹配岂不是比正则要快.所以找到了lxml. 因为lxml是对xml格式的解析,支持html格式,而对于xml格式的解析有一门专用的语言,XPath.XPath用于在xml文档中通过元素和属性进行导航.lxml库也是解析xml文件,所以也应用了XPath语法.我们先学习一下XPath 的标准语法,然后将这些语法

python - argparse 模块学习 设置一个解析器 使用argparse的第一步就是创建一个解析器对象,并告诉它将会有些什么参数.那么当你的程序运行时,该解析器就可以用于处理命令行参数. 解析器类是 ArgumentParser .构造方法接收几个参数来设置用于程序帮助文本的描述信息以及其他全局的行为或设置.   # 实例化ArgumentParser,ArgumentParser 是argparse 的一个类,而该类有两个基类 # parser = argparse.Argument

python paramiko模块学习分享 paramiko是用python语言写的一个模块,遵循SSH2协议,支持以加密和认证的方式,进行远程服务器的连接.paramiko支持Linux, Solaris, BSD, MacOS X, Windows等平台通过SSH从一个平台连接到另外一个平台.利用该模块,可以方便的进行ssh连接和sftp协议进行sftp文件传输. 首先让我们理清以下几个名词: SSHClient:包装了Channel.Transport.SFTPClient Channel

logging example Level When it's used Numeric value DEBUG Detailed information, typically of interest only when diagnosing problems. 10 INFO Confirmation that things are working as expected. 20 WARNING An indication that something unexpected happened,

Python time模块提供了一些用于管理时间和日期的C库函数,由于它绑定到底层C实现,因此一些细节会基于具体的平台. 一.壁挂钟时间 1.time() time模块的核心函数time(),它返回纪元开始的秒数,返回值为浮点数,具体精度依赖于平台. >>>import time >>>time.time() 1460599046.85416 2.ctime() 浮点数一般用于存储和比较日期,但是对人类不友好,要记录和打印时间,可以使用ctime(). >>

一.os模块概述 Python os模块包含普遍的操作系统功能.如果你希望你的程序能够与平台无关的话,这个模块是尤为重要的. 二.常用方法 1.os.name 输出字符串指示正在使用的平台.如果是window 则用'nt'表示,对于Linux/Unix用户,它是'posix'. 2.os.getcwd() 函数得到当前工作目录,即当前Python脚本工作的目录路径. 3.os.listdir() 返回指定目录下的所有文件和目录名. >>> os.listdir(os.getcwd())

前言 日志是非常重要的,最近有接触到这个,所以系统的看一下Python这个模块的用法.本文即为Logging模块的用法简介,主要参考文章为Python官方文档,链接见参考列表. 另外,Python的HOWTOs文档很详细,连日志该怎么用都写了,所以有英文阅读能力的同学建议去阅读一下. Logging模块构成 组成 主要分为四个部分: Loggers:提供应用程序直接使用的接口 Handlers:将Loggers产生的日志传到指定位置 Filters:对输出日志进行过滤 Formatters:控制

python atexit模块 只定义了一个register模块用于注册程序退出时的回调函数,我们可以在这个函数中做一下资源清理的操作 注:如果程序是非正常crash,或者通过os._exit()退出,注册的回调函数将不会被调用 atexit()函数 函数名: atexit  头文件:#include<stdlib.h>   我们也可以通过sys.exitfunc来注册回调,但通过它只能注册一个回调,而且还不支持参数.所以建议大家使用atexit来注册回调函数.但千万不要在程序中同时使用这两种

学习总结: 1.掌握对装饰器的用法 2.掌握生成器的用法 3.掌握迭代器的用法 4.熟悉Python内置函数 5.熟悉Python shutil/shelve/configparse/hashlib/logging模块 具体内容: 装饰器: 1.装饰器的概念:装饰其他函数,就是为其他函数添加附加功能 2.使用原则: 1. 不能修改被装饰的函数的源代码 2. 不能修改被调用函数的调用方式 3.高阶函数 4.生成器:只有在调用的时候才会产生对应的数据,只记录当前位置,只有一个__next()__方法

1.模块介绍 2.time & datetime模块 3.random 4.os 5.sys 6.shutil 7.json&pickle 8.shelve 9.xml处理 10.yaml处理 11.configparser 12.hashlib 13.subprocess 14.logging模块 15.re正则表达式 1.模块 模块,就是用一坨代码实现了某个功能的代码集合. 类似于函数式编程和面向过程编程,函数式编程则完成一个功能,其他代码用来调用即可,提供了代码的重用性和代码间的耦合

目录 Requests模块说明 Requests模块安装 Requests模块简单入门 Requests示例 参考文档   1.Requests模块说明 Requests 是使用 Apache2 Licensed 许可证的 HTTP 库.用 Python 编写,真正的为人类着想. Python 标准库中的 urllib2 模块提供了你所需要的大多数 HTTP 功能,但是它的 API 太渣了.它是为另一个时代.另一个互联网所创建的.它需要巨量的工作,甚至包括各种方法覆盖,来完成最简单的任务. 在P

从Python 2.4开始,Python引入subprocess模块来管理子进程,以取代一些旧模块的方法:如 os.system.os.spawn*.os.popen*.popen2.*.commands.*不但可以调用外部的命令作为子进程,而且可以连接到子进程的input/output/error管道,获取相关的返回信息 一.subprocess以及常用的封装函数 运行python的时候,我们都是在创建并运行一个进程.像Linux进程那样,一个进程可以fork一个子进程,并让这个子进程exec

从Python 2.4开始,Python引入subprocess模块来管理子进程,以取代一些旧模块的方法:如 os.system.os.spawn*.os.popen*.popen2.*.commands.*不但可以调用外部的命令作为子进程,而且可以连接到子进程的input/output/error管道,获取相关的返回信息     一.subprocess以及常用的封装函数运行python的时候,我们都是在创建并运行一个进程.像Linux进程那样,一个进程可以fork一个子进程,并让这个子进程e

select 是常用的异步socket 处理方法 一般用法: # iwtd,owtd,ewtd 分别为需要异步处理的读socket队列, 写socket队列(一般不用), 和错误socket队列, 返回事件的读写和错误socket队列 il,ol,el = select(iwtd,owtd,ewtd[,timeout]) for sock in il: #read the sock for sock in ol: #... for sock in el: #handle errors selec

获取windows操作系统的硬件信息 #!/usr/bin/env python # -*- coding: utf-8 -*- # http://www.cnblogs.com/liu-ke/ import wmi import os import sys import platform import time #还需要安装一个模块pywin32,要不会报错 # # def sys_version(): # c = wmi.WMI() # # 获取操作系统版本 # for sys in c.W

1 pandas numpy模块 首先安装搭建好jupyter notebook,运行成功后的截图如下: 安装使用步骤(PS:确定Python安装路径和安装路径里面Scripts文件夹路径已经配置到环境变量中去,即pip所在路径已经配置到环境变量中去): //以下说明是在Windows环境下 //安装 pip install jupyter notebook //不出意外即可安装成功 //然后在Scripts文件夹里面即可看到安装后的jupyter notebook相关配置文件 在CMD中输入j

原文链接:https://www.cnblogs.com/dachenzi/p/8242713.html 模板的概念 要了解jinja2,那么需要先理解模板的概念.模板在Python的web开发中广泛使用,它能够有效的将业务逻辑和页面逻辑分开,使代码可读性增强.并且更加容易理解和维护. 模板简单来说就是一个其中包涵占位变量表示动态的部分的文件,模板文件在经过动态赋值后,返回给用户. --> 可以理解为渲染 python中自带一个简单的模板,就是string提供的. >>> impo

前言 众所周知,通过数据绘图,我们可以将枯燥的数字转换成容易被人们接受的图表,从而让人留下更加深刻的印象.而大多数编程语言都有自己的绘图工具,matplotlib就是基于Python的绘图工具包,使用它我们可以仅仅使用几行代码就生成 饼图.直方图.功率谱.条形图.错误图.散点图.气泡图,甚至生成动态图型也都很轻松.而且它的绘图方法丰富,可以在各种交互式环境中运行,且生成的图像质量高.兼容各种硬拷贝格式. 博主也是在测试一个算法的时候,为了更直观的呈现数据走向,学习了它的相关用法,这篇博客大部分内

os模块提供了多个访问操作系统服务的功能 os模块中一些重要的函数和变量 os.name 显示当前使用平台 os.getcwd() 显示当前Python脚本工作路径 os.listdir('dirname') 显示目录dirname下的所有文件和目录名 os.remove('filename') 删除一个文件 os.makedirs('dirname/dirname') 生成多层递归目录 os.rmdir('dirname') 删除单级目录 os.rename('oldname','newnam

sys模块常见函数和变量 sys.argv:命令行参数,实现从程序外部向程序传递参数 [注]:(1) sys.argv[0] 表示代码本身的文件路径 (2)sys.argv是一个元组,可以用[ ]提取其中的元素,其第一个元素是程序本身的文件路径,其后的元素是用户输入的各种参数 sys.exit(arg):退出当前程序(0是正常退出,其他为异常退出),通常放在try/finally中的finally子句中 sys.modules:全局字典,该字典是Python启动后就加载在内存中.每当程序员导入新

本文主要介绍paramiko远程执行linux命令,及在服务器上进行文件的上传.下载 paramiko是用python语言写的一个模块,遵循SSH2协议,支持以加密和认证的方式,进行远程服务器的连接. 由于使用的是python这样的能够跨平台运行的语言,所以所有python支持的平台,如Linux, Solaris, BSD, MacOS X, Windows等都可以支持 远程执行命令 def ssh_connect(host, username, passwd, *commands): "&q