python自动华 （五）

Python自动化 【第五篇】：Python基础-常用模块

目录

1. 模块介绍
2. time和datetime模块
3. random
4. os
5. sys
6. shutil
7. json和pickle
8. shelve
9. xml处理
10. yaml处理
11. configparser
12. hashlib
13. re正则表达式

1.      模块介绍

1.1    定义

能够实现某个功能的代码集合（本质是py文件）  test.p的模块名是test包的定义：用来从逻辑上组织模块，本质就是一个目录（必须带有一个__init__.py文件）

1.2    导入方法

　　a) Import module

　　b) Import module1,module2

　　c) From module import *

　　d) From module import m1,m2,m3

　　e) From module import logger as module_logger

1.3    Import 本质

　　导入模块的本质就是把python文件解释一遍

　　导入包的本质就是在执行该包下的__init__.py文件

1.4    导入优化

　　From module import test as module_test

1.5    模块的分类

　　a) 标准库

　　b) 开源模块（第三方模块）

　　c) 自定义模块

2.      time & datetime 模块

time的三种表现方式：

　　1）时间戳(用秒来表示)

　　2）格式化的时间字符串

　　3）元组（struct_time）共九个元素。

2.1    时间戳

 1 1 import time
 2
 3 2 # print(time.clock()) #返回处理器时间,3.3开始已废弃 , 改成了time.process_time()测量处理器运算时间,不包括sleep时间,不稳定,mac上测不出来
 4
 5 3 # print(time.altzone)  #返回与utc时间的时间差,以秒计算\
 6
 7 4 # print(time.asctime()) #返回时间格式"Fri Aug 19 11:14:16 2016",
 8
 9 5 # print(time.localtime()) #返回本地时间 的struct time对象格式
10
11 6 # print(time.gmtime(time.time()-800000)) #返回utc时间的struc时间对象格式
12
13 7
14
15 8 # print(time.asctime(time.localtime())) #返回时间格式"Fri Aug 19 11:14:16 2016",
16
17 9 #print(time.ctime()) #返回Fri Aug 19 12:38:29 2016 格式, 同上
18
19 10
20
21 11 # 日期字符串 转成  时间戳
22
23 12 # string_2_struct = time.strptime("2016/05/22","%Y/%m/%d") #将 日期字符串 转成 struct时间对象格式
24
25 13 # print(string_2_struct)
26
27 14 # struct_2_stamp = time.mktime(string_2_struct) #将struct时间对象转成时间戳
28
29 15 # print(struct_2_stamp)
30
31 16 #将时间戳转为字符串格式
32
33 17 # print(time.gmtime(time.time()-86640)) #将utc时间戳转换成struct_time格式
34
35 18 # print(time.strftime("%Y-%m-%d %H:%M:%S",time.gmtime()) ) #将utc struct_time格式转成指定的字符串格式
36
37 19 #时间加减
38
39 20 import datetime
40
41 21 # print(datetime.datetime.now()) #返回 2016-08-19 12:47:03.941925
42
43 22 #print(datetime.date.fromtimestamp(time.time()) )  # 时间戳直接转成日期格式 2016-08-19
44
45 23 # print(datetime.datetime.now() )
46
47 24 # print(datetime.datetime.now() + datetime.timedelta(3)) #当前时间+3天
48
49 25 # print(datetime.datetime.now() + datetime.timedelta(-3)) #当前时间-3天
50
51 26 # print(datetime.datetime.now() + datetime.timedelta(hours=3)) #当前时间+3小时
52
53 27 # print(datetime.datetime.now() + datetime.timedelta(minutes=30)) #当前时间+30分
54
55 28 # c_time  = datetime.datetime.now()
56
57 29 # print(c_time.replace(minute=3,hour=2)) #时间替换

2.2    格式化的时间字符串

格式参照:

　　%a    本地（locale）简化星期名称

　　%A    本地完整星期名称

　　%b    本地简化月份名称

　　%B    本地完整月份名称

　　%c    本地相应的日期和时间表示

　　%d    一个月中的第几天（01 - 31）

　　%H    一天中的第几个小时（24小时制，00 - 23）

　　%I    第几个小时（12小时制，01 - 12）

　　%j    一年中的第几天（001 - 366）

　　%m    月份（01 - 12）

　　%M    分钟数（00 - 59）

　　%p    本地am或者pm的相应符    一

　　%S    秒（01 - 61）    二

　　%U    一年中的星期数。（00 - 53星期天是一个星期的开始。）第一个星期天之前的所有天数都放在第0周。    三

　　%w    一个星期中的第几天（0 - 6，0是星期天）    三

　　%W    和%U基本相同，不同的是%W以星期一为一个星期的开始。

　　%x    本地相应日期

　　%X    本地相应时间

　　%y    去掉世纪的年份（00 - 99）

　　%Y    完整的年份

　　%Z    时区的名字（如果不存在为空字符）

　　%%    ‘%’字符

2.3    时间关系转换

　　

3.     random模块

3.1    随机数

import random

print (random.random())  #0.6445010863311293  

#random.random()用于生成一个0到1的随机符点数: 0 <= n < 1.0

print (random.randint(1,7)) #4

#random.randint()的函数原型为：random.randint(a, b)，用于生成一个指定范围内的整数。

# 其中参数a是下限，参数b是上限，生成的随机数n: a <= n <= b

print (random.randrange(1,10)) #5

#random.randrange的函数原型为：random.randrange([start], stop[, step])，

# 从指定范围内，按指定基数递增的集合中 获取一个随机数。如：random.randrange(10, 100, 2)，

# 结果相当于从[10, 12, 14, 16, ... 96, 98]序列中获取一个随机数。

# random.randrange(10, 100, 2)在结果上与 random.choice(range(10, 100, 2) 等效。

print(random.choice('liukuni')) #i

#random.choice从序列中获取一个随机元素。

# 其函数原型为：random.choice(sequence)。参数sequence表示一个有序类型。

# 这里要说明一下：sequence在python不是一种特定的类型，而是泛指一系列的类型。

# list, tuple, 字符串都属于sequence。有关sequence可以查看python手册数据模型这一章。

# 下面是使用choice的一些例子：

print(random.choice("学习Python"))#学

print(random.choice(["JGood","is","a","handsome","boy"]))  #List

print(random.choice(("Tuple","List","Dict")))   #List

print(random.sample([1,2,3,4,5],3))    #[1, 2, 5]

#random.sample的函数原型为：random.sample(sequence, k)，从指定序列中随机获取指定长度的片断。sample函数不会修改原有序列。

3.2    实际应用

#!/usr/bin/env python

# encoding: utf-8

import random

import string

# 随机整数：

print(random.randint(0, 99))  # 70

# 随机选取0到100间的偶数：

print(random.randrange(0, 101, 2))  # 4

# 随机浮点数：

print(random.random())  # 0.2746445568079129

print(random.uniform(1, 10))  # 9.887001463194844

# 随机字符：

print(random.choice('abcdefg&#%^*f'))  # f

# 多个字符中选取特定数量的字符：

print(random.sample('abcdefghij', 3))  # ['f', 'h', 'd']

# 随机选取字符串：

print(random.choice(['apple', 'pear', 'peach', 'orange', 'lemon']))  # apple

# 洗牌#

items = [1, 2, 3, 4, 5, 6, 7]

print(items)  # [1, 2, 3, 4, 5, 6, 7]

random.shuffle(items)

print(items)  # [1, 4, 7, 2, 5, 3, 6]

3.3    生成随机验证码

import random
checkcode = ''
for i in range(4):
    current = random.randrange(0,4)
    if current != i:
        temp = chr(random.randint(65,90))
    else:
        temp = random.randint(0,9)
    checkcode += str(temp)
print checkcode

4.      os模块

os.getcwd() 获取当前工作目录，即当前python脚本工作的目录路径
os.chdir("dirname")  改变当前脚本工作目录；相当于shell下cd
os.curdir  返回当前目录: ('.')
os.pardir  获取当前目录的父目录字符串名：('..')
os.makedirs('dirname1/dirname2')    可生成多层递归目录
os.removedirs('dirname1')    若目录为空，则删除，并递归到上一级目录，如若也为空，则删除，依此类推
os.mkdir('dirname')    生成单级目录；相当于shell中mkdir dirname
os.rmdir('dirname')    删除单级空目录，若目录不为空则无法删除，报错；相当于shell中rmdir dirname
os.listdir('dirname')    列出指定目录下的所有文件和子目录，包括隐藏文件，并以列表方式打印
os.remove()  删除一个文件
os.rename("oldname","newname")  重命名文件/目录
os.stat('path/filename')  获取文件/目录信息
os.sep    输出操作系统特定的路径分隔符，win下为"\\",Linux下为"/"
os.linesep    输出当前平台使用的行终止符，win下为"\r\n",Linux下为"\n"
os.pathsep    输出用于分割文件路径的字符串
os.name    输出字符串指示当前使用平台。win->'nt'; Linux->'posix'
os.system("bash command")  运行shell命令，直接显示
os.environ  获取系统环境变量
os.path.abspath(path)  返回path规范化的绝对路径
os.path.split(path)  将path分割成目录和文件名二元组返回
os.path.dirname(path)  返回path的目录。其实就是os.path.split(path)的第一个元素
os.path.basename(path)  返回path最后的文件名。如何path以／或\结尾，那么就会返回空值。即os.path.split(path)的第二个元素
os.path.exists(path)  如果path存在，返回True；如果path不存在，返回False
os.path.isabs(path)  如果path是绝对路径，返回True
os.path.isfile(path)  如果path是一个存在的文件，返回True。否则返回False
os.path.isdir(path)  如果path是一个存在的目录，则返回True。否则返回False
os.path.join(path1[, path2[, ...]])  将多个路径组合后返回，第一个绝对路径之前的参数将被忽略
os.path.getatime(path)  返回path所指向的文件或者目录的最后存取时间
os.path.getmtime(path)  返回path所指向的文件或者目录的最后修改时间

5.      sys模块

sys.argv            命令行参数List，第一个元素是程序本身路径
sys.exit(n)         退出程序，正常退出时exit(0)
sys.version        获取Python解释程序的版本信息
sys.maxint         最大的Int值
sys.path            返回模块的搜索路径，初始化时使用PYTHONPATH环境变量的值
sys.platform       返回操作系统平台名称
sys.stdout.write('please:')
val = sys.stdin.readline()[:-1]

6.      shutil模块

　　

import shutil
f1 = open("file.txt", encoding="utf-8")
f2 = open("file2.txt", "w",encoding="utf-8")
shutil.copyfileobj(f1,f2)

 

shutil.copyfile() 输入源文件就copy：

　　

shutil.copyfile("file1", "file2")

shutil.copymode() 仅拷贝权限，内容、组、用户均不变（待实验）

shutil.copystat() 拷贝权限，没有创建新文件

shutil.copy() 拷贝文件

shutil.copy2() 所有都拷贝（文件和状态信息）

shutil.copytree() 递归拷贝文件(将文件和所在目录都拷贝)

　　

shutil.copytree("test1", "test2")

shutil.rmtree() 递归删除文件  比调用shell命令高效

　　

shutil.rmtree("test3")

shutil.move() 递归的移动文件

shutil.make_archive(base_name, format, file)

import shutil

shutil.make_archive("shutil_archive_test", "zip", "E:\Pycharm\day5")

 

zipfile

import zipfile
z = zipfile.ZipFile("file1.zip", "w")  # 指定压缩后的文件名是file1.txt
z.write("test1.py")  # 先把test1.py压缩至file1.zip
print("----------")  # 可以干些其他事
z.write("test2.py")  # 然后把test2.py压缩至file1.zip
z.close()

7.      json和pickle模块      

解决了不同语言不同平台的之间的数据交换

参考：http://www.cnblogs.com/ZhPythonAuto/p/5786091.html

8.      shelve模块

shelve模块是一个简单的k,v将内存数据通过文件持久化的模块，可以持久化任何pickle可支持的python数据格式。

import shelve
import datetime
d = shelve.open('shelve_test')  # 打开一个文件

# info = {"age":22,"job":"it"}
#
# name = ["alex", "rain", "test"]
# d["name"] = name  # 持久化列表
# d["info"] = info  # 持久化类
# d["date"] =datetime.datetime.now()
# d.close()
print(d.get("name"))
print(d.get("info"))
print(d.get("date"))

9.      xml处理模块

xml的格式如下，就是通过<>节点来区别数据结构的:

<?xml version="1.0"?>

<data>

    <country name="Liechtenstein">

        <rank updated="yes">2</rank>

        <year>2008</year>

        <gdppc>141100</gdppc>

        <neighbor name="Austria" direction="E"/>

        <neighbor name="Switzerland" direction="W"/>

    </country>

    <country name="Singapore">

        <rank updated="yes">5</rank>

        <year>2011</year>

        <gdppc>59900</gdppc>

        <neighbor name="Malaysia" direction="N"/>

    </country>

    <country name="Panama">

        <rank updated="yes">69</rank>

        <year>2011</year>

        <gdppc>13600</gdppc>

        <neighbor name="Costa Rica" direction="W"/>

        <neighbor name="Colombia" direction="E"/>

    </country>

</data>

xml协议在各个语言里的都是支持的，在python中可以用以下模块操作xml

import xml.etree.ElementTree as ET

tree = ET.parse("xmltest.xml")

root = tree.getroot()

print(root.tag)

# 遍历xml文档

for child in root:

    print(child.tag, child.attrib)

    for i in child:

        print(i.tag, i.text, i.attrib)

# 只遍历year 节点

for node in root.iter('year'):

    print(node.tag, node.text)
修改和删除xml文档内import xml.etree.ElementTree as ET

tree = ET.parse("xmltest.xml")

root = tree.getroot()

# 修改

for node in root.iter('year'):

    new_year = int(node.text) + 1

    node.text = str(new_year)

    node.set("updated", "yes")

tree.write("xmltest.xml")

# 删除node

for country in root.findall('country'):

    rank = int(country.find('rank').text)

    if rank > 50:

        root.remove(country)

tree.write('output.xml')

自己创建xml文档

import xml.etree.ElementTree as ET

new_xml = ET.Element("namelist")
name = ET.SubElement(new_xml, "name", attrib={"enrolled": "yes"})
age = ET.SubElement(name, "age", attrib={"checked": "no"})
sex = ET.SubElement(name, "sex")
age.text = '33'
name2 = ET.SubElement(new_xml, "name", attrib={"enrolled": "no"})
age = ET.SubElement(name2, "age")
age.text = '19'

et = ET.ElementTree(new_xml)  # 生成文档对象
et.write("test.xml", encoding="utf-8", xml_declaration=True)

ET.dump(new_xml)  # 打印生成的格式

10.     PyYAML模块

　　　yaml语法（用作配置文件）

　　　数据结构可以用类似大纲的缩排方式呈现，结构通过缩进来表示，连续的项目通过减号“-”来表示，map结构里面的key/value对用冒号“:”来分隔。样例如下：

house:
  family:
    name: Doe
    parents:
      - John
      - Jane
    children:
      - Paul
      - Mark
      - Simone
  address:
    number: 34
    street: Main Street
    city: Nowheretown
    zipcode: 12345

11.      ComfigParser模块

用于生成和修改常见配置文档，当前模块的名称在 python 3.x 版本中变更为 configparser。

格式如下：

[DEFAULT]

ServerAliveInterval = 45

Compression = yes

CompressionLevel = 9

ForwardX11 = yes

[bitbucket.org]

User = hg

[topsecret.server.com]

Port = 50022

ForwardX11 = no

用python生成一个这样的文档

import configparser

config = configparser.ConfigParser()

config["DEFAULT"] = {'ServerAliveInterval': '45',

                     'Compression': 'yes',

                     'CompressionLevel': '9'}

config['bitbucket.org'] = {}

config['bitbucket.org']['User'] = 'hg'

config['topsecret.server.com'] = {}

topsecret = config['topsecret.server.com']

topsecret['Host Port'] = '50022'  # mutates the parser

topsecret['ForwardX11'] = 'no'  # same here

config['DEFAULT']['ForwardX11'] = 'yes'

with open('example.ini', 'w') as configfile:

    config.write(configfile)

写完后还可以读出来：

>>> import configparser

>>> config = configparser.ConfigParser()

>>> config.sections()

[]

>>> config.read('example.ini')

['example.ini']

>>> config.sections()

['bitbucket.org', 'topsecret.server.com']

>>> 'bitbucket.org' in config

True

>>> 'bytebong.com' in config

False

>>> config['bitbucket.org']['User']

'hg'

>>> config['DEFAULT']['Compression']

'yes'

>>> topsecret = config['topsecret.server.com']

>>> topsecret['ForwardX11']

'no'

>>> topsecret['Port']

'50022'

>>> for key in config['bitbucket.org']: print(key)

...

user

compressionlevel

serveraliveinterval

compression

forwardx11

>>> config['bitbucket.org']['ForwardX11']

'yes'

configparser增删改查语法

[section1]
k1 = v1
k2:v2

[section2]
k1 = v1

import ConfigParser

config = ConfigParser.ConfigParser()
config.read('i.cfg')

# ########## 读 ##########
# secs = config.sections()
# print secs
# options = config.options('group2')
# print options

# item_list = config.items('group2')
# print item_list

# val = config.get('group1','key')
# val = config.getint('group1','key')

# ########## 改写 ##########
# sec = config.remove_section('group1')
# config.write(open('i.cfg', "w"))

# sec = config.has_section('wupeiqi')
# sec = config.add_section('wupeiqi')
# config.write(open('i.cfg', "w"))

# config.set('group2','k1',11111)
# config.write(open('i.cfg', "w"))

# config.remove_option('group2','age')
# config.write(open('i.cfg', "w"))

12.      hashlib模块

用于加密相关的操作，3.x里代替了md5模块和sha模块，主要提供 SHA1, SHA224, SHA256, SHA384, SHA512 ，MD5 算法

import hashlib

m = hashlib.md5()

m.update(b"Hello")

m.update(b"It's me")

print(m.digest())

m.update(b"It's been a long time since last time we ...")

print(m.digest())  # 2进制格式hash

print(len(m.hexdigest()))  # 16进制格式hash

'''

def digest(self, *args, **kwargs): # real signature unknown

    """ Return the digest value as a string of binary data. """

    pass

def hexdigest(self, *args, **kwargs): # real signature unknown

    """ Return the digest value as a string of hexadecimal digits. """

    pass

'''

import hashlib

# ######## md5 ########

hash = hashlib.md5()

hash.update('admin')

print(hash.hexdigest())

# ######## sha1 ########

hash = hashlib.sha1()

hash.update('admin')

print(hash.hexdigest())

# ######## sha256 ########

hash = hashlib.sha256()

hash.update('admin')

print(hash.hexdigest())

# ######## sha384 ########

hash = hashlib.sha384()

hash.update('admin')

print(hash.hexdigest())

# ######## sha512 ########

hash = hashlib.sha512()

hash.update('admin')

print(hash.hexdigest())

python 还有一个 hmac 模块，它内部对我们创建 key 和 内容 再进行处理然后再加密

import hmac
h = hmac.new('wueiqi')
h.update('hellowo')
print h.hexdigest()

13.      re模块

常用正则表达式符号：

'.'        默认匹配除\n之外的任意一个字符，若指定flag DOTALL,则匹配任意字符，包括换行

'^'       匹配字符开头，若指定flags MULTILINE,这种也可以匹配上(r"^a","\nabc\neee",flags=re.MULTILINE)

'$'       匹配字符结尾，或e.search("foo$","bfoo\nsdfsf",flags=re.MULTILINE).group()也可以

'*'       匹配*号前的字符0次或多次，re.findall("ab*","cabb3abcbbac")  结果为['abb', 'ab', 'a']

'+'       匹配前一个字符1次或多次，re.findall("ab+","ab+cd+abb+bba") 结果['ab', 'abb']

'?'        匹配前一个字符1次或0次

'{m}'    匹配前一个字符m次

'{n,m}' 匹配前一个字符n到m次，re.findall("ab{1,3}","abb abc abbcbbb") 结果'abb', 'ab', 'abb']

'|'         匹配|左或|右的字符，re.search("abc|ABC","ABCBabcCD").group() 结果'ABC'

'(...)'     分组匹配，re.search("(abc){2}a(123|456)c", "abcabca456c").group() 结果 abcabca456c

'\A'    只从字符开头匹配，re.search("\Aabc","alexabc") 是匹配不到的

'\Z'    匹配字符结尾，同$

'\d'    匹配数字0-9

'\D'    匹配非数字

'\w'    匹配[A-Za-z0-9]

'\W'   匹配非[A-Za-z0-9]

's'      匹配空白字符，\t、\n、\r , re.search("\s+","ab\tc1\n3").group()，结果 '\t'

'(?P<name>...)' 分组匹配，re.search("(?P<province>[0-9]{4})(?P<city>[0-9]{2})(?P<birthday>[0-9]{4})","371481199306143242").groupdict("city")，结果{'province': '3714', 'city': '81', 'birthday': '1993'}

最常用的匹配语法

　　re.match 从头开始匹配

　　re.search 匹配包含

　　re.findall 把所有匹配到的字符放到以列表中的元素返回

　　re.splitall 以匹配到的字符当做列表分隔符

　　re.sub      匹配字符并替换

 

几个匹配模式

　　re.I(re.IGNORECASE): 忽略大小写（括号内是完整写法，下同）

　　M(MULTILINE): 多行模式，改变'^'和'$'的行为

　　S(DOTALL): 点任意匹配模式，改变'.'的行为