Python成长之路（常用模块学习）

Python 拥有很多很强大的模块 主要写一下常用的几个吧

大概就是这些内容了

1. 模块介绍
2. time &datetime模块
3. random
4. os
5. sys
6. shutil
7. json & picle
8. shelve
9. xml处理
10. yaml处理
11. configparser
12. hashlib
13. subprocess
14. logging模块
15. re正则表达式

1.模块简介

模块，就是用一段代码实现了某个功能的代码集合。

类似于函数式编程和面向过程编程，函数式编程则完成一个功能，其他代码用来调用即可，提供了代码的重用性和代码间的耦合。而对于一个复杂的功能来，可能需要多个函数才能完成（函数又可以在不同的.py文件中），n个 .py 文件组成的代码集合就称为模块。

如：os 是系统相关的模块；file是文件操作相关的模块

模块分为三种：

• 自定义模块
• 内置标准模块（又称标准库）
• 开源模块

自定义模块 和开源模块的使用参考 http://www.cnblogs.com/wupeiqi/articles/4963027.html 

2.time & datetime

 #_*_coding:utf-8_*_
 __author__ = 'Alex Li'

 import time

 # print(time.clock()) #返回处理器时间,3.3开始已废弃 , 改成了time.process_time()测量处理器运算时间,不包括sleep时间,不稳定,mac上测不出来
 # print(time.altzone)  #返回与utc时间的时间差,以秒计算\
 # print(time.asctime()) #返回时间格式"Fri Aug 19 11:14:16 2016",
 # print(time.localtime()) #返回本地时间 的struct time对象格式
 # print(time.gmtime(time.time()-800000)) #返回utc时间的struc时间对象格式

 # print(time.asctime(time.localtime())) #返回时间格式"Fri Aug 19 11:14:16 2016",
 #print(time.ctime()) #返回Fri Aug 19 12:38:29 2016 格式, 同上

 # 日期字符串 转成  时间戳
 # string_2_struct = time.strptime("2016/05/22","%Y/%m/%d") #将 日期字符串 转成 struct时间对象格式
 # print(string_2_struct)
 # #
 # struct_2_stamp = time.mktime(string_2_struct) #将struct时间对象转成时间戳
 # print(struct_2_stamp)

 #将时间戳转为字符串格式
 # print(time.gmtime(time.time()-86640)) #将utc时间戳转换成struct_time格式
 # print(time.strftime("%Y-%m-%d %H:%M:%S",time.gmtime()) ) #将utc struct_time格式转成指定的字符串格式

 #时间加减
 import datetime

 # print(datetime.datetime.now()) #返回 2016-08-19 12:47:03.941925
 #print(datetime.date.fromtimestamp(time.time()) )  # 时间戳直接转成日期格式 2016-08-19
 # print(datetime.datetime.now() )
 # print(datetime.datetime.now() + datetime.timedelta(3)) #当前时间+3天
 # print(datetime.datetime.now() + datetime.timedelta(-3)) #当前时间-3天
 # print(datetime.datetime.now() + datetime.timedelta(hours=3)) #当前时间+3小时
 # print(datetime.datetime.now() + datetime.timedelta(minutes=30)) #当前时间+30分

 #
 # c_time  = datetime.datetime.now()
 # print(c_time.replace(minute=3,hour=2)) #时间替换

Directive	Meaning	Notes
%a	Locale’s abbreviated weekday name.
%A	Locale’s full weekday name.
%b	Locale’s abbreviated month name.
%B	Locale’s full month name.
%c	Locale’s appropriate date and time representation.
%d	Day of the month as a decimal number [01,31].
%H	Hour (24-hour clock) as a decimal number [00,23].
%I	Hour (12-hour clock) as a decimal number [01,12].
%j	Day of the year as a decimal number [001,366].
%m	Month as a decimal number [01,12].
%M	Minute as a decimal number [00,59].
%p	Locale’s equivalent of either AM or PM.	(1)
%S	Second as a decimal number [00,61].	(2)
%U	Week number of the year (Sunday as the first day of the week) as a decimal number [00,53]. All days in a new year preceding the first Sunday are considered to be in week 0.	(3)
%w	Weekday as a decimal number [0(Sunday),6].
%W	Week number of the year (Monday as the first day of the week) as a decimal number [00,53]. All days in a new year preceding the first Monday are considered to be in week 0.	(3)
%x	Locale’s appropriate date representation.
%X	Locale’s appropriate time representation.
%y	Year without century as a decimal number [00,99].
%Y	Year with century as a decimal number.
%z	Time zone offset indicating a positive or negative time difference from UTC/GMT of the form +HHMM or -HHMM, where H represents decimal hour digits and M represents decimal minute digits [-23:59, +23:59].
%Z	Time zone name (no characters if no time zone exists).
%%	A literal '%' character.

3.random模块（随机数模块）

 import random
 print(random.random())
 print(random.randint(1,2)) #在1-2之间取一个随机数字
 print(random.randrange(1,10)) #在1-10之间取一个随机数字

高逼格应用（生成随机验证码）

 import random
 checkcode = ''
 for i in range(4):
     current = random.randrange(0,4)
     if current != i:
         temp = chr(random.randint(65,90))
     else:
         temp = random.randint(0,9)
         checkcode += str(temp)
 print (checkcode)    

4.os模块***【灰常重要】

提供对操作系统进行调用的接口

 os.getcwd() 获取当前工作目录，即当前python脚本工作的目录路径
 os.chdir("dirname")  改变当前脚本工作目录；相当于shell下cd
 os.curdir  返回当前目录: ('.')
 os.pardir  获取当前目录的父目录字符串名：('..')
 os.makedirs('dirname1/dirname2')    可生成多层递归目录
 os.removedirs('dirname1')    若目录为空，则删除，并递归到上一级目录，如若也为空，则删除，依此类推
 os.mkdir('dirname')    生成单级目录；相当于shell中mkdir dirname
 os.rmdir('dirname')    删除单级空目录，若目录不为空则无法删除，报错；相当于shell中rmdir dirname
 os.listdir('dirname')    列出指定目录下的所有文件和子目录，包括隐藏文件，并以列表方式打印
 os.remove()  删除一个文件
 os.rename("oldname","newname")  重命名文件/目录
 os.stat('path/filename')  获取文件/目录信息
 os.sep    输出操作系统特定的路径分隔符，win下为"\\",Linux下为"/"
 os.linesep    输出当前平台使用的行终止符，win下为"\t\n",Linux下为"\n"
 os.pathsep    输出用于分割文件路径的字符串
 os.name    输出字符串指示当前使用平台。win->'nt'; Linux->'posix'
 os.system("bash command")  运行shell命令，直接显示
 os.environ  获取系统环境变量
 os.path.abspath(path)  返回path规范化的绝对路径
 os.path.split(path)  将path分割成目录和文件名二元组返回
 os.path.dirname(path)  返回path的目录。其实就是os.path.split(path)的第一个元素
 os.path.basename(path)  返回path最后的文件名。如何path以／或\结尾，那么就会返回空值。即os.path.split(path)的第二个元素
 os.path.exists(path)  如果path存在，返回True；如果path不存在，返回False
 os.path.isabs(path)  如果path是绝对路径，返回True
 os.path.isfile(path)  如果path是一个存在的文件，返回True。否则返回False
 os.path.isdir(path)  如果path是一个存在的目录，则返回True。否则返回False
 os.path.join(path1[, path2[, ...]])  将多个路径组合后返回，第一个绝对路径之前的参数将被忽略
 os.path.getatime(path)  返回path所指向的文件或者目录的最后存取时间
 os.path.getmtime(path)  返回path所指向的文件或者目录的最后修改时间

5.sys模块

 sys.argv           命令行参数List，第一个元素是程序本身路径
 sys.exit(n)        退出程序，正常退出时exit(0)
 sys.version        获取Python解释程序的版本信息
 sys.maxint         最大的Int值
 sys.path           返回模块的搜索路径，初始化时使用PYTHONPATH环境变量的值
 sys.platform       返回操作系统平台名称
 sys.stdout.write('please:')
 val = sys.stdin.readline()[:-1]

6.json 和 pickle

7.shelve 模块模块

shelve模块是一个简单的k,v将内存数据通过文件持久化的模块，可以持久化任何pickle可支持的python数据格式

 import shelve
 d = shelve.open('shelve_test') #打开一个文件
 class Test(object):
     def __init__(self,n):
         self.n = n
 t = Test(123)
 t2 = Test(123334)
 name = ["alex","rain","test"]
 d["test"] = name #持久化列表
 d["t1"] = t      #持久化类
 d["t2"] = t2
 d.close()

8.xml处理模块

xml是实现不同语言或程序之间进行数据交换的协议，跟json差不多，但json使用起来更简单，不过，古时候，在json还没诞生的黑暗年代，大家只能选择用xml呀，至今很多传统公司如金融行业的很多系统的接口还主要是xml。

xml的格式如下，就是通过<>节点来区别数据结构的:

 <?xml version="1.0"?>
 <data>
     <country name="Liechtenstein">
         <rank updated="yes">2</rank>
         <year>2008</year>
         <gdppc>141100</gdppc>
         <neighbor name="Austria" direction="E"/>
         <neighbor name="Switzerland" direction="W"/>
     </country>
     <country name="Singapore">
         <rank updated="yes">5</rank>
         <year>2011</year>
         <gdppc>59900</gdppc>
         <neighbor name="Malaysia" direction="N"/>
     </country>
     <country name="Panama">
         <rank updated="yes">69</rank>
         <year>2011</year>
         <gdppc>13600</gdppc>
         <neighbor name="Costa Rica" direction="W"/>
         <neighbor name="Colombia" direction="E"/>
     </country>
 </data>

xml协议在各个语言里的都 是支持的，在python中可以用以下模块操作xml

 import xml.etree.ElementTree as ET
 tree = ET.parse("xmltest.xml")
 root = tree.getroot()
 print(root.tag)
 #遍历xml文档
 for child in root:
     print(child.tag, child.attrib)
     for i in child:
         print(i.tag,i.text)
 #只遍历year 节点
 for node in root.iter('year'):
     print(node.tag,node.text)

修改和删除xml文档内容

 import xml.etree.ElementTree as ET
 tree = ET.parse("xmltest.xml")
 root = tree.getroot()

 #修改
 for node in root.iter('year'):
     new_year = int(node.text) + 1
     node.text = str(new_year)
     node.set("updated","yes")
 tree.write("xmltest.xml")

 #删除node
 for country in root.findall('country'):
    rank = int(country.find('rank').text)
    if rank > 50:
      root.remove(country)
 tree.write('output.xml')

自己创建xml文档

 import xml.etree.ElementTree as ET
 new_xml = ET.Element("namelist")
 name = ET.SubElement(new_xml,"name",attrib={"enrolled":"yes"})
 age = ET.SubElement(name,"age",attrib={"checked":"no"})
 sex = ET.SubElement(name,"sex")
 sex.text = ''
 name2 = ET.SubElement(new_xml,"name",attrib={"enrolled":"no"})
 age = ET.SubElement(name2,"age")
 age.text = ''
 et = ET.ElementTree(new_xml) #生成文档对象
 et.write("test.xml", encoding="utf-8",xml_declaration=True)
 ET.dump(new_xml) #打印生成的格式 

9.ConfigParser模块(配置文件操作)

用于生成和修改常见配置文档，当前模块的名称在 python 3.x 版本中变更为 configparser。

来看一个好多软件的常见文档格式如下

 [DEFAULT]
 ServerAliveInterval = 45
 Compression = yes
 CompressionLevel = 9
 ForwardX11 = yes

 [bitbucket.org]
 User = hg

 [topsecret.server.com]
 Port = 50022
 ForwardX11 = no

如何使用configparser模块生成一个配置文件文档

 import configparser
 config = configparser.ConfigParser()
 config["DEFAULT"] = {'ServerAliveInterval': '',
                       'Compression': 'yes',
                      'CompressionLevel': ''}
 config['bitbucket.org'] = {}
 config['bitbucket.org']['User'] = 'hg'
 config['topsecret.server.com'] = {}
 topsecret = config['topsecret.server.com']
 topsecret['Host Port'] = ''     # mutates the parser
 topsecret['ForwardX11'] = 'no'  # same here
 config['DEFAULT']['ForwardX11'] = 'yes'
 with open('example.ini', 'w') as configfile:
    config.write(configfile) 

读配置文件

 >>> import configparser
 >>> config = configparser.ConfigParser()
 >>> config.sections()
 []
 >>> config.read('example.ini')
 ['example.ini']
 >>> config.sections()
 ['bitbucket.org', 'topsecret.server.com']
 >>> 'bitbucket.org' in config
 True
 >>> 'bytebong.com' in config
 False
 >>> config['bitbucket.org']['User']
 'hg'
 >>> config['DEFAULT']['Compression']
 'yes'
 >>> topsecret = config['topsecret.server.com']
 >>> topsecret['ForwardX11']
 'no'
 >>> topsecret['Port']
 ''
 >>> for key in config['bitbucket.org']: print(key)
 ...
 user
 compressionlevel
 serveraliveinterval
 compression
 forwardx11
 >>> config['bitbucket.org']['ForwardX11']
 'yes'   

configparser增删改查语法

 [section1]
 k1 = v1
 k2:v2
 [section2]
 k1 = v1

 import ConfigParser
 config = ConfigParser.ConfigParser()
 config.read('i.cfg')

 # ########## 读 ##########
 #secs = config.sections()
 #print secs
 #options = config.options('group2')
 #print options
 #item_list = config.items('group2')
 #print item_list
 #val = config.get('group1','key')
 #val = config.getint('group1','key')

 # ########## 改写 ##########
 #sec = config.remove_section('group1')
 #config.write(open('i.cfg', "w"))
 #sec = config.has_section('wupeiqi')
 #sec = config.add_section('wupeiqi')
 #config.write(open('i.cfg', "w"))
 #config.set('group2','k1',11111)
 #config.write(open('i.cfg', "w"))
 #config.remove_option('group2','age')
 #config.write(open('i.cfg', "w"))

hashlib模块

用于加密相关的操作，3.x里代替了md5模块和sha模块，主要提供 SHA1, SHA224, SHA256, SHA384, SHA512 ，MD5 算法

import hashlib
m = hashlib.md5()
m.update(b"Hello")
m.update(b"It's me")
print(m.digest())
m.update(b"It's been a long time since last time we ...")
print(m.digest()) #2进制格式hash
print(len(m.hexdigest())) #16进制格式hash
'''
def digest(self, *args, **kwargs): # real signature unknown
    """ Return the digest value as a string of binary data. """
    pass
def hexdigest(self, *args, **kwargs): # real signature unknown
    """ Return the digest value as a string of hexadecimal digits. """
    pass
'''
import hashlib

# ######## md5 ########
hash = hashlib.md5()
hash.update('admin')
print(hash.hexdigest())

# ######## sha1 ########
hash = hashlib.sha1()
hash.update('admin')
print(hash.hexdigest())

# ######## sha256 ########
hash = hashlib.sha256()
hash.update('admin')
print(hash.hexdigest())

# ######## sha384 ########
hash = hashlib.sha384()
hash.update('admin')
print(hash.hexdigest())

# ######## sha512 ########
hash = hashlib.sha512()
hash.update('admin')
print(hash.hexdigest())    

python 还有一个 hmac 模块，它内部对我们创建 key 和 内容 再进行处理然后再加密

散列消息鉴别码，简称HMAC，是一种基于消息鉴别码MAC（Message Authentication Code）的鉴别机制。使用HMAC时,消息通讯的双方，通过验证消息中加入的鉴别密钥K来鉴别消息的真伪；

一般用于网络通信中消息加密，前提是双方先要约定好key,就像接头暗号一样，然后消息发送把用key把消息加密，接收方用key ＋ 消息明文再加密，拿加密后的值 跟 发送者的相对比是否相等，这样就能验证消息的真实性，及发送者的合法性了。

 import hmac
 h = hmac.new(b'天王盖地虎', b'宝塔镇河妖')
 print h.hexdigest()

更多关于md5,sha1,sha256等介绍的文章看这里https://www.tbs-certificates.co.uk/FAQ/en/sha256.html

Subprocess模块 

常用subprocess方法示例

---

#执行命令，返回命令执行状态 ， 0 or 非0 >>> retcode = subprocess.call(["ls", "-l"])

#执行命令，如果命令结果为0，就正常返回，否则抛异常 >>> subprocess.check_call(["ls", "-l"]) 0

#接收字符串格式命令，返回元组形式，第1个元素是执行状态，第2个是命令结果 >>> subprocess.getstatusoutput('ls /bin/ls') (0, '/bin/ls')

#接收字符串格式命令，并返回结果 >>> subprocess.getoutput('ls /bin/ls') '/bin/ls'

#执行命令，并返回结果，注意是返回结果，不是打印，下例结果返回给res >>> res=subprocess.check_output(['ls','-l']) >>> res b'total 0\ndrwxr-xr-x  12 alex  staff  408 Nov  2 11:05 OldBoyCRM\n'

#上面那些方法，底层都是封装的subprocess.Popen poll()     Check if child process has terminated.  Returns returncode

wait()     Wait for child process to terminate.  Returns returncode attribute.

terminate() 杀掉所启动进程 communicate()  等待任务结束

stdin 标准输入
stdout 标准输出
stderr 标准错误

pid     The process ID of the child process.

#例子

>>> p = subprocess.Popen("df -h|grep disk",stdin=subprocess.PIPE,stdout=subprocess.PIPE,shell=True)
>>> p.stdout.read()
b'/dev/disk1     465Gi   64Gi  400Gi    14% 16901472 104938142   14%   /\n'

---

 >>> subprocess.run(["ls", "-l"])  # doesn't capture output
 CompletedProcess(args=['ls', '-l'], returncode=0)
 >>> subprocess.run("exit 1", shell=True, check=True)
 Traceback (most recent call last):
   ...
 subprocess.CalledProcessError: Command 'exit 1' returned non-zero exit status 1
 >>> subprocess.run(["ls", "-l", "/dev/null"], stdout=subprocess.PIPE)
 CompletedProcess(args=['ls', '-l', '/dev/null'], returncode=0,
 stdout=b'crw-rw-rw- 1 root root 1, 3 Jan 23 16:23 /dev/null\n')