Python基础-模块与包
一、如何使用模块
上篇文章已经简单介绍了模块及模块的优点,这里着重整理一下模块的使用细节。
1. import
示例文件:spam.py,文件名spam.py,模块名spam
- #spam.py
- print('from the spam.py')
- money=1000
- def read1():
- print('spam->read1->money',1000)
- def read2():
- print('spam->read2 calling read')
- read1()
- def change():
- global money
- money=0
a. 模块可以包含可执行的语句和函数的定义,这些语句的目的是初始化模块,它们只在模块名第一次遇到import语句时才执行(import语句是可以在程序中的任意位置使用的,且针对同一个模块可以import多次,为了防止重复导入,python的优化手段是:第一次导入后就将模块名加载到内存了,后续的import语句仅是对已经加载到内存中的模块对象增加了一次引用,不会重新执行模块内的语句),如下 :
- #test.py
- import spam #只在第一次导入时才执行spam.py内代码,此处的显式效果是只打印一次'from the spam.py',当然其他的顶级代码也都被执行了,只不过没有显示效果.
- import spam
- import spam
- import spam
- '''
- 执行结果:
- from the spam.py
- '''
如果想重新执行已导入模块里顶层部分的代码,可以用 reload() 函数。该函数会重新导入之前导入过的模块。语法如下:
- #test.py
- import spam #第一次导入spam模块
- from importlib import reload #导入reload函数
- reload(spam) #可以重新载入spam模块;由于是引用内存中的spam模块,若载入之前spam文件发生修改,reload方法不会更新spam
- """
- from the spam.py
- from the spam.py
- """
我们可以从sys.module中找到当前已经加载的模块,sys.module是一个字典,内部包含模块名与模块对象的映射,该字典决定了导入模块时是否需要重新导入。
b. 每个模块都是一个独立的名称空间,定义在这个模块中的函数,把这个模块的名称空间当做全局名称空间,这样我们在编写自己的模块时,就不用担心我们定义在自己模块中全局变量会在被导入时,与使用者的全局变量冲突
- #测试一:money与spam.money不冲突
- #test.py
- import spam
- money=10
- print(spam.money)
- '''
- 执行结果:
- from the spam.py
- 1000
- '''
- #测试二:read1与spam.read1不冲突
- #test.py
- import spam
- def read1():
- print('========')
- spam.read1()
- '''
- 执行结果:
- from the spam.py
- spam->read1->money 1000
- '''
- #测试三:执行spam.change()操作的全局变量money仍然是spam中的
- #test.py
- import spam
- money=1
- spam.change()
- print(money)
- '''
- 执行结果:
- from the spam.py
- 1
- '''
c. 首次导入模块spam时会做三件事:
- 为源文件(spam模块)创建新的名称空间,在spam中定义的函数和方法若是使用到了global时访问的就是这个名称空间。
- 在新创建的命名空间中执行模块中包含的代码,见初始导入import spam(事实上函数定义也是“被执行”的语句,模块级别函数定义的执行将函数名放入模块全局名称空间表,用globals()可以查看)
- 创建名字spam来引用该命名空间。(这个名字和变量名没什么区别,都是‘第一类的’,且使用spam.名字的方式可以访问spam.py文件中定义的名字,spam.名字与test.py中的名字来自两个完全不同的地方)
d. 为模块起别名:import spam as sm
为已经导入的模块起别名的方式对编写可扩展的代码很有用,假设有两个模块xmlreader.py和csvreader.py,它们都定义了函数read_data(filename):用来从文件中读取一些数据,但采用不同的输入格式。可以编写代码来选择性地挑选读取模块,例如:
- if file_format == 'xml':
- import xmlreader as reader
- elif file_format == 'csv':
- import csvreader as reader
- data=reader.read_date(filename)
e. 在一行导入多个模块:import sys, os, re
2. from ... import ...
a. from spam import read1
对比import spam,会将源文件的名称空间'spam'带到当前名称空间中,使用时必须是‘spam.名字’的方式。而from语句相当于import,也会创建新的名称空间,但是将spam中的名字直接导入到当前的名称空间中,在当前名称空间中,直接使用名字就可以了。
- from spam import read1,read2
这样在当前位置直接使用read1和read2就好了,执行时,仍然以spam.py文件全局名称空间
- #测试一:导入的函数read1,执行时仍然回到spam.py中寻找全局变量money
- #test.py
- from spam import read1
- money=1000
- read1()
- '''
- 执行结果:
- from the spam.py
- spam->read1->money 1000
- '''
- #测试二:导入的函数read2,执行时需要调用read1(),仍然回到spam.py中找read1()
- #test.py
- from spam import read2
- def read1():
- print('==========')
- read2()
- '''
- 执行结果:
- from the spam.py
- spam->read2 calling read
- spam->read1->money 1000
- '''
如果当前有重名read1或者read2,那么会有覆盖效果。
- #测试三:导入的函数read1,被当前位置定义的read1覆盖掉了
- #test.py
- from spam import read1
- def read1():
- print('==========')
- read1()
- '''
- 执行结果:
- from the spam.py
- ==========
- '''
需要特别强调的一点是:python中的变量赋值不是一种存储操作,而只是一种绑定关系,如下:
- from spam import money,read1
- money=100 #将当前位置的名字money绑定到了100
- print(money) #打印当前的名字
- read1() #读取spam.py中的名字money,仍然为1000
- '''
- from the spam.py
- 100
- spam->read1->money 1000
- '''
b. 同样支持别名:
- from spam import read1 as read
c. 支持多行导入:
- from spam import (read1,
- read2,
- money)
d. from spam import *
把spam中所有的不是以下划线(_)开头的名字都导入到当前位置,大部分情况下我们的python程序不应该使用这种导入方式,因为在*中,你不知道你导入什么名字,很有可能会覆盖掉你之前已经定义的名字。而且可读性极其的差,在交互式环境中导入时没有问题。
- from spam import * #将模块spam中所有的名字都导入到当前名称空间
- print(money)
- print(read1)
- print(read2)
- print(change)
- '''
- 执行结果:
- from the spam.py
- 1000
- <function read1 at 0x1012e8158>
- <function read2 at 0x1012e81e0>
- <function change at 0x1012e8268>
- '''
可以使用__all__来控制*(用来发布新版本);在spam.py中新增一行:
- __all__=['money','read1'] #这样在另外一个文件中用from spam import *就只能导入列表中规定的两个名字
3. reload()
考虑到性能的原因,每个模块只被导入一次,放入字典sys.module中,如果你改变了模块的内容,你必须重启程序,python不支持重新加载或卸载之前导入的模块。
有的同学可能会想到直接从sys.module中删除一个模块不就可以卸载了吗,注意了,你删了sys.module中的模块对象仍然可能被其他程序的组件所引用,因而不会被清除。
特别的对于我们引用了这个模块中的一个类,用这个类产生了很多对象,因而这些对象都有关于这个模块的引用。
如果只是想交互测试的一个模块,使用 importlib.reload();e.g. import importlib; importlib.reload(modulename),这只能用于测试环境。
- #aa.py
1 def func1():- print('func1')
- import time, importlib
- import aa
- time.sleep(20)
- importlib.reload(aa)
- aa.func1()
在20秒的等待时间里,修改aa.py中func1的内容,等待test.py的结果。
4. 把模块当作脚本执行
我们可以通过模块的全局变量__name__来查看模块名:
- 当做脚本运行:__name__ 等于'__main__'
- 当做模块导入:__name__=
作用:用来控制.py文件在不同的应用场景下执行不同的逻辑:
- #fib.py
- def fib(n): # write Fibonacci series up to n
- a, b = 0, 1
- while b < n:
- print(b, end=' ')
- a, b = b, a+b
- print()
- def fib2(n): # return Fibonacci series up to n
- result = []
- a, b = 0, 1
- while b < n:
- result.append(b)
- a, b = b, a+b
- return result
- if __name__ == "__main__":
- import sys
- fib(int(sys.argv[1]))
执行:
- #python fib.py <arguments>
- python fib.py 50 #在命令行
- #运行结果:
#1 1 2 3 5 8 13 21 34
二、模块的搜索路径
python解释器在启动时会自动加载一些模块,可以使用sys.modules查看
在第一次导入某个模块时(比如spam),会先检查该模块是否已经被加载到内存中(当前执行文件的名称空间对应的内存),如果有则直接引用;如果没有,解释器则会查找同名的内建模块,如果还没有找到就从sys.path给出的目录列表中依次寻找spam.py文件。
结论:模块的查找顺序是:内存中已经加载的模块--->内置模块--->sys.path路径中包含的模块
在初始化后,python程序可以修改sys.path,路径放到前面的优先于标准库被加载。
- >>> import sys
- >>> sys.path.append('/a/b/c/d')
- >>> sys.path.insert(0,'/x/y/z') #排在前的目录,优先被搜索
注意:搜索时按照sys.path中从左到右的顺序查找,位于前的优先被查找,sys.path中还可能包含.zip归档文件和.egg文件,python会把.zip归档文件当成一个目录去处理。
- #首先制作归档文件:zip module.zip foo.py bar.py
- import sys
- sys.path.append('module.zip')
- import foo,bar
- #也可以使用zip中目录结构的具体位置
- sys.path.append('module.zip/lib/python')
至于.egg文件是由setuptools创建的包,这是按照第三方python库和扩展时使用的一种常见格式,.egg文件实际上只是添加了额外元数据(如版本号,依赖项等)的.zip文件。
需要强调的一点是:只能从.zip文件中导入.py,.pyc等文件。使用C编写的共享库和扩展块无法直接从.zip文件中加载(此时setuptools等打包系统有时能提供一种规避方法),且从.zip中加载文件不会创建.pyc或者.pyo文件,因此一定要事先创建他们,来避免加载模块时性能下降。
三、编译python文件
为了提高模块的加载速度,Python缓存编译的版本,每个模块在__pycache__目录下的以module.version.pyc的形式命名,通常包含了python的版本号,如在CPython版本3.3,关于spam.py的编译版本将被缓存成__pycache__/spam.cpython-33.pyc,这种命名约定允许不同的版本,不同版本的Python编写模块共存。
Python检查源文件的修改时间与编译的版本进行对比,如果过期就需要重新编译。这是完全自动的过程。并且编译的模块是平台独立的,所以相同的库可以在不同的架构的系统之间共享,即pyc是一种跨平台的字节码,类似于JAVA火.NET,是由python虚拟机来执行的,但是pyc的内容跟python的版本相关,不同的版本编译后的pyc文件不同,2.5编译的pyc文件不能到3.5上执行,并且pyc文件是可以反编译的,因而它的出现仅仅是用来提升模块的加载速度的。
提示:
- 模块名区分大小写,foo.py与FOO.py代表的是两个模块
- 可以使用-O或者-OO转换python命令来减少编译模块的大小
- -O转换会帮你去掉assert语句
- -OO转换会帮你去掉assert语句和__doc__文档字符串
- 由于一些程序可能依赖于assert语句或文档字符串,你应该在确认需要的情况下使用这些选项。
- 在速度上从.pyc文件中读指令来执行不会比从.py文件中读指令执行更快,只有在模块被加载时,.pyc文件才是更快的
- 只有使用import语句时才将文件自动编译为.pyc文件,在命令行或标准输入中指定运行脚本则不会生成这类文件,因而我们可以使用compieall模块为一个目录中的所有模块创建.pyc文件
- 模块可以作为一个脚本(使用python -m compileall)编译Python源
- python -m compileall /module_directory 递归着编译
- 如果使用python -O -m compileall /module_directory -l则只一层
- 命令行里使用compile()函数时,自动使用python -O -m compileall
- 详见:https://docs.python.org/3/library/compileall.html#module-compileall
四、包
包是一个分层次的文件目录结构,它定义了一个由模块及子包,和子包下的子包等组成的 Python 的应用环境。
简单来说,包就是文件夹,但该文件夹下必须存在 __init__.py 文件, 该文件的内容可以为空。__init__.py用于标识当前文件夹是一个包。
- glance/ #Top-level package
- ├── __init__.py #Initialize the glance package
- ├── api #Subpackage for api
- │ ├── __init__.py
- │ ├── policy.py
- │ └── versions.py
- ├── cmd #Subpackage for cmd
- │ ├── __init__.py
- │ └── manage.py
- └── db #Subpackage for db
- ├── __init__.py
- └── models.py
测试包目录结构
- #文件内容
- #policy.py
- def get():
- print('from policy.py')
- #versions.py
- def create_resource(conf):
- print('from version.py: ',conf)
- #manage.py
- def main():
- print('from manage.py')
- #models.py
- def register_models(engine):
- print('from models.py: ',engine)
测试包内模块文件内容
1. 包的使用
Packages are a way of structuring Python’s module namespace by using “dotted module names”
包是一种通过使用‘.模块名’来组织python模块名称空间的方式。
无论是import形式还是from...import形式,凡是在导入语句中(而不是在使用时)遇到带点的,都要第一时间提高警觉:这是关于包才有的导入语法
注意事项:
- 在导入时都必须遵循一个原则:凡是在导入时带点的,点的左边都必须是一个包,否则非法。可以带有一连串的点,如item.subitem.subsubitem,但都必须遵循这个原则
- 对于导入后,在使用时就没有这种限制了,点的左边可以是包,模块,函数,类(它们都可以用点的方式调用自己的属性)
- 对比import item 和from item import name的应用场景:如果我们想直接使用name那必须使用后者
2. import
我们在与包glance同级别的文件中测试
- import glance.db.models
- glance.db.models.register_models('mysql')
3. from ... import ...
需要注意的是from后import导入的模块,必须是明确的一个,不能带点,否则会有语法错误,如:from a import b.c是错误语法
我们在与包glance同级别的文件中测试
- from glance.db import models
- models.register_models('mysql')
- from glance.db.models import register_models
- register_models('mysql')
4. __init__.py
不管是哪种方式,只要是第一次导入包或者是包的任何其他部分,都会依次执行包下的__init__.py文件(我们可以在每个包的文件内都打印一行内容来验证一下),这个文件可以为空,但是也可以存放一些初始化包的代码。
5. from glance.api import *
在讲模块时,我们已经讨论过了从一个模块内导入所有*,此处我们研究从一个包导入所有*。
此处是想从包api中导入所有,实际上该语句只会导入包api下__init__.py文件中定义的名字,我们可以在这个文件中定义__all___:
- #在__init__.py中定义
- x=10
- def func():
- print('from api.__init.py')
- __all__=['x','func','policy']
此时我们在与glance同级的文件中执行from glance.api import *就导入__all__中的内容(versions仍然不能导入)。
6. 绝对导入和相对导入
我们的最顶级包glance是写给别人用的,然后在glance包内部也会有彼此之间互相导入的需求,这时候就有绝对导入和相对导入两种方式:
- 绝对导入:以glance作为起始
- 相对导入:用.或者..的方式作为起始(只能在一个包中使用,不能用于不同目录内)
例如:我们在glance/api/version.py中想要导入glance/cmd/manage.py
- 在glance/api/version.py
- #绝对导入
- from glance.cmd import manage
- manage.main()
- #相对导入
- from ..cmd import manage #..表示上级目录,此处指cmd目录的上级目录glance
- manage.main()
测试结果:注意一定要在与glance同级的文件中测试
- from glance.api import versions
注意:在使用pycharm时,有的情况会为你多做一些事情,这是软件相关的东西,会影响你对模块导入的理解,因而在测试时,一定要回到命令行去执行,模拟生产环境。
特别需要注意的是:可以用import导入内置或者第三方模块,但是要绝对避免使用import来导入自定义包的子模块,应该使用from... import ...的绝对或者相对导入,且包的相对导入只能用from的形式。
比如我们想在glance/api/versions.py中导入glance/api/policy.py,有的同学一抽这俩模块是在同一个目录下,十分开心的就去做了,它直接这么做:
- #在version.py中
- import policy
- policy.get()
没错,我们单独运行version.py是一点问题没有的,运行version.py的路径搜索就是从当前路径开始的,于是在导入policy时能在当前目录下找到;
但是你想啊,你子包中的模块version.py极有可能是被一个glance包同一级别的其他文件导入,比如我们在与glance同级下的一个test.py文件中导入version.py,如下:
- from glance.api import versions
- '''
- 执行结果:
- ImportError: No module named 'policy'
- '''
- '''
- 分析:
- 此时我们导入versions在versions.py中执行
- import policy需要找从sys.path也就是从当前目录找policy.py,
- 这必然是找不到的
- '''
7. 单独导入包
单独导入包名称时不会导入包中所有包含的所有子模块,如:
- #在与glance同级的test.py中
- import glance
- glance.cmd.manage.main()
- '''
- 执行结果:
- AttributeError: module 'glance' has no attribute 'cmd'
- '''
解决方法:
- #glance/__init__.py 修改该文件
- from . import cmd #.代表当前目录
- #glance/cmd/__init__.py
- from . import manage
执行:
- #在与glance同级的test.py中
- import glance
- glance.cmd.manage.main()
参考资料:
1. http://www.cnblogs.com/linhaifeng/articles/6379069.html
2. http://www.runoob.com/python/python-modules.html
Python基础-模块与包的更多相关文章
- python基础-------模块与包(一)
模块与包 Python中的py文件我们拿来调用的为之模块:主要有内置模块(Python解释器自带),第三方模块(别的开发者开发的),自定义模块. 目前我们学习的是内置模块与第三方模块. 通过impor ...
- python基础----模块、包
一 模块 ...
- Python基础——模块与包
在Python中,可以用import导入需要的模块.包.库.文件等. 把工作路径导入系统路径 import os#os是工作台 import sys#sys是系统 sys.path.append(os ...
- python基础-------模块与包(四)
configparser模块与 subprcess 利用configparser模块配置一个类似于 windows.ini格式的文件可以包含一个或多个节(section),每个节可以有多个参数(键=值 ...
- python基础-------模块与包(二)
sys模块.logging模块.序列化 一.sys模块 sys.argv 命令行参数List,第一个元素是程序本身路径 sys.exit(n) 退出程序,正常退出时e ...
- python基础-------模块与包(三)正则表达式
re模块正则表达式 正则表达式常用符号: [ re模块使用方法]: match(string[, pos[, endpos]]) | re.match(pattern, string[, flags] ...
- python基础——模块
python基础——模块 在计算机程序的开发过程中,随着程序代码越写越多,在一个文件里代码就会越来越长,越来越不容易维护. 为了编写可维护的代码,我们把很多函数分组,分别放到不同的文件里,这样,每个文 ...
- 自学Python之路-Python基础+模块+面向对象+函数
自学Python之路-Python基础+模块+面向对象+函数 自学Python之路[第一回]:初识Python 1.1 自学Python1.1-简介 1.2 自学Python1.2-环境的 ...
- Python 基础教程之包和类的用法
Python 基础教程之包和类的用法 建立一个文件夹filePackage 在filePackage 文件夹内创建 __init__.py 有了 __init__.py ,filePackage才算是 ...
随机推荐
- Machine learning吴恩达第二周coding作业(选做)
1.Feature Normalization: 归一化的处理 function [X_norm, mu, sigma] = featureNormalize(X) %FEATURENORMALIZE ...
- pycharm下运行unittest的问题
环境: 系统:window7 64 软件:pycharm 版本:2016.3.2 问题描述: 使用unittest类的时候出现问题,问题截图如下 Pycharm 2016.2执行单元测试遇到如下问题: ...
- 高阶篇:4.1.2.2)产品部件级别的QFDII
本章目的:介绍产品部件级别的QFDII编写方法. 1.前言 这章接前面总成级别的QFDII. 产品部件级别的QFDII,其实就是将部件QFDII所得到的设计要求,进一步分配给部件其装配层级的零部件中. ...
- 基于iTop4412的FM收音机系统设计(一)
说明:第一版架构为:APP+JNI(NDK)+Driver(linux),优点是开发简单,周期短,也作为自己的毕业设计 现在更新第二版,FM服务完全植入Android系统中,成为系统服务,架构为:AP ...
- 01背包--hdu2639
hdu-2639 The title of this problem is familiar,isn't it?yeah,if you had took part in the "Rooki ...
- rsa字符串格式公钥转换python rsa库可识别的公钥形式
在爬虫分析的时候,经常在网页上看到如下格式的rsa公钥: MIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQDC7kw8r6tq43pwApYvkJ5laljaN9BZb21 ...
- Flexbox(弹性盒子)
CSS3属性:这是一个可以让你告别浮动.完美实现垂直水平居中的新特性. Flexbox是布局模块,而不是一个简单的属性,它包含父元素和子元素的属性. 属性介绍: 创建Flex容器 .container ...
- 最近总想着写一个模拟alert和confirm插件,代替原生的
msgbox-confirm github: https://github.com/tong-mikasa/msgbox-confirm 主要js代码,scss代码 (function($) { $ ...
- vue中实现国际化--语言切换(转载)
https://segmentfault.com/a/1190000011800593
- Python批量复制迁移文件夹
前言 Python可以利用shutil库进行对文件夹,文件的迁移.而在本次的实践当中,难点在于目标文件夹的名称和数据源文件夹的名称,需要利用 工作单位提供的中间数据去进行对比连接起来. 例如:目标源的 ...