一、如何使用模块

上篇文章已经简单介绍了模块及模块的优点,这里着重整理一下模块的使用细节。

1. import

示例文件:spam.py,文件名spam.py,模块名spam

  1. #spam.py
  2. print('from the spam.py')
  3.  
  4. money=1000
  5.  
  6. def read1():
  7. print('spam->read1->money',1000)
  8.  
  9. def read2():
  10. print('spam->read2 calling read')
  11. read1()
  12.  
  13. def change():
  14. global money
  15. money=0

a. 模块可以包含可执行的语句和函数的定义,这些语句的目的是初始化模块,它们只在模块名第一次遇到import语句时才执行(import语句是可以在程序中的任意位置使用的,且针对同一个模块可以import多次,为了防止重复导入,python的优化手段是:第一次导入后就将模块名加载到内存了,后续的import语句仅是对已经加载到内存中的模块对象增加了一次引用,不会重新执行模块内的语句),如下 :

  1. #test.py
  2. import spam #只在第一次导入时才执行spam.py内代码,此处的显式效果是只打印一次'from the spam.py',当然其他的顶级代码也都被执行了,只不过没有显示效果.
  3. import spam
  4. import spam
  5. import spam
  6.  
  7. '''
  8. 执行结果:
  9. from the spam.py
  10. '''

如果想重新执行已导入模块里顶层部分的代码,可以用 reload() 函数。该函数会重新导入之前导入过的模块。语法如下:

  1. #test.py
  2. import spam #第一次导入spam模块
  3.  
  4. from importlib import reload #导入reload函数
  5. reload(spam) #可以重新载入spam模块;由于是引用内存中的spam模块,若载入之前spam文件发生修改,reload方法不会更新spam
  6.  
  7. """
  8. from the spam.py
  9. from the spam.py
  10. """

我们可以从sys.module中找到当前已经加载的模块,sys.module是一个字典,内部包含模块名与模块对象的映射,该字典决定了导入模块时是否需要重新导入。

b. 每个模块都是一个独立的名称空间,定义在这个模块中的函数,把这个模块的名称空间当做全局名称空间,这样我们在编写自己的模块时,就不用担心我们定义在自己模块中全局变量会在被导入时,与使用者的全局变量冲突

  1. #测试一:money与spam.money不冲突
  2. #test.py
  3. import spam
  4. money=10
  5. print(spam.money)
  6.  
  7. '''
  8. 执行结果:
  9. from the spam.py
  10. 1000
  11. '''
  1. #测试二:read1与spam.read1不冲突
  2. #test.py
  3. import spam
  4. def read1():
  5. print('========')
  6. spam.read1()
  7.  
  8. '''
  9. 执行结果:
  10. from the spam.py
  11. spam->read1->money 1000
  12. '''
  1. #测试三:执行spam.change()操作的全局变量money仍然是spam中的
  2. #test.py
  3. import spam
  4. money=1
  5. spam.change()
  6. print(money)
  7.  
  8. '''
  9. 执行结果:
  10. from the spam.py
  11. 1
  12. '''

c. 首次导入模块spam时会做三件事:

  1. 为源文件(spam模块)创建新的名称空间,在spam中定义的函数和方法若是使用到了global时访问的就是这个名称空间。
  2. 在新创建的命名空间中执行模块中包含的代码,见初始导入import spam(事实上函数定义也是“被执行”的语句,模块级别函数定义的执行将函数名放入模块全局名称空间表,用globals()可以查看)
  3. 创建名字spam来引用该命名空间。(这个名字和变量名没什么区别,都是‘第一类的’,且使用spam.名字的方式可以访问spam.py文件中定义的名字,spam.名字与test.py中的名字来自两个完全不同的地方)

d. 为模块起别名:import spam as sm

为已经导入的模块起别名的方式对编写可扩展的代码很有用,假设有两个模块xmlreader.py和csvreader.py,它们都定义了函数read_data(filename):用来从文件中读取一些数据,但采用不同的输入格式。可以编写代码来选择性地挑选读取模块,例如:

  1. if file_format == 'xml':
  2. import xmlreader as reader
  3. elif file_format == 'csv':
  4. import csvreader as reader
  5. data=reader.read_date(filename)

e. 在一行导入多个模块:import sys, os, re

2. from ... import ...

a. from spam import read1

对比import spam,会将源文件的名称空间'spam'带到当前名称空间中,使用时必须是‘spam.名字’的方式。而from语句相当于import,也会创建新的名称空间,但是将spam中的名字直接导入到当前的名称空间中,在当前名称空间中,直接使用名字就可以了。

  1. from spam import read1,read2

这样在当前位置直接使用read1和read2就好了,执行时,仍然以spam.py文件全局名称空间

  1. #测试一:导入的函数read1,执行时仍然回到spam.py中寻找全局变量money
  2. #test.py
  3. from spam import read1
  4. money=1000
  5. read1()
  6. '''
  7. 执行结果:
  8. from the spam.py
  9. spam->read1->money 1000
  10. '''
  11.  
  12. #测试二:导入的函数read2,执行时需要调用read1(),仍然回到spam.py中找read1()
  13. #test.py
  14. from spam import read2
  15. def read1():
  16. print('==========')
  17. read2()
  18.  
  19. '''
  20. 执行结果:
  21. from the spam.py
  22. spam->read2 calling read
  23. spam->read1->money 1000
  24. '''

如果当前有重名read1或者read2,那么会有覆盖效果。

  1. #测试三:导入的函数read1,被当前位置定义的read1覆盖掉了
  2. #test.py
  3. from spam import read1
  4. def read1():
  5. print('==========')
  6. read1()
  7.  
  8. '''
  9. 执行结果:
  10. from the spam.py
  11. ==========
  12. '''

需要特别强调的一点是:python中的变量赋值不是一种存储操作,而只是一种绑定关系,如下:

  1. from spam import money,read1
  2. money=100 #将当前位置的名字money绑定到了100
  3. print(money) #打印当前的名字
  4. read1() #读取spam.py中的名字money,仍然为1000
  5.  
  6. '''
  7. from the spam.py
  8. 100
  9. spam->read1->money 1000
  10. '''

b. 同样支持别名:

  1. from spam import read1 as read

c. 支持多行导入:

  1. from spam import (read1,
  2. read2,
  3. money)

d. from spam import *

把spam中所有的不是以下划线(_)开头的名字都导入到当前位置,大部分情况下我们的python程序不应该使用这种导入方式,因为在*中,你不知道你导入什么名字,很有可能会覆盖掉你之前已经定义的名字。而且可读性极其的差,在交互式环境中导入时没有问题。

  1. from spam import * #将模块spam中所有的名字都导入到当前名称空间
  2. print(money)
  3. print(read1)
  4. print(read2)
  5. print(change)
  6.  
  7. '''
  8. 执行结果:
  9. from the spam.py
  10. 1000
  11. <function read1 at 0x1012e8158>
  12. <function read2 at 0x1012e81e0>
  13. <function change at 0x1012e8268>
  14. '''

可以使用__all__来控制*(用来发布新版本);在spam.py中新增一行:

  1. __all__=['money','read1'] #这样在另外一个文件中用from spam import *就只能导入列表中规定的两个名字

3. reload()

考虑到性能的原因,每个模块只被导入一次,放入字典sys.module中,如果你改变了模块的内容,你必须重启程序,python不支持重新加载或卸载之前导入的模块。

有的同学可能会想到直接从sys.module中删除一个模块不就可以卸载了吗,注意了,你删了sys.module中的模块对象仍然可能被其他程序的组件所引用,因而不会被清除。

特别的对于我们引用了这个模块中的一个类,用这个类产生了很多对象,因而这些对象都有关于这个模块的引用。

如果只是想交互测试的一个模块,使用 importlib.reload();e.g. import importlib; importlib.reload(modulename),这只能用于测试环境。

  1. #aa.py
    1 def func1():
  2. print('func1')
  1. import time, importlib
  2. import aa
  3.  
  4. time.sleep(20)
  5. importlib.reload(aa)
  6. aa.func1()

在20秒的等待时间里,修改aa.py中func1的内容,等待test.py的结果。

4. 把模块当作脚本执行

我们可以通过模块的全局变量__name__来查看模块名:

  • 当做脚本运行:__name__ 等于'__main__'
  • 当做模块导入:__name__=

作用:用来控制.py文件在不同的应用场景下执行不同的逻辑:

  1. #fib.py
  2.  
  3. def fib(n): # write Fibonacci series up to n
  4. a, b = 0, 1
  5. while b < n:
  6. print(b, end=' ')
  7. a, b = b, a+b
  8. print()
  9.  
  10. def fib2(n): # return Fibonacci series up to n
  11. result = []
  12. a, b = 0, 1
  13. while b < n:
  14. result.append(b)
  15. a, b = b, a+b
  16. return result
  17.  
  18. if __name__ == "__main__":
  19. import sys
  20. fib(int(sys.argv[1]))

执行:

  1. #python fib.py <arguments>
  2. python fib.py 50 #在命令行
  3.  
  4. #运行结果:
    #1 1 2 3 5 8 13 21 34

二、模块的搜索路径

python解释器在启动时会自动加载一些模块,可以使用sys.modules查看

在第一次导入某个模块时(比如spam),会先检查该模块是否已经被加载到内存中(当前执行文件的名称空间对应的内存),如果有则直接引用;如果没有,解释器则会查找同名的内建模块,如果还没有找到就从sys.path给出的目录列表中依次寻找spam.py文件。

结论:模块的查找顺序是:内存中已经加载的模块--->内置模块--->sys.path路径中包含的模块

在初始化后,python程序可以修改sys.path,路径放到前面的优先于标准库被加载。

  1. >>> import sys
  2. >>> sys.path.append('/a/b/c/d')
  3. >>> sys.path.insert(0,'/x/y/z') #排在前的目录,优先被搜索

注意:搜索时按照sys.path中从左到右的顺序查找,位于前的优先被查找,sys.path中还可能包含.zip归档文件和.egg文件,python会把.zip归档文件当成一个目录去处理。

  1. #首先制作归档文件:zip module.zip foo.py bar.py
  2.  
  3. import sys
  4. sys.path.append('module.zip')
  5. import foo,bar
  6.  
  7. #也可以使用zip中目录结构的具体位置
  8. sys.path.append('module.zip/lib/python')

至于.egg文件是由setuptools创建的包,这是按照第三方python库和扩展时使用的一种常见格式,.egg文件实际上只是添加了额外元数据(如版本号,依赖项等)的.zip文件。

需要强调的一点是:只能从.zip文件中导入.py,.pyc等文件。使用C编写的共享库和扩展块无法直接从.zip文件中加载(此时setuptools等打包系统有时能提供一种规避方法),且从.zip中加载文件不会创建.pyc或者.pyo文件,因此一定要事先创建他们,来避免加载模块时性能下降。

三、编译python文件

为了提高模块的加载速度,Python缓存编译的版本,每个模块在__pycache__目录下的以module.version.pyc的形式命名,通常包含了python的版本号,如在CPython版本3.3,关于spam.py的编译版本将被缓存成__pycache__/spam.cpython-33.pyc,这种命名约定允许不同的版本,不同版本的Python编写模块共存。

Python检查源文件的修改时间与编译的版本进行对比,如果过期就需要重新编译。这是完全自动的过程。并且编译的模块是平台独立的,所以相同的库可以在不同的架构的系统之间共享,即pyc是一种跨平台的字节码,类似于JAVA火.NET,是由python虚拟机来执行的,但是pyc的内容跟python的版本相关,不同的版本编译后的pyc文件不同,2.5编译的pyc文件不能到3.5上执行,并且pyc文件是可以反编译的,因而它的出现仅仅是用来提升模块的加载速度的。

提示:

  • 模块名区分大小写,foo.py与FOO.py代表的是两个模块
  • 可以使用-O或者-OO转换python命令来减少编译模块的大小
  1. -O转换会帮你去掉assert语句
  2. -OO转换会帮你去掉assert语句和__doc__文档字符串
  3. 由于一些程序可能依赖于assert语句或文档字符串,你应该在确认需要的情况下使用这些选项。
  • 在速度上从.pyc文件中读指令来执行不会比从.py文件中读指令执行更快,只有在模块被加载时,.pyc文件才是更快的
  • 只有使用import语句时才将文件自动编译为.pyc文件,在命令行或标准输入中指定运行脚本则不会生成这类文件,因而我们可以使用compieall模块为一个目录中的所有模块创建.pyc文件
  1. 模块可以作为一个脚本(使用python -m compileall)编译Python
  2.  
  3. python -m compileall /module_directory 递归着编译
  4. 如果使用python -O -m compileall /module_directory -l则只一层
  5.  
  6. 命令行里使用compile()函数时,自动使用python -O -m compileall
  7.  
  8. 详见:https://docs.python.org/3/library/compileall.html#module-compileall

四、包

包是一个分层次的文件目录结构,它定义了一个由模块及子包,和子包下的子包等组成的 Python 的应用环境。

简单来说,包就是文件夹,但该文件夹下必须存在 __init__.py 文件, 该文件的内容可以为空。__init__.py用于标识当前文件夹是一个包。

  1. glance/ #Top-level package
  2.  
  3. ├── __init__.py #Initialize the glance package
  4.  
  5. ├── api #Subpackage for api
  6.  
  7. ├── __init__.py
  8.  
  9. ├── policy.py
  10.  
  11. └── versions.py
  12.  
  13. ├── cmd #Subpackage for cmd
  14.  
  15. ├── __init__.py
  16.  
  17. └── manage.py
  18.  
  19. └── db #Subpackage for db
  20.  
  21. ├── __init__.py
  22.  
  23. └── models.py

测试包目录结构

  1. #文件内容
  2.  
  3. #policy.py
  4. def get():
  5. print('from policy.py')
  6.  
  7. #versions.py
  8. def create_resource(conf):
  9. print('from version.py: ',conf)
  10.  
  11. #manage.py
  12. def main():
  13. print('from manage.py')
  14.  
  15. #models.py
  16. def register_models(engine):
  17. print('from models.py: ',engine)

测试包内模块文件内容

1. 包的使用

Packages are a way of structuring Python’s module namespace by using “dotted module names”
  包是一种通过使用‘.模块名’来组织python模块名称空间的方式。

无论是import形式还是from...import形式,凡是在导入语句中(而不是在使用时)遇到带点的,都要第一时间提高警觉:这是关于包才有的导入语法

注意事项:

  • 在导入时都必须遵循一个原则:凡是在导入时带点的,点的左边都必须是一个包,否则非法。可以带有一连串的点,如item.subitem.subsubitem,但都必须遵循这个原则
  • 对于导入后,在使用时就没有这种限制了,点的左边可以是包,模块,函数,类(它们都可以用点的方式调用自己的属性)
  • 对比import item 和from item import name的应用场景:如果我们想直接使用name那必须使用后者

2. import

我们在与包glance同级别的文件中测试

  1. import glance.db.models
  2. glance.db.models.register_models('mysql') 

3. from ... import ...

需要注意的是from后import导入的模块,必须是明确的一个,不能带点,否则会有语法错误,如:from a import b.c是错误语法

我们在与包glance同级别的文件中测试

  1. from glance.db import models
  2. models.register_models('mysql')
  3.  
  4. from glance.db.models import register_models
  5. register_models('mysql')

4. __init__.py

不管是哪种方式,只要是第一次导入包或者是包的任何其他部分,都会依次执行包下的__init__.py文件(我们可以在每个包的文件内都打印一行内容来验证一下),这个文件可以为空,但是也可以存放一些初始化包的代码。

5. from glance.api import *

在讲模块时,我们已经讨论过了从一个模块内导入所有*,此处我们研究从一个包导入所有*。

此处是想从包api中导入所有,实际上该语句只会导入包api下__init__.py文件中定义的名字,我们可以在这个文件中定义__all___:

  1. #在__init__.py中定义
  2. x=10
  3.  
  4. def func():
  5. print('from api.__init.py')
  6.  
  7. __all__=['x','func','policy']

此时我们在与glance同级的文件中执行from glance.api import *就导入__all__中的内容(versions仍然不能导入)。

6. 绝对导入和相对导入

我们的最顶级包glance是写给别人用的,然后在glance包内部也会有彼此之间互相导入的需求,这时候就有绝对导入和相对导入两种方式:

  • 绝对导入:以glance作为起始
  • 相对导入:用.或者..的方式作为起始(只能在一个包中使用,不能用于不同目录内)

例如:我们在glance/api/version.py中想要导入glance/cmd/manage.py

  1. glance/api/version.py
  2.  
  3. #绝对导入
  4. from glance.cmd import manage
  5. manage.main()
  6.  
  7. #相对导入
  8. from ..cmd import manage #..表示上级目录,此处指cmd目录的上级目录glance
  9. manage.main()

测试结果:注意一定要在与glance同级的文件中测试

  1. from glance.api import versions 

注意:在使用pycharm时,有的情况会为你多做一些事情,这是软件相关的东西,会影响你对模块导入的理解,因而在测试时,一定要回到命令行去执行,模拟生产环境。

特别需要注意的是:可以用import导入内置或者第三方模块,但是要绝对避免使用import来导入自定义包的子模块,应该使用from... import ...的绝对或者相对导入,且包的相对导入只能用from的形式。

比如我们想在glance/api/versions.py中导入glance/api/policy.py,有的同学一抽这俩模块是在同一个目录下,十分开心的就去做了,它直接这么做:

  1. #在version.py中
  2.  
  3. import policy
  4. policy.get()

没错,我们单独运行version.py是一点问题没有的,运行version.py的路径搜索就是从当前路径开始的,于是在导入policy时能在当前目录下找到;

但是你想啊,你子包中的模块version.py极有可能是被一个glance包同一级别的其他文件导入,比如我们在与glance同级下的一个test.py文件中导入version.py,如下:

  1. from glance.api import versions
  2.  
  3. '''
  4. 执行结果:
  5. ImportError: No module named 'policy'
  6. '''
  7.  
  8. '''
  9. 分析:
  10. 此时我们导入versions在versions.py中执行
  11. import policy需要找从sys.path也就是从当前目录找policy.py,
  12. 这必然是找不到的
  13. '''

7. 单独导入包

单独导入包名称时不会导入包中所有包含的所有子模块,如:

  1. #在与glance同级的test.py中
  2. import glance
  3. glance.cmd.manage.main()
  4.  
  5. '''
  6. 执行结果:
  7. AttributeError: module 'glance' has no attribute 'cmd'
  8.  
  9. '''

解决方法:

  1. #glance/__init__.py 修改该文件
  2. from . import cmd #.代表当前目录
  3.  
  4. #glance/cmd/__init__.py
  5. from . import manage

执行:

  1. #在与glance同级的test.py中
  2. import glance
  3. glance.cmd.manage.main()

参考资料:

1. http://www.cnblogs.com/linhaifeng/articles/6379069.html

2. http://www.runoob.com/python/python-modules.html

Python基础-模块与包的更多相关文章

  1. python基础-------模块与包(一)

    模块与包 Python中的py文件我们拿来调用的为之模块:主要有内置模块(Python解释器自带),第三方模块(别的开发者开发的),自定义模块. 目前我们学习的是内置模块与第三方模块. 通过impor ...

  2. python基础----模块、包

    一 模块                                                                                                 ...

  3. Python基础——模块与包

    在Python中,可以用import导入需要的模块.包.库.文件等. 把工作路径导入系统路径 import os#os是工作台 import sys#sys是系统 sys.path.append(os ...

  4. python基础-------模块与包(四)

    configparser模块与 subprcess 利用configparser模块配置一个类似于 windows.ini格式的文件可以包含一个或多个节(section),每个节可以有多个参数(键=值 ...

  5. python基础-------模块与包(二)

    sys模块.logging模块.序列化 一.sys模块 sys.argv           命令行参数List,第一个元素是程序本身路径 sys.exit(n)        退出程序,正常退出时e ...

  6. python基础-------模块与包(三)正则表达式

    re模块正则表达式 正则表达式常用符号: [ re模块使用方法]: match(string[, pos[, endpos]]) | re.match(pattern, string[, flags] ...

  7. python基础——模块

    python基础——模块 在计算机程序的开发过程中,随着程序代码越写越多,在一个文件里代码就会越来越长,越来越不容易维护. 为了编写可维护的代码,我们把很多函数分组,分别放到不同的文件里,这样,每个文 ...

  8. 自学Python之路-Python基础+模块+面向对象+函数

    自学Python之路-Python基础+模块+面向对象+函数 自学Python之路[第一回]:初识Python    1.1 自学Python1.1-简介    1.2 自学Python1.2-环境的 ...

  9. Python 基础教程之包和类的用法

    Python 基础教程之包和类的用法 建立一个文件夹filePackage 在filePackage 文件夹内创建 __init__.py 有了 __init__.py ,filePackage才算是 ...

随机推荐

  1. Machine learning吴恩达第二周coding作业(选做)

    1.Feature Normalization: 归一化的处理 function [X_norm, mu, sigma] = featureNormalize(X) %FEATURENORMALIZE ...

  2. pycharm下运行unittest的问题

    环境: 系统:window7 64 软件:pycharm 版本:2016.3.2 问题描述: 使用unittest类的时候出现问题,问题截图如下 Pycharm 2016.2执行单元测试遇到如下问题: ...

  3. 高阶篇:4.1.2.2)产品部件级别的QFDII

    本章目的:介绍产品部件级别的QFDII编写方法. 1.前言 这章接前面总成级别的QFDII. 产品部件级别的QFDII,其实就是将部件QFDII所得到的设计要求,进一步分配给部件其装配层级的零部件中. ...

  4. 基于iTop4412的FM收音机系统设计(一)

    说明:第一版架构为:APP+JNI(NDK)+Driver(linux),优点是开发简单,周期短,也作为自己的毕业设计 现在更新第二版,FM服务完全植入Android系统中,成为系统服务,架构为:AP ...

  5. 01背包--hdu2639

    hdu-2639 The title of this problem is familiar,isn't it?yeah,if you had took part in the "Rooki ...

  6. rsa字符串格式公钥转换python rsa库可识别的公钥形式

    在爬虫分析的时候,经常在网页上看到如下格式的rsa公钥: MIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQDC7kw8r6tq43pwApYvkJ5laljaN9BZb21 ...

  7. Flexbox(弹性盒子)

    CSS3属性:这是一个可以让你告别浮动.完美实现垂直水平居中的新特性. Flexbox是布局模块,而不是一个简单的属性,它包含父元素和子元素的属性. 属性介绍: 创建Flex容器 .container ...

  8. 最近总想着写一个模拟alert和confirm插件,代替原生的

    msgbox-confirm github:  https://github.com/tong-mikasa/msgbox-confirm 主要js代码,scss代码 (function($) { $ ...

  9. vue中实现国际化--语言切换(转载)

    https://segmentfault.com/a/1190000011800593

  10. Python批量复制迁移文件夹

    前言 Python可以利用shutil库进行对文件夹,文件的迁移.而在本次的实践当中,难点在于目标文件夹的名称和数据源文件夹的名称,需要利用 工作单位提供的中间数据去进行对比连接起来. 例如:目标源的 ...