[转] Python的import初探

转载自：http://www.lingcc.com/2011/12/15/11902/#sec-1

日常使用python编程时，为了用某个代码模块，通常需要在代码中先import相应的module。
那么python的import是如何工作的呢？

1 如何使用import
2 import语句针对单个模块文件的工作方式
3 import语句针对模块包的工作方式
4 总结及深入阅读
5 参考

1 如何使用import

对于大型的软件项目,模块化的管理非常有必要.
于是在现如今的面向对象语言中,都有相应的机制来应对这一问题.
如C++中的namespace, Java中的package,C#中的namespace和using.

import就是Python中用于程序模块化管理的关键字.
通过import语句,将模块中声明或定义的变量或者函数等名字在当前程序运行的时刻可见.
这样我们就可以直接通过名字的方式,如变量名或者函数名复用原有代码.

通过import语句,我们就能将python代码模块化,方便管理和维护

2 import语句针对单个模块文件的工作方式

先看一组示例:

>>> path
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
 
NameError: name 'path' is not defined
>>> sys.path
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
 
NameError: name 'sys' is not defined
>>> import sys
>>> path
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
 
NameError: name 'path' is not defined
>>> sys.path
['', '/usr/lib/python2.7', '/usr/lib/python2.7/plat-linux2', '/usr/lib/python2.7/lib-tk',
 '/usr/lib/python2.7/lib-old', '/usr/lib/python2.7/lib-dynload',
 '/usr/local/lib/python2.7/dist-packages', '/usr/lib/python2.7/dist-packages',
 '/usr/lib/python2.7/dist-packages/PIL', '/usr/lib/python2.7/dist-packages/gst-0.10',
 '/usr/lib/python2.7/dist-packages/gtk-2.0', '/usr/lib/pymodules/python2.7']
 
>>> from sys import path
>>> path
['', '/usr/lib/python2.7', '/usr/lib/python2.7/plat-linux2', '/usr/lib/python2.7/lib-tk',
 '/usr/lib/python2.7/lib-old', '/usr/lib/python2.7/lib-dynload',
 '/usr/local/lib/python2.7/dist-packages', '/usr/lib/python2.7/dist-packages',
 '/usr/lib/python2.7/dist-packages/PIL', '/usr/lib/python2.7/dist-packages/gst-0.10',
 '/usr/lib/python2.7/dist-packages/gtk-2.0', '/usr/lib/pymodules/python2.7']

这段代码中,我们尝试使用sys包中的path变量得到python默认查找模块的路径信息,只有在import sys之后,python解释器才能正确的找到该变量.
我们通过一个python内部函数dir()来看看python解释器如何找到名字的. dir()函数是python内建函数,用于查看指定作用域下可用的名字.
若没有传参数,则打印当前作用域下的可用名字.

>>> help(dir)
  Help on built-in function dir in module __builtin__:
 
  dir(...)
    dir([object]) -> list of strings
 
    If called without an argument, return the names in the current scope.
    Else, return an alphabetized list of names comprising (some of) the attributes
    of the given object, and of attributes reachable from it.
    If the object supplies a method named __dir__, it will be used; otherwise
    the default dir() logic is used and returns:
      for a module object: the module's attributes. for a class object: its attributes, and recursively the attributes of its bases. for any other object: its attributes, its class's attributes, and
 
        recursively the attributes of its class's base classes. >>> dir() ['__builtins__', '__doc__', '__name__', '__package__'] >>> import sys >>> dir() ['__builtins__', '__doc__', '__name__', '__package__', 'sys'] >>> dir(sys) [ ..., 'modules', 'path', ... , 'version', 'version_info', 'warnoptions'] >>> from sys import path >>> dir() ['__builtins__', '__doc__', '__name__', '__package__', 'path', 'sys']

执行import语句后,python解释器会将sys模块的名字添加到当前作用域中,这样就能直接通过sys.path得到python的搜索路径了.

注意到,我们还用了from sys import path语句.通过这条语句path就被直接提升到当前作用域中,这样path这个名字就能被直接使用了.
之所以有from,是为了更加精确的让某个模块中的某个名字在当前作用域可见.通过这种机制,程序员可以精确控制当前作用域的名字,防止作用域被不必要的名字污染.
另外,这种机制也避免了使用”.”来进行子成员的引用,减小程序员的输入.
这里需要提一句,虽然python提供了from XXX import *支持,能将XXX模块中的所有名字都提升到当前作用域中,但是要小心使用,因为程序员不能精确的知道到底import了哪些名字.

再看一组示例:

>>> dir()
['__builtins__', '__doc__', '__name__', '__package__']
 
>>> import sys
>>> dir()
['__builtins__', '__doc__', '__name__', '__package__', 'sys']
 
>>> import sys as SYS
>>> dir()
['SYS', '__builtins__', '__doc__', '__name__', '__package__', 'sys']
 
>>> SYS.path
['', '/usr/lib/python2.7', '/usr/lib/python2.7/plat-linux2', '/usr/lib/python2.7/lib-tk',
'/usr/lib/python2.7/lib-old', '/usr/lib/python2.7/lib-dynload',
'/usr/local/lib/python2.7/dist-packages', '/usr/lib/python2.7/dist-packages',
 
'/usr/lib/python2.7/dist-packages/PIL', '/usr/lib/python2.7/dist-packages/gst-0.10',
'/usr/lib/python2.7/dist-packages/gtk-2.0', '/usr/lib/pymodules/python2.7']
>>> sys.path
['', '/usr/lib/python2.7', '/usr/lib/python2.7/plat-linux2', '/usr/lib/python2.7/lib-tk',
 '/usr/lib/python2.7/lib-old', '/usr/lib/python2.7/lib-dynload',
 '/usr/local/lib/python2.7/dist-packages', '/usr/lib/python2.7/dist-packages',
 '/usr/lib/python2.7/dist-packages/PIL', '/usr/lib/python2.7/dist-packages/gst-0.10',
 '/usr/lib/python2.7/dist-packages/gtk-2.0', '/usr/lib/pymodules/python2.7']
 
>>> del(sys)
>>> SYS.path
['', '/usr/lib/python2.7', '/usr/lib/python2.7/plat-linux2', '/usr/lib/python2.7/lib-tk',
'/usr/lib/python2.7/lib-old', '/usr/lib/python2.7/lib-dynload',
 '/usr/local/lib/python2.7/dist-packages', '/usr/lib/python2.7/dist-packages',
 '/usr/lib/python2.7/dist-packages/PIL', '/usr/lib/python2.7/dist-packages/gst-0.10',
 '/usr/lib/python2.7/dist-packages/gtk-2.0', '/usr/lib/pymodules/python2.7']
 
>>> sys.path
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
NameError: name 'sys' is not defined

上面的例子展示了两个功能:

import XXX as YYY: 这个可以对模块实施重命名操作.
del(): 用于删除当前空间中不再使用的名字.当空间中出现很多不再需要的名字时,可以利用该函数进行清理.

3 import语句针对模块包的工作方式

有时我们可能需要编写一个完整的模块库,比如python对XML的处理就需要一堆的函数.这时候可能划分成多个文件,更加方便管理.
逻辑上也更加清晰.
因此python引入了对多文件模块包的支持.说白了,就是import的不是一个文件的内容,而是一个文件夹的内容.

看下面的示例:

>>> dir()
['__builtins__', '__doc__', '__name__', '__package__']
 
>>> import xml
>>> dir()
['__builtins__', '__doc__', '__name__', '__package__', 'xml']
 
>>> import xml.sax.xmlreader
>>> dir()
['__builtins__', '__doc__', '__name__', '__package__', 'xml']
 
>>> dir(xml)
['_MINIMUM_XMLPLUS_VERSION', '__all__', '__builtins__', '__doc__', '__file__', '__name__', '__package__', '__path__', 'sax']
 
>>> dir(xml.sax)
['ContentHandler', 'ErrorHandler', 'InputSource', 'SAXException', 'SAXNotRecognizedException', 'SAXNotSupportedException',
'SAXParseException', 'SAXReaderNotAvailable', '__builtins__', '__doc__', '__file__', '__name__',
 
'__package__', '__path__', '_create_parser', '_exceptions', '_false', '_key', 'default_parser_list', 'handler',
'make_parser', 'parse', 'parseString', 'xmlreader']
 
>>> from xml import *
>>> dir(xml)
['_MINIMUM_XMLPLUS_VERSION', '__all__', '__builtins__', '__doc__', '__file__', '__name__', '__package__', '__path__', 'dom', 'etree', 'parsers', 'sax']

表面上看起来,和内容在单个文件内的import机制差不多. 我们可以到xml对应的目录下看看:

erlv@erlv-debian:/usr/lib/python2.7/xml$ ls *
__init__.py  __init__.pyc  __init__.pyo
 
dom:
domreg.py   expatbuilder.py   __init__.py   minicompat.py   minidom.py   NodeFilter.py   pulldom.py   xmlbuilder.py
 
etree:
cElementTree.py   ElementInclude.py   ElementPath.py   ElementTree.py   __init__.py
 
parsers:
expat.py  __init__.py 
 
sax:
_exceptions.py   expatreader.py   handler.py   __init__.py   saxutils.py   xmlreader.py

我们import的xmlreader,它的路径是xml/sax/xmlreader.py,和import xml.sax.xmlreader相同.
这实际上也正是python解释器实际的动作.

注意到,每个文件夹下都有一个_init__.py文件.这个是模块包中的必须文件,它帮助python解释器将该目录识别成包.
没有此文件的文件夹,python解释器不会把它当模块包文件夹的.
_init__.py中一般会指定包中所有的模块,以及import此包时,需要预先import哪些包等初始化信息.当然,你可以往里面添加其他代码.
该脚本会在import 包时执行. 默认可以为空.

另外,还注意到有.py,.pyc和.pyo三个文件.

.py文件:Python源程序文件,文本文件
.pyc文件:编译成字节码的python文件,可以使用python解释器,或者调用pycompile模块生成该文件.
.pyo文件:进行一定编译优化的后的字节码文件.
另外,还可以控制python解释器,去掉”docstrings”,即代码中的无关文档字符串.

4 总结及深入阅读

从上面的观察中可以看到,其实python的import机制完成的是名字作用域的相关操作.包括作用域的分层,提升和删除等等.
Python中的作用域是一个树状的结构,通过”.”操作,程序员可以进入作用域分支中找到想要的名字.
同时,可以通过from XXX import YYY机制实现将某个树枝上的名字提升到当前作用域中.
所以,python解释器在实现这种作用域机制的时候,需要引入作用域层级的概念.

另外,为了实现这套机制的动态支持,包括提升新名字,名字重命名和名字删除操作.
Python解释器采取了全局模块池的方式.所有的模块在加载后都添加到这个池中.
在通过链表的形式维护树状的逻辑结构.
python中灵活的作用域管理,一方面可以让程序员更加方便的对代码进行模块化管理,另外一方面也增加了灵活性,最大可能的减小当前作用域的名字污染问题.

参考2中的<python源码剖析>中,详细介绍了python解释器中如何支持import动作的.
这部分的实现主要在cpython解释器的import.c文件中.import动作的入口函数是bltinmodule.c的builtin__import__函数.

5 参考

http://stackoverflow.com/questions/1699108/local-import-statements-in-python
python源码剖析:深度探索动态语言核心技术陈儒电子工业出版社 2008.6
可爱的Python 哲思社区著电子工业出版社 2009.9