Python Import机制

最近在看《Python源码剖析》，对Python内部运行机制比以前了解的更深入了，感觉自己有机会也可以做个小型的动态脚本语言了，呵呵，当然是吹牛了。目的当然不是创造一个动态语言，目的只有一个：更好的使用Python。看到模块导入那块的时候，终于对模块导入机制比较了解了，以防忘记特记录下来。

模块的搜索路径

模块的搜索路径都放在了sys.path列表中，如果缺省的sys.path中没有含有自己的模块或包的路径，可以动态的加入（sys.path.apend）即可。下面是sys.path在Windows平台下的添加规则。

1、sys.path第一个路径往往是主模块所在的目录。在交互环境下添加一个空项，它对应当前目录。

2、如果PYTHONPATH环境变量存在，sys.path会加载此变量指定的目录。

3、我们尝试找到Python Home，如果设置了PYTHONHOME环境变量，我们认为这就是Python Home，否则，我们使用python.exe所在目录找到lib/os.py去推断Python Home。

如果我们确实找到了Python Home，则相关的子目录（Lib、plat-win、lib-tk等）将以Python Home为基础加入到sys.path，并导入（执行）lib/site.py，将site-specific目录及其下的包加入。

如果我们没有找到Python Home，则把注册表Software/Python/PythonCore/2.5/PythonPath的项加入sys.path（HKLM和 HKCU合并后加入），但相关的子目录不会自动添加的。

4、如果我们没有找到Python Home，并且没有PYTHONPATH环境变量，并且不能在注册表中找到PythonPath，那么缺省相对路径将加入（如：./Lib;./plat-win等）。

总结如下

当在安装好的主目录中运行Python.exe时，首先推断Python Home，如果找到了PythonHome，注册表中的PythonPath将被忽略；否则将注册表的PythonPath加入。

如果PYTHONPATH环境变量存在，sys.path肯定会加载此变量指定的目录。

如果Python.exe在另外的一个目录下（不同的目录，比如通过COM嵌入到其他程序），Python Home将不推断，此时注册表的PythonPath将被使用。

如果Python.exe不能发现他的主目录（PythonHome），并且注册表也没有PythonPath，则将加入缺省的相对目录。

标准Import

Python中所有加载到内存的模块都放在sys.modules。当import一个模块时首先会在这个列表中查找是否已经加载了此模块，如果加载了则只是将模块的名字加入到正在调用import的模块的Local名字空间中。如果没有加载则从sys.path目录中按照模块名称查找模块文件，模块文件可以是py、pyc、pyd，找到后将模块载入内存，并加入到sys.modules中，并将名称导入到当前的Local名字空间。

可以看出了，一个模块不会重复载入。多个不同的模块都可以用import引入同一个模块到自己的Local名字空间，其实背后的PyModuleObject对象只有一个。

说一个容易忽略的问题，import只能导入模块，不能导入模块中的对象（类、函数、变量等）。如一个模块A（A.py）中有个函数getName，另一个模块不能通过import A.getName将getName导入到本模块，只能用import A。如果想只导入特定的类、函数、变量则用from A import getName即可。

嵌套Import

嵌套import，我分两种情况，一种是：本模块导入A模块（import A），而A中又有import语句，会激活另一个import动作，如import B，而B模块又可以import其他模块，一直下去。

对这种嵌套比较容易理解，注意一点就是各个模块的Local名字空间是独立的，所以上面的例子，本模块import A完了后本模块只能访问模块A，不能访问B及其他模块。虽然模块B已经加载到内存了，如果要访问还要在明确的在本模块中import B。

另外一种嵌套指，在模块A中import B，而在模块B中import A。这时会怎么样呢？这个在Python列表中由RobertChen给出了详细解释，抄录如下：

[A.py]
from B import D
class C:pass  

[B.py]
from A import C
class D:pass

为什么执行A的时候不能加载D呢？

如果将A.py改为：import B就可以了。

这是怎么回事呢？

RobertChen：这跟Python内部import的机制是有关的，具体到from B import D，Python内部会分成几个步骤：

  1. 在sys.modules中查找符号"B"
  2. 果符号B存在，则获得符号B对应的module对象<module B>。

    从<module B>的__dict__中获得符号"D"对应的对象，如果"D"不存在，则抛出异常
  3. 如果符号B不存在，则创建一个新的module对象<module B>，注意，这时，module对象的__dict__为空。

    执行B.py中的表达式，填充<module B>的__dict__ 。

    从<module B>的__dict__中获得"D"对应的对象，如果"D"不存在，则抛出异常。

所以，这个例子的执行顺序如下：

1、执行A.py中的from B import D

由于是执行的python A.py，所以在sys.modules中并没有<moduleB>存在，首先为B.py创建一个module对象(<moduleB>)，注意，这时创建的这个module对象是空的，里边啥也没有，在Python内部创建了这个module对象之后，就会解析执行B.py，其目的是填充<module B>这个dict。

2、执行B.py中的from A import C

在执行B.py的过程中，会碰到这一句，首先检查sys.modules这个module缓存中是否已经存在<moduleA>了，由于这时缓存还没有缓存<moduleA>，所以类似的，Python内部会为A.py创建一个module对象(<moduleA>)，然后，同样地，执行A.py中的语句。

3、再次执行A.py中的from B import D

这时，由于在第1步时，创建的<moduleB>对象已经缓存在了sys.modules中，所以直接就得到了<moduleB>，但是，注意，从整个过程来看，我们知道，这时<moduleB>还是一个空的对象，里面啥也没有，所以从这个module中获得符号"D"的操作就会抛出异常。如果这里只是importB，由于"B"这个符号在sys.modules中已经存在，所以是不会抛出异常的。

上面的解释已经由Zoom.Quiet收录在啄木鸟了，里面有图，可以参考一下。

Package（包） Import

包（Package）可以看成模块的集合，只要一个文件夹下面有个__init__.py文件，那么这个文件夹就可以看做是一个包。包下面的文件夹还可以成为包（子包）。更进一步，多个较小的包可以聚合成一个较大的包，通过包这种结构，方便了类的管理和维护，也方便了用户的使用。比如SQLAlchemy等都是以包的形式发布给用户的。

包和模块其实是很类似的东西，如果查看包的类型import SQLAlchemy type(SQLAlchemy)，可以看到其实也是<type ‘module‘>。import包的时候查找的路径也是sys.path。

包导入的过程和模块的基本一致，只是导入包的时候会执行此包目录下的__init__.py而不是模块里面的语句了。另外，如果只是单纯的导入包，而包的__init__.py中又没有明确的其他初始化操作，那么此包下面的模块是不会自动导入的。如：

PA

--__init__.py

--wave.py

--PB1

--__init__.py

--pb1_m.py

--PB2

--__init__.py

--pb2_m.py

__init__.py都为空，如果有以下程序：

 
  1. import sys
  2. import PA.wave  #1
  3. import PA.PB1   #2
  4. import PA.PB1.pb1_m as m1  #3
  5. import PA.PB2.pb2_m #4
  6. PA.wave.getName() #5
  7. m1.getName() #6
  8. PA.PB2.pb2_m.getName() #7

当执行#1后，sys.modules会同时存在PA、PA.wave两个模块，此时可以调用PA.wave的任何类或函数了。但不能调用PA.PB1(2)下的任何模块。当前Local中有了PA名字。

当执行#2后，只是将PA.PB1载入内存，sys.modules中会有PA、PA.wave、PA.PB1三个模块，但是PA.PB1下的任何模块都没有自动载入内存，此时如果直接执行PA.PB1.pb1_m.getName()则会出错，因为PA.PB1中并没有pb1_m。当前Local中还是只有PA名字，并没有PA.PB1名字。

当执行#3后，会将PA.PB1下的pb1_m载入内存，sys.modules中会有PA、PA.wave、PA.PB1、PA.PB1.pb1_m四个模块，此时可以执行PA.PB1.pb1_m.getName()了。由于使用了as，当前Local中除了PA名字，另外添加了m1作为PA.PB1.pb1_m的别名。

当执行#4后，会将PA.PB2、PA.PB2.pb2_m载入内存，sys.modules中会有PA、PA.wave、PA.PB1、PA.PB1.pb1_m、PA.PB2、PA.PB2.pb2_m六个模块。当前Local中还是只有PA、m1。

下面的#5，#6，#7都是可以正确运行的。

注意的是：如果PA.PB2.pb2_m想导入PA.PB1.pb1_m、PA.wave是可以直接成功的。最好是采用明确的导入路径，对于./..相对导入路径还是不推荐用。

时间： 2024-10-09 13:49:11

Python Import机制的相关文章

python 的import机制2

http://blog.csdn.net/sirodeng/article/details/17095591 python 的import机制,以备忘: python中,每个py文件被称之为模块,每个具有__init__.py文件的目录被称为包.只要模块或者包所在的目录在sys.path中,就可以使用import 模块或import 包来使用.   如果想使用非当前模块中的代码,需要使用Import,这个大家都知道. 如果你要使用的模块(py文件)和当前模块在同一目录,只要import相应的文件

深入探讨 Python 的 import 机制：实现远程导入模块

1.24 深入探讨 Python 的 import 机制:实现远程导入模块 所谓的模块导入( import ),是指在一个模块中使用另一个模块的代码的操作,它有利于代码的复用. 在 Python 中使用 import 关键字来实现这个操作,但不是唯一的方法,还有 importlib.import_module() 和 __import__() 等. 也许你看到这个标题,会说我怎么会发这么基础的文章? 与此相反.恰恰我觉得这篇文章的内容可以算是 Python 的进阶技能,会深入地探讨并以真实案例讲

Python 反射机制详解

本文和大家分享的主要是python反射机制相关内容,一起来看看吧,希望对大家学习python有所帮助. 对编程语言比较熟悉的朋友,应该知道"反射"这个机制.Python作为一门动态语言,当然不会缺少这一重要功能.然而,在网络上却很少见到有详细或者深刻的剖析论文.下面结合一个web路由的实例来阐述python的反射机制的使用场景和核心本质. 一.前言 1 def f1():2   print("f1是这个函数的名字!")3   4 s = "f1"

《python源码剖析》笔记 python多线程机制

本文为senlie原创,转载请保留此地址:http://blog.csdn.net/zhengsenlie 1.GIL与线程调度 Python中的线程是操作系统的原生线程,Python虚拟机使用一个全局解释器锁(Global Interpreter Lock)来互斥线程对Python虚拟机的使用 为了支持多线程机制,一个基本的要求就是需要实现不同线程对共享资源访问的互斥,所以引入了GIL. GIL:在一个线程拥有了解释器的访问权之后,其他的所有线程都必须等待它释放解释器的访问权,即使这些线程的下

写给新手的Python导入机制详解

原创作品,转载引用请注明出处及作者 开篇说明 正文 '隐藏在导入背后的'对象 命名空间.dir函数与代码复用 import分两步操作 同一模块只会加载一次 模块搜索顺序 sys.path[0] 包机制 包的实质 from...import 相对导入 总结 开篇说明 本文旨在帮助Python新手对Python导入机制应用层面做一个全面了解.由于我也是一个Python新手,所以通篇介绍的只是应用层面的内容,导入机制背后的函数等诸多细节没有涉及.如果要深究,请自行参考Python语言参考手册.本文基于

Python import hook

转自http://blog.konghy.cn/2016/10/25/python-import-hook/,这里有好多好文章 import hook 通常被译为 探针.我们可以认为每当导入模块的时候,所触发的操作就是 import hook.使用 import 的 hook 机制可以让我们做很多事情,比如加载网络上的模块,在导入模块时对模块进行修改,自动安装缺失模块,上传审计信息,延迟加载等等. 理解 import hook 需要先了解 Python 导入模块的过程. 一. 导入过程 Pyth

【Python&amp;数据结构】 抽象数据类型 Python类机制和异常

这篇是<数据结构与算法Python语言描述>的笔记,但是大头在Python类机制和面向对象编程的说明上面.我也不知道该放什么分类了..总之之前也没怎么认真接触过基于类而不是独立函数的Python编程,借着本次机会仔细学习一下. 抽象数据类型 最开始的计算机语言,关注的都是如何更加有效率地计算,可以说其目的是计算层面的抽象.然而随着这个行业的不断发展,计算机不仅仅用于计算,开发也不仅只关注计算过程了,数据层面的抽象也变得同样重要.虽然计算机语言一开始就有对数据的抽象,但是那些都只是对一些最基本的

理解Python命名机制

理解Python命名机制 本文最初发表于恋花蝶的博客(http://blog.csdn.net/lanphaday),欢迎转载,但必须保留此声明且不得用于商业目的.谢谢. 引子 我热情地邀请大家猜测下面这段程序的输出: class A(object): def __init__(self): self.__private() self.public() def __private(self): print 'A.__private()' def public(self): print 'A.pu

Java的package和import机制

一些人用了一阵子的Java,可是对于 Java 的 package 跟 import 还是不太了解.很多人以为原始码 .java 文件中的 import 会让编译器把所 import 的程序通通写到编译好的 .class 档案中,或是认为 import 跟 C/C++ 的 #include 相似,实际上,这是错误的观念. 让我们先了解一下,Java 的 package 到底有何用处. 其实,package 名称就像是我们的姓,而 class 名称就像是我们的名字.package 名称有很多 .