更好的处理 Python 多工程 import 依赖

话说， 这段时间需要开发一个项目， 新项目对现有的几乎所有项目都有依赖。 豆瓣现存的几个大项目，基本都是围绕豆瓣主站shire的依赖， 也就是说， 其他项目对shire的单项依赖，  这些项目在需要主站shire模块的时候， 无一例外的将shire的工程路径加入到其他工程的sys.path中， 熟悉Python Import的人一定马上会意识到， 这个并不是什么好方法， 因为这样会造成Python Import的搜索路径产生一些不确定因素， 也就是Import  搜索空间污染， 比如说， 我在anduin（豆瓣说）项目中import 主站（shire）的工程，from luzong.user import User, 看起来好像是很magic的东西， 但是， 假如anduin中也有个luzong目录呢（当然这个没有）， 这样就会造成搜索冲突， 严重点的可能隐士的错误的import了其他模块。 也就是说， 这个是很不确定的， 很有危险性的一个事情， 那豆瓣那些个大项目是怎么处理这个magic的危险的呢， 答： 每个新工程的顶级目录都与现存的各个工程的顶级目录不重名。

好吧， 一听就知道是个很蛋疼的想法， 我在skype上问了下anrs， 貌似他是遵守这个规定的。但是，随着内部工程量增多， 每个工程的命名都要考虑其他工程的命名是非常非常蛋疼的事情， 在我个人来看是非常要不得的， 那怎么办呢？ 在这篇blog中我就循序渐进的介绍下我这两天探索到的方法， 真的非常的magic， 非常的好用：）

首先， 我们想到的是， 为了不污染import的导入空间， 我们何不把每个项目作为一个可以导入的顶层模块， 这样每个项目的内容都在自己独立的命名空间之内， 就不会出现那种很magic的隐式命名空间污染。 好吧， 这个好办， 在每个工程的顶层目录添加一个__init__.py 的空文件， 然后我们再开发一个类似import_project的东西：

def import_project(path):
    sys.path.insert(0, os.path.dirname(path))
    project = __import__(os.path.basename(path))
    sys.path.remove(os.path.dirname(path))
    globals()[os.path.basename(path)] = project
    return project

然后，我们在我们项目的初始化文件中import依赖的project：

conf.__init__.py

shire = import_project(cfg.deps.shire)

使用的时候

from conf import shire
from shire.luzong.user import User

哇塞， 确实很magic， 是不是这样就完了呢， 答案往往不是那么简单， 不是那么如你所愿， 想一想anduin工程， 在豆瓣服务器上， 我们开发的时候部署了很多用来测试的工程， 比如shuo-test, anduin-test, auduin ,  如果按照上面的方法， 线上的肯定没什么问题， 因为shire就是shire， 那如果我测试的那个工程顶级名目换成shire-test呢， 这下就不能处理了， 所以就有了后边的东西， 诸君且往下看：）

经过了半天的苦苦码字， 终于弄出来了一个还能用的东西， 思想就是， 对import部分进行类似勾子的hack， 让他不对这些shuo-test, anduin-test等类似的magic shring有任何的依赖。 于是开发一个函数， 这个函数实现类似普通import的功能， 但不会造成项目之间搜索空间污染的情况， 而且不依赖于这些类似shuo-test, anduin-test 的magic string， 下面我就来介绍一下我的东西， 完了之后再给出一个demo ：）

码字了一天开发了下面这个东西 import_helper.py

# libs.import_helper
# -*- coding: utf-8 -*-
# [email protected]

import os
import sys

def import_deps(locals, path, imps=None):
    from conf import cfg
    pro_name, m_path = path[:path.find(‘.‘)], path[path.find(‘.‘)+1:]
    re_pro_path = cfg.getByPath(‘deps.‘ + pro_name)
    re_pro_dir = os.path.dirname(re_pro_path)
    re_pro_name = os.path.basename(re_pro_path)

# import project
    sys.path.insert(0,re_pro_dir)
    project = __import__(re_pro_name)
    sys.path.remove(re_pro_dir)
    locals[pro_name] = project

imp_module = re_pro_name + ‘.‘ + m_path
    __import__(imp_module)
    module = getattr(project, m_path)

# add imps to locals
    if imps:
        for imp in imps:
            if isinstance(imp, tuple):
                locals[imp[1]] = getattr(module, imp[0])
            else:
                locals[imp] = getattr(module, imp)

主要的逻辑在这个文件中， 使用起来非常方便， 而且可以处理from XX import A as B等形式。 下面我就做个demo来演示一下：

1.  创建测试环境

$cd && mkdir  -p test/test11  test22 && cd test

$touch test11/__init__.py  && echo “age = 1″ > test11/app.py

$cd test22

我们这里创建了一个测试目录test， 两个工程test11 和test22， 这个test11 的工程名叫做test（尽管他的目录是test11， 但是就像shuo-test之于anduin一样：）

2. 创建配置文件（这里为了简单期间， 我用了个config的东西）

$mkdir conf && emacs config.cfg

path_prefix : `os.environ[‘HOME‘]`
deps :
{
    test : $path_prefix + ‘/test/test11‘
}

$emacs conf/__init__.py

import os
import posixpath
from config import Config

config_file = posixpath.abspath(‘conf/dimholt.cfg‘)
cfg = Config(file(config_file))

ok , 我们的配置文件就配置好了， 这里， 我配置了我这个工程依赖一个叫做test的工程， 这个工程的目录在我的主目录下test/test11.

3. 将import_helper.py（文章后边提供下载）放在test22目录下的libs目录下。
4. 使用演示

启动python解释器
>>> from libs.import_helper import import_deps
>>> import_deps(locals=locals(), ‘test.app‘)
这样在你的工程中就可以访问test.app了， 如果想模拟from A import B
>>> import_deps(locals=locals(), ‘test.app‘,[‘age‘])
这样就会导入一个叫做age的变量， 如果还想模拟import A as B
>>> import_deps(locals=locals(), ‘test.app‘,
    [(‘age‘, ‘g_age‘)])
再来个全面开花的
>>> import_deps(locals=locals(), ‘test.app‘,
    [‘age‘, (‘name‘, ‘screen_name‘)])

怎么样， 是不是很magic

总结一下， 使用这种方法之后解决了两个工程间import的问题， 一个就是import搜索路径污染， 我们通过把每个依赖的工程的import空间限制在每个工程名下面来实现， 第二个就是工程别名问题， 我们使用比较magic的这个开发的函数来解决。 个人感觉还是非常好用的，除了需要多输入一些东西。 但是好处是非常明显的， 还是值得的。

安， 北京：）

后记： （bugfixed）

话说， 本想今天好好看emacs的， 结果突然想到了一个问题， python locals和globals的处理方式是不同的， globals()是可以被修改的， 而locals()是不能被修改的， 所以上面的是不能用的， 尝试了各种试图修改locals的方法都不是很好， 所以更改了下工程的使用方式， 再加了一个对项目import的支持：

import_helper.py

# libs.import_helper
# -*- coding: utf-8 -*-
# [email protected]

import os
import sys

def import_deps(path, imps=None):
    if ‘.‘ not in path:
        pro_name, m_path = path, ‘‘
    else:
        pro_name, m_path = path[:path.find(‘.‘)], path[path.find(‘.‘)+1:]
    from conf import cfg
    re_pro_path = cfg.getByPath(‘deps.‘ + pro_name)
    re_pro_dir = os.path.dirname(re_pro_path)
    re_pro_name = os.path.basename(re_pro_path)

sys.path.insert(0,re_pro_dir)
    project = __import__(re_pro_name)
    sys.path.remove(re_pro_dir)

if not m_path:
        return project

imp_module = re_pro_name + ‘.‘ + m_path
    __import__(imp_module)
    module = getattr(project, m_path)

if imps:
        return [getattr(module, imp) for imp in imps]
    return module

使用的时候：

>>> from libs.import_helper import import_deps

可以直接import 顶层工程module
>>>shire = import_deps(‘shire‘)

也可以import任意工程外module
>>>user = import_deps(‘shire.luzong.user‘)

可以指定类似from import的方式
>>>User = import_deps(‘shire.luzong.user‘, [‘User‘])

当然如果你想模拟as的操作
>>>ShireUser = import_deps(‘shire.luzong.user‘, [‘User‘])

后边的部分可以是个list， 表示import多个参数
>>>get_user_rank, User = import_deps(‘shire.luzong.user‘,

[‘get_user_rank‘, ‘User‘])

总结， 因为locals空间不能修改， 所以使用这个方法来处理， 如果您能确定可以使用globals空间， 那加上globals的也行， 就跟以前那个方法一样， 不过传递globals参数， 在module层是没有locals的， 在module层传递locals其实是用的globals，切记。

摘自 python.cn

时间： 2024-10-03 05:49:08

更好的处理 Python 多工程 import 依赖的相关文章

Python是工程，不是艺术

When Python first emerged on the software scene in the early 1990s, it spawned what is now something of a classic conflict between its proponents and those of another popular scripting language, Perl. Personally, I think the debate is tired and unwar

Python引用（import）文件夹下的py文件的方法

Python的import包含文件功能就跟PHP的include类似,但更确切的说应该更像是PHP中的require,因为Python里的import只要目标不存在就报错程序无法往下执行.要包含目录里的文件,PHP中只需要给对路径就OK.Python中则不同,下面来看看这个例子. 目录结构: a.py 要 import dir目录下的 b.py 文件.a.py代码如下: 复制代码 代码如下: # coding=utf-8 "import dir 目录下的 b.py 文件"  impor

这篇文章不能教你python编程，但能带你更全面的了解python！

在10年前的时候,当程序员说"PHP是世界上最好的语言"时,我还是将信将疑的状态,也因为当时的将信将疑而做了五年的PHP程序员.在现在如果还有人跟我说同样的话,我现在一定会笑而不语.难道君不见PHP已经廉颇老矣了吗?当Python作为脚本语言以较低的学习门槛和强大的功能,成为与JAVA, C成为最受欢迎的编程语言时,我心里是默默欢喜的.幸好我早就转战Python了.就像我们曾经热爱的手机品牌诺基亚一样,程序也在潮流中不断地更替着,身为现代人我们无情的抛弃了诺基亚,而身为程序员也总是要拥

Python中的import和from import

一.Python路径介绍 在python用import或者from...import来导入相应的模块. 模块其实就是一些函数和类的集合文件,它能实现一些相应的功能,当我们需要使用这些功能的时候,直接把相应的模块导入到我们的程序中,我们就可以使用了. 这类似于C语言中的include头文件,Python中我们用import导入我们需要的模块. 二.搜索路径 Python会在以下路径中搜索它想要寻找的模块: 1. 程序所在的文件夹 2. 标准库的安装路径 3. 操作系统环境变量PYTHONPATH所

python之禅 --- import this

>>> import thisThe Zen of Python, by Tim Peters Beautiful is better than ugly.Explicit is better than implicit.Simple is better than complex.Complex is better than complicated.Flat is better than nested.Sparse is better than dense.Readability cou

python中的import，reload，以及__import__

import作用:导入/引入一个python标准模块,其中包括.py文件.带有__init__.py文件的目录.e.g: [python] view plaincopy import module_name[,module1,...] from module import *|child[,child1,...] 说明:多次重复使用import语句时,不会重新加载被指定的模块,只是把对该模块的内存地址给引用到本地变量环境.测试: [python] view plaincopy a.py #!/u

python中的import

python中的import操作有点类似于C语言中的#include,但又有很大的不同.在c语言中,#include是编译前将另一个文件包含进当前文件中.在python中导入并非只把一个文件文本插入另一个文件而已. 导入其实是运行时的运算,程序第一次导入时会执行三个步骤. 1 找到模块文件 2 在需要时编译成位码 3执行模块的代码来创建其所定义的对象 这三个步骤只有在模块第一次被导入的时候才会执行,之后导入相同模块的时候会跳过这三个步骤,而只提取内存中所加载的模块对象. python会把载入的模

python scrapy cannot import name xmlrpc_client的解决方案，解决办法

安装scrapy的时候遇到如下错误的解决办法: "python scrapy cannot import name xmlrpc_client" 先执行 sudo pip uninstall six 再执行 sudo easy_install six 验证是否解决: scrapy

python 模块导入import和import from区别

模块就是一个.py文件,在名字空间下导入模块导入import和import from,那么python 模块导入import和import from区别是什么呢 1,import 导入模块 import 模块名 print(模块名.方法) 2,import 模块名 from 方法1,方法2 调用方法  print(方法1) 注意 import 模块名 as 别名 文章来自 www.96net.com.cn 原文地址:https://www.cnblogs.com/96net/p/9743742.