优雅的使用python之环境管理

缘起

情景1：不同python版本的管理

同一电脑上的多个python版本之前的管理，为了突出问题的普遍存在，下面是有人在segmentfault上提的问题。

摘自：http://segmentfault.com/q/1010000000162043

情景2：同一python版本中同一库的不同版本管理

例如在python2.7下应用A是基于Django1.6，应用B是基于Django1.7的，这种情况怎么管理。

为解决以上问题，下面隆重介绍下virtualenv、virtualenvwrapper。

virtualenv

摘自virtualenv官网的https://virtualenv.pypa.io/en/latest/virtualenv.html一段介绍：

“The basic problem being addressed is one of dependencies and versions, and indirectly permissions. Imagine you have an application that needs version 1 of LibFoo, but another application requires version 2. How can you use both these applications? If you install everything into/usr/lib/python2.7/site-packages (or whatever your platform’s standard location is), it’s easy to end up in a situation where you unintentionally upgrade an application that shouldn’t be upgraded.

Or more generally, what if you want to install an application and leave it be? If an application works, any change in its libraries or the versions of those libraries can break the application.

Also, what if you can’t install packages into the global site-packages directory? For instance, on a shared host.”

大意就是virtualenv用于在一台机器上创建多个独立的python运行环境，可以解决：

l  隔离项目之间的第三方包依赖

l  在没有权限的情况下安装新的Python软件包

除此之外，还有一个额外的好处：部署应用时，把开发环境的虚拟环境打包到生产环境即可。

安装

方式一：通过pip


[sudo] pip install virtualenv

方式二：源码方式


下载、解压

cd virtualenv-X.X

[sudo] python setup.py install

方式N…

使用

创建虚拟环境


virtualenv [虚拟环境名称] /virtualevn.exe [虚拟环境名称]

我的环境是windows python3.4，这样创建虚拟环境：

E:\>D:\Python34\Scripts\virtualenv.exe env_py3.4

Using base prefix ‘D:\\Python34‘

New python executable in env_py3.4\Scripts\python.exe

Installing setuptools, pip...done.

创建虚拟环境env_py3.4之后，对应目录下面有以下文件夹：

E:\env_py3.4 的目录

2014/11/26  15:38    <DIR>          .

2014/11/26  15:38    <DIR>          ..

2014/05/16  15:34    <DIR>          Include

2014/11/26  15:38    <DIR>          Lib

2014/11/26  15:38    <DIR>          Scripts

其中Lib/site-packages包含了，从系统安装的python3.4下面的库。默认情况下，虚拟环境会依赖系统环境中的site packages，就是说系统中已经安装好的第三方package也会安装在虚拟环境中，如果不想依赖这些package，那么可以加上参数 --no-site-packages建立虚拟环境


virtualenv --no-site-packages [虚拟环境名称]

启用虚拟环境


source bin/activate或者 Scripts\activate.bat

启用虚拟环境之后，命令行提示符将以虚拟环境名为前缀，如(env_py3.4) E:\env_py3.4>。也可以通过python打印出os.sys.path进行验证，如在我的env_py3.4虚拟环境启用之后，系统path路径如下所示：

E:\env_py3.4>Scripts\activate

(env_py3.4) E:\env_py3.4>python

Python 3.4.0 (v3.4.0:04f714765c13, Mar 16 2014, 19:24:06) [MSC v.1600 32 bit (In

tel)] on win32

Type "help", "copyright", "credits" or "license" for more information.

>>> import os

>>> print(os.sys.path)

[‘‘, ‘E:\\env_py3.4\\Scripts\\python34.zip‘, ‘E:\\env_py3.4\\DLLs‘, ‘E:\\env_py3

.4\\lib‘, ‘E:\\env_py3.4\\Scripts‘, ‘D:\\Python34\\Lib‘, ‘D:\\Python34\\DLLs‘, ‘

E:\\env_py3.4‘, ‘E:\\env_py3.4\\lib\\site-packages‘]

从os.sys.path中可以看出，这个环境下执行python相关的操作都是限定在虚拟环境中。

退出虚拟环境


bin/deactivate 或者 Scripts\deactivate

如退出env_py3.4虚拟环境，命令行提示符前缀也相应改变了。

(env_py3.4) E:\env_py3.4>Scripts\deactivate

E:\env_py3.4>

在虚拟环境中安装新的python软件包，跟正常的python一样，并且虚拟环境中已经附带pip、easy_install等工具，可以非常方便的使用。

virtualenvwrapper

Virtualenvwrapper 是一个Virtualenv 的extension，可使虚拟环境的管理变得更容易。详细来说，Virtualenvwrapper 提供下述功能：

l  将所有的虚拟环境整合在一个目录下。

l  管理（新增、移除、复制）所有的虚拟环境。

l  可以使用一个命令切换虚拟环境。

l  Tab 补全虚拟环境的名字。

l  每个操作都提供允许使用者自定的hooks。

l  可撰写容易分享的extension plugin 系统。

安装

通过pip或者easy_install安装virtualenvwrapper


pip install virtualenvwrapper

默认virtualenvwrapper安装在/usr/local/bin下面，实际上你需要运行virtualenvwrapper.sh文件才行。

说明：virtualenvwrapper is a set of shell functions defined in Bourne shell compatible syntax。所以在window平台下，是不是使用不了的，但是对应有一个virtualenvwrapper-win版本（https://pypi.python.org/pypi/virtualenvwrapper-win）。

virtualenvwrapper-win将安装在python根目录下面，如D:\Python34。

# using pip
pip install virtualenvwrapper-win
 
# using easy_install
easy_install virtualenvwrapper-win
 
# from source
git clone git://github.com/davidmarble/virtualenvwrapper-win.git
cd virtualenvwrapper-win
python setup.py install

使用

virtualenvwrapper-win和virtualenvwrapper的使用方式完全一样：

l  列出虚拟环境列表：workon 或者lsvirtualenv

l  新建虚拟环境：mkvirtualenv [虚拟环境名称]

l  启动/切换虚拟环境：workon [虚拟环境名称]

l  删除虚拟环境：rmvirtualenv [虚拟环境名称]

l  离开虚拟环境：deactivate.

例如，我创建了3个虚拟环境

…….

(vn_py3.4_app2) D:\Python34>mkvirtualenv.bat vn_py3.4_app3

Using base prefix ‘D:\\Python34‘

New python executable in vn_py3.4_app3\Scripts\python.exe

Installing setuptools, pip...done.

(vn_py3.4_app3) D:\Python34>workon.bat

Pass a name to activate one of the following virtualenvs:

==========================================================

vn_py3.4_app1

vn_py3.4_app2

vn_py3.4_app3

默认创建的虚拟环境路径为：%USERPROFILE%\Envs，即C:\Users\用户名\Envs。

切换虚拟环境：

(vn_py3.4_app3) D:\Python34>workon.bat vn_py3.4_app1

(vn_py3.4_app1) D:\Python34>workon.bat vn_py3.4_app2

(vn_py3.4_app2) D:\Python34>

注意：如果window下面碰到D:\Python34\Scripts>mkvirtualenv.bat F:\evn_py3.4_app1

python.exe: can‘t open file ‘D:\Python34\Scripts\virtualenv-script.py‘: [Errno 2

] No such file or directory，修改mkvirtualenv.bat中的python.exe "%PYHOME%\Scripts\virtualenv-script.py" %ARGS% ==》python.exe "%PYHOME%\Scripts\virtualenv.exe" %ARGS%即可。

总结

基于virtualenv + virtualenvwrapper可以很好的完成环境隔离，保证对每个应用的环境是干净的。而且对一个干净的环境可以通过：

pip freeze > requirements.txt将包依赖信息保存在requirements.txt文件

pip install -r requirements.txt会自动从网上下载并安装所有包

方便应用部署分发，关于pip软件包管理再下一篇介绍。

相关连接：

https://virtualenv.pypa.io/en/latest/index.html

http://virtualenvwrapper.readthedocs.org/en/latest/index.html

https://pypi.python.org/pypi/virtualenvwrapper-win

时间： 2024-10-13 07:49:20

优雅的使用python之环境管理的相关文章

如何优雅的用Python玩转语音聊天机器人

一名极客运维人员,走在脑洞大开的路上.... Python聊天机器人:可以感应人是否存在,识别语音,通过图灵API语音回答 -------------------------上图镇楼---------------------------- [详细攻略] 所需硬件: 树莓派B+ 人体红外线感应模块 内置麦克风摄像头(实测树莓派免驱淘宝链接) 申请API: 百度语音api 图灵api 语音聊天机器人实现原理:当有人来到跟前时-->触发聊天功能,开始以每2s检测录制语音-->通过百度语音api合成文

Python多环境管理

Python环境管理 什么是Anaconda Anaconda是专注于数据分析的Python发行版本,包含了conda.Python等190多个科学包及其依赖项.Anaconda通过管理工具包.开发环境.Python版本,大大简化了你的工作流程.不仅可以方便地安装.更新.卸载工具包,而且安装时能自动安装相应的依赖包,同时还能使用不同的虚拟环境隔离不同要求的项目. 下载地址 什么是Conda Conda是一个开源的包.虚拟环境管理器,可以用于在同一个机器上安装不同版本的软件包及其依赖,并能够在不同

18式优雅你的Python

本文来自读者梁云同学的投稿,公众号:Python与算法之美 一,优雅你的Jupyter 1,更改Jupyter Notebook初始工作路径 平凡方法: 在cmd中输入jupyter notebook --generate-config,然后找到生成的配置文件jupyter_notebook_config.py,在其中加入一条语句: c.NotebookApp.notebook_dir =  'F:\我的坚果云\PythonFiles'  优雅方法: 新建文本文件,在其中输入以下内容: F: c

python虚拟环境管理之virtualenv，virtualenvwrapper，pipenv，conda

虚拟环境的作用 使python环境拥有独立的包,避免污染原本的python环境.为不同的项目创建不同的环境可以避免安装的库过于庞大和相互干扰. 例如你想在同一台机器上开发用python2和python3写的2个项目就可以用虚拟环境进行隔离,又网站开发.爬虫和科学计算所需要的包都不一样也可以用虚拟环境. 下面有几种虚拟环境管理工具自行选择 virtualenv 安装 pip install virtualenv 创建 mkdir myproject cd myproject virtualenv

windows下如何快速优雅的使用python的科学计算库？

Python是一种强大的编程语言,其提供了很多用于科学计算的模块,常见的包括numpy.scipy.pandas和matplotlib.要利用Python进行科学计算,就需要一一安装所需的模块,而这些模块可能又依赖于其它的软件包或库,因而安装和使用起来相对麻烦.幸好有人专门在做这一类事情,将科学计算所需要的模块都编译好,然后打包以发行版的形式供用户使用,Anaconda就是其中一个常用的科学计算发行版. 我们从网站(链接1)下载的默认的Anaconda版本已经内置了很多库(链接2),包括nump

python虚拟环境管理包virtualenvwrapper

1.打开cmd 2.安装virtualenvwrapper pip install virtualenvwrapper 3.配置虚拟环境的位置 新建系统变量默认在c盘 4.新建虚拟环境 mkvirtualenv 名称 5.退出虚拟环境 deactivate 5.进入虚拟环境 workon 名称 6.新建python2.7版本的虚拟环境 mkvirtualenv --python=(python2.7的安装路径) 7.安装新环境下的库 pip install module Re:module下载连

如何优雅的使用Python的正则表达式.

在正则表达式中你需要指定一些规则命令来描述你希望匹配到的字符串集合 , 这些字符串集合可能包含英文句子 , e-mail地址 , Tex命令 , 或者任何东西. Python中的正则表达式 是用C语言写的 , 所以效率非常高 . 大多数的字符会匹配他们自身 , 举个例子 ,  正则表达式"FishC""将完全匹配字符串"FishC"(当然也可以启用不区分大小写 , 这样就可以用"FishC" 来匹配到 fISHc了). 上面说大部分的字

使用python之环境管理

情景1:不同python版本的管理 同一电脑上的多个python版本之前的管理,为了突出问题的普遍存在,下面是有人在segmentfault上提的问题. 摘自:http://segmentfault.com/q/1010000000162043 情景2:同一python版本中同一库的不同版本管理 例如在python2.7下应用A是基于Django1.6,应用B是基于Django1.7的,这种情况怎么管理. 为解决以上问题,下面隆重介绍下virtualenv.virtualenvwrapper.

如何优雅的使用 Python 实现文件递归遍历

今天有个脚本需要遍历获取某指定文件夹下面的所有文件,我记得很早前也实现过文件遍历和目录遍历的功能,于是找来看一看,嘿,不看不知道,看了吓一跳,原来之前我竟然用了这么搓的实现. 先发出来看看: def getallfiles(dir): """遍历获取指定文件夹下面所有文件""" if os.path.isdir(dir): filelist = os.listdir(dir) for ret in filelist: filename = dir