本人是奇葩,最近鼓捣了一套在mac上coding远程ubuntu上的theano代码的东东,记之以期造福后人。
Overview: 下图是我的编程环境和网络环境
我期望能在本地mac机器上对远程的ubuntu theano server进行write、run、debug、view matplotlib图片。
mac设置(参考这里)
考虑到在Mac本地调试一部分代码,我把mac也设置好了科学计算环境。
1.1 python
mac安装xcode后会自带很多东西,python就是其中一个。但mac提供的python版本不高,语法与标准python有区别。我使用brew安装了brewed python。
First install homebrew. Follow their instructions, then come back here.
# set up some taps and update brew 打开隐藏的科学库和python库 brew tap homebrew/science # a lot of cool formulae for scientific tools brew tap homebrew/python # numpy, spicy brew update && brew upgrade
# install a brewed python
brew install python
?brew安装的东西都在/usr/local/下,比如bin lib等。用which查看brew的python在/usr/local/bin下,mac自带的python 在/usr/bin下,/usr/local/bin should appear in front of /usr/bin。brew的package比如numpy会安装在local/python/site-package下。brew install python 会安装新的pip到local目录。以后brew的需要against brewed python lib的新软件比如macvim,会自动从$PATH中找第一个出现的python的lib。在ipython下,import os, print(os.path)可以看到$PYTHONPATH的路径,这个路径表示了使用哪个python。import numpy后,print numpy.___path__可以看到import的是哪个路径下的numpy。
# install numpy and scipy brew install numpy brew install scipy
1.2 ipython
brew install qt pyqt # test the numpy & scipy install brew test numpy brew test scipy
#画图的 brew install matplotlib # ipython and notebook support brew install zmq pip install ipython[zmq,qtconsole,notebook,test]
1.3 x11
A version of the X.Org X Window System that runs on OS X
x11是一个图形系统,ubuntu就是用x11来显示图形界面,pyhton的matplotlib也可以用x11,也可以用agg在不启动x11的时候使用plot,参考这里。mac有自己的一套图形界面,但也提供了x11支持(参考这里)。
2. 远程ubuntu12.04设置
2.1 theano、python、ipython的安装,(参考theano官方)
2.2 编译安装vim7.4+python版本,参考这里,?我几次编译都没能加入python支持,后来没有在编译时选装--enable-perlinterp \ --enable-luainterp \ --enable-gui=gtk2 --enable-cscope —prefix=/usr 这三个组件 才成功加入python支持,很奇怪,我猜是luain的原因。
2.3 youcompleteme安装,参考官方。
3. mac与ubuntu互联互通
我在mac上通过ssh到ubuntu上用vim写python代码。调试时我希望能在mac上通过远程连接ubuntu的ipython的pdb
来调试。调试方法参考这里。问题是如何建立到远程python的链接呢?ipython的分离式设计给我提供了机会,参见下图。
ipython分成了kernel和frontend前端界面两个独立的部分。kerner可以运行在ubuntu上,而frontend可以运行在mac上。
3.1 方法1,在mac上用qtconsole连接远程kernel(请参考1 2)
ubuntu端:
在ubuntu上启动ipython kernel,并绑定到ip,这样kernel就在192.168.2.6的41746 52697 52331 33016 58260这5个port上提供服务了。
server > ipython qtconsole —ip=192.168.2.6
这里也可以用ipython kernel来启动,但这时就木有x11或者agg支持了。
启动后在ipython中使用命令%connect_info来查看连接信息。
{ "stdin_port": 41746, "ip": "192.168.2.6", "control_port": 52697, "hb_port": 52331, "signature_scheme": "hmac-sha256", "key": "8c035c48-3fd1-4492-801d-aad6bda49293", "shell_port": 33016, "transport": "tcp", "iopub_port": 58260 }
启动后会自动生成一个如上内容的文件,这个文件可以在如下目录中找到
[email protected]:~$ ls .ipython/profile_default/security/kernel-10436.json kernel-11114.json kernel-7780.json
mac端:
copy连接文件到本地
scp -P 9997 [email protected]61.61.61.61:/home/congliu/profile_default/security/kernel-10436.json ./
启动frontend,连接到防火墙61.61.61.61后面的192.168.2.6。其实是用ssh的端口映射功能先把mac上qtconsole对127.0.0.1的41746 52697 52331 33016 58260这5个port的访问forwarding到远方的192.168.2.6的相应端口上,因为ubuntu在firewall后面,所以还用到了ssh tunnel把mac和61.61.61.61连起来。
[[email protected]~]$ipython qtconsole --ssh[email protected]61.61.61.61:9997 --ip=192.168.2.6 --existing ./kernel-11114.json
3.2 方法2 ,在mac上用notebook连接远程kernel(请参考这里)
3.3 方法3,使用ssh的x11 forwarding 功能(请参考这里)
ssh还真是强大,可以把本该在ubuntu上通过x11显示图形,forward到mac上显示,当然前提是mac上要装好x11的服务(参考这里)。在ubuntu的命令行中输入ipython qtconsole就是在mac上打开一个qtconsole。此时,mac上的python和ipython根本没有运行,mac上的x11就是从ubuntu上的x11接收指令然后显示在本地而已。ubuntu上同时运行了ipython的kernel和frontend。