Linux服务器配置GPU版本的pytorch Torchvision TensorFlow

  最近在Linux服务器上配置项目,项目需要使用GPU版本的pytorch和TensorFlow,而且该项目内会同时使用TensorFlow的GPU和CPU。

  在服务器上装环境,如果重新开始,就需要下载很多依赖包,而且如果直接在系统上安装包,可能会和服务器上的其他包发生冲突,因此使用Anaconda创建虚拟环境来管理项目的依赖包。Anaconda的安装可以去清华大学的镜像下载,速度比较快,选择对应的版本就可以了  https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 。我需要下载python3.6对应的Anaconda可以对照下面这张图片来查看,选择Anaconda3-5.2.0版本就可以了。(但是其实我下载成了anaconda2,不过并不影响后续使用)

  Anaconda下载之后会在~/.bashrc中添加一条环境变量。如果首次运行conda命令找不到,就source ~/.bashrc。

  配置好Anaconda后,如果要创建虚拟环境,重新下载包也需要很麻烦的操作,而且需要对照以前的项目进行一一下载。这太捞了,我们考虑直接将本地项目的anaconda环境打包好上传到服务器上,就可以使用本地的虚拟环境了。具体做法是,首先到本地的Anaconda环境目录下,我的是/home/timber/anaconda2/envs ,这个目录下就是用户创建的anaconda环境。直接打包

tar -cvf name.tar your_env_name/

然后将这个文件用scp上传到服务器下的(anaconda2_dir)/envs下,

scp name.tar [email protected]_ip:anaconda_dir/envs

接着在服务器的anaconda的envs目录下解压name.tar

tar -xvf name.tar

环境就移植到服务器上了,可以在服务器上通过conda env list检验是否有我们刚移植的环境。

  本地安装的环境是cpu版本的pytorch和TensorFlow,首先将pytorch卸载

conda activate project #激活环境
conda uninstall pytorch

然后去清华大学的镜像下下载pytorch(因为官方下载超级慢)。需要首先配置清华大学镜像。

依次运行以下命令

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

上面三条是配置清华镜像源,下面一条是配置pytorch源。然后去到官网,选择你对应的pytorch版本,找到下载命令,比如,最新版本的Pytorch在cuda10下面的官方下载命令是

conda install pytorch torchvision cudatoolkit=10.1 -c pytorch

但是,不要用这条命令,由于添加了镜像源,我们去掉上面命令的-c pytorch,运行

conda install pytorch torchvision cudatoolkit=10.1

就可以用清华镜像下载了。如果要下载历史版本的pytorch,以1.0为例,就用

conda install pytorch==1.0 torchvision cudatoolkit=10.1 -c pytorch

安装好之后,torchvision不一定能配套使用,因为Torch已经更换了,所以可能会存在版本不一致的问题,卸载torchvision,然后下载对应版本的torchvision。

  出现的第一个问题是torchvision下没有totensor,重装0.2.0的torchvision。

  第二个问题是This application failed to start because it could not faind or load the Qt platform plugin "xcb" in "".

 Reinstalling the application may fix the problem.这个提示告诉我们在Qt平台插件中找不到XCB,提示我们重装,那我们就重装呗,重装pyqt

conda uninstall pyqt
conda uninstall qt
conda install pyqt

  我的项目使用了GPU版本的Tensorflow,需要装GPU版本的TensorFlow。

  这里还有个问题是,人脸识别和车辆检测都使用了TensorFlow,一个是CPU版本,一个是GPU版本,会有冲突吗。TensorFlow的GPU版本是可以跑cpu的,所以先把之前的TensorFlow卸载掉。下载了GPU版本的

conda install tensorflow-gpu==1.12.0

但是这里同时下载了cuda的9.0的toolkit,之前下载torch的时候使用了cuda10的toolkit,不知道会怎么样。测试之后发现没有冲突。

  现在在这个项目下,有一个GPU的版本,有一个cpu的版本,同时也有两套对应的anaconda环境与之对应,当执行GPU版本时,需要切换到anaconda的GPU环境。这种切换可以是在命令行中

conda activate gpu

也可以是在pycharm中进行project intepreter设置,选中anaconda/envs/project/bin/python3.6,就是选中了该环境。

  至此,还剩最后一个问题,GPU版本的TensorFlow是默认使用gpu版本,但是GPU版本的项目有一块是需要使用cpu版本的tensorflow的,那么应该如何设置?

原文地址:https://www.cnblogs.com/TimberNie/p/12200424.html

时间: 2024-08-07 06:33:57

Linux服务器配置GPU版本的pytorch Torchvision TensorFlow的相关文章

【转】Ubuntu 16.04安装配置TensorFlow GPU版本

之前摸爬滚打总是各种坑,今天参考这篇文章终于解决了,甚是鸡冻\(≧▽≦)/,电脑不知道怎么的,安装不了16.04,就安装15.10再升级到16.04 requirements: Ubuntu 16.04 python 2.7 Flask tensorflow GPU 版本 安装nvidia driver 经过不断踩坑的安装,终于google到了靠谱的方法,首先检查你的NVIDIA VGA card model sudo lshw -numeric -C display 可以看到你的显卡信息,比如

学习笔记TF046:TensoFlow开发环境,Mac、Ubuntu/Linux、Windows,CPU版本、GPU版本

下载TensorFlow https://github.com/tensorflow/tensorflow/tree/v1.1.0 .Tags选择版本,下载解压. pip安装.pip,Python包管理工具,PyPI(Python Packet Index) https://pypi.python.org/pypi . Mac环境.安装virtualenv.virtualenv,Python沙箱工具,创建独立Python环境.pip install virtralenv --upgrade 安装

安装GPU版本的tensorflow填过的那些坑!---CUDA说再见!

那些坑,那些说不出的痛! --------回首安装的过程,真的是填了一个坑又出现了一坑的感觉.记录下了算是自己的笔记也能给需要的人提供一点帮助. 1 写在前面的话 其实在装GPU版本的tensorflow最难的地方就是装CUDA的驱动.踩过一些坑之后,终于明白为什么Linus Torvald 对英伟达有那么多的吐槽了.我的安装环境是ubuntu16.04,安装的是CUDA-8.0.其他驱动安装一般不会遇到很大的问题,都是一些小问题,一般不会卡很久.可以参考官网的安装过程. 2 眼花缭乱的CUDA

windows10安装tensorflow的gpu版本(pip3安装方式)

前言: TensorFlow 有cpu和 gpu两个版本:gpu版本需要英伟达CUDA 和 cuDNN 的支持,cpu版本不需要:本文主要安装gpu版本. 1.环境 gpu:确认你的显卡支持 CUDA,这里确认. vs2015运行时库:下载64位的,这里下载,下载后安装. python 3.6/3.5:下载64位的,这里下载,下载后安装. pip 9.0.1(确认pip版本 >= 8.1,用pip -V 查看当前 pip 版本,用python -m pip install -U pip升级pip

手把手教你如何安装Tensorflow(Windows和Linux两种版本)

现在越来越多的人工智能和机器学习以及深度学习,强化学习出现了,然后自己也对这个产生了点兴趣,特别的进行了一点点学习,就通过这篇文章来简单介绍一下,关于如何搭建Tensorflow以及如何进行使用.建议的话,还是要学习了一点Python基础知识和Linux知识是最好的! 版本:Windows7 一:安装Anaconda和Tensorflow 步骤: 1:从官方网站下载Anaconda https://www.anaconda.com/download/ 2:进行软件安装(这个和普通的没什么特别区别

安装GPU版本的TensorFlow

win10 x64 python 3.6 显卡 GTX 940mx Cuda 8.0 cudnn v5.1 TensorFlow-gpu 1.0.0 1. 安装CUDA 显卡型号支持:https://developer.nvidia.com/cuda-gpus 下载安装CUDA,安装好之后把CUDA安装目录下的bin和lib\64添加到Path环境变量中 2. 安装cuDNN 下载CuDNN需要注册账号 下载安装cuDNN 解压压缩包,把压缩包中bin,include,lib中的文件分别拷贝到c

anaconda+pytorch安装(无GPU版本)

anaconda+pytorch安装(无GPU版本) 待办 https://blog.csdn.net/nnUyi/article/details/78471326 原文地址:https://www.cnblogs.com/lishikai/p/12345395.html

一线开发者在Reddit上讨论深度学习框架:PyTorch和TensorFlow到底哪个更好?

本文标签:   机器学习 TensorFlow Google深度学习框架 分布式机器学习 PyTorch   近日,Reddit用户 cjmcmurtrie 发了一个主题为「PyTorch vs. TensorFlow」的讨论帖,想要了解这两大流行的框架之间各自有什么优势. 原帖地址:https://redd.it/5w3q74 帖子一楼写道: 我还没有从 Torch7 迁移到 TensorFlow.我玩过 TensorFlow,但我发现 Torch7 更加直观(也许是我玩得不够?).我也尝试了

Pytorch - GPU ID 指定 pytorch gpu 指定

PyTorch 关于多 GPUs 时的指定使用特定 GPU. PyTorch 中的 Tensor,Variable 和 nn.Module(如 loss,layer和容器 Sequential) 等可以分别使用 CPU 和 GPU 版本,均是采用 .cuda() 方法. 如: import torch a = torch.Tensor(2, 3) if torch.cuda.is_available(): # 判断是否支持 CUDA a.is_cuda # False a = a.cuda()