2018-05-11-机器学习环境安装-I7-GTX960M-UBUNTU1804-CUDA90-CUDNN712-TF180-KERAS-GYM-ATARI-BOX2D


layout: post

title: 2018-05-11-机器学习环境安装-I7-GTX960M-UBUNTU1804-CUDA90-CUDNN712-TF180-KERAS-GYM-ATARI-BOX2D

key: 20180511

tags: 机器学习 cuda cudnn tensorflow gym

modify_date: 05-11

---

机器学习环境安装-I7-GTX960M-UBUNTU1804-CUDA90-CUDNN712-TF180-KERAS-GYM-ATARI-BOX2D

说明：

正文：

  • 说明：这里记录了如何在ubuntu最新环境安装机器学习的主要环境的方法和尝试过程。

机器学习环境安装全家桶

ubuntu18.04环境实用经验

  • 1.ubuntu18.04切换默认的python方法:
  • 链接: https://segmentfault.com/q/1010000003713912
  • 命令: 
    # 如下命令用来定义2种python
sudo update-alternatives --install /usr/bin/python python /usr/bin/python2 100
sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150

# 如下命令用来切换
sudo update-alternatives --config python
  • 2.ubuntu18.04安装摆渡云盘客户端(不是摆渡云同步客户端)
  • 链接:https://blog.csdn.net/tao_627/article/details/45007637 (这个链接有bcloud3.9.1安装包,是能找到的最新版本,已放入云盘"我的程序\ubuntu\哦嗯"位置;bcloud其实都是社区和个人自己维护的!已测可用)
  • 安装指导:https://blog.csdn.net/qq_37163122/article/details/78169072
  • 3.ssh登录ubuntu18.04
  • 原理:默认ubuntu系统安装后有ssh,而没有sshd,所以其他服务器要通过ssh链接ubuntu需要如下

    ```

    安装指导:https://jingyan.baidu.com/article/359911f5a5b74857fe0306c4.html

    首先看看自己的Ubuntu是不是已经安装或启用了ssh服务，执行ps -e |grep ssh

    如果只有ssh-agent 这个是ssh-client客户端服务，如果没有sshd，继续如下安装ssh-server

    安装sshd:

    sudo apt install openssh-server

    手动操作开启/关闭ssh服务相关命令：

    sudo service ssh start #手动启动服务

    sudo service ssh stop #手动关闭服务

    sudo service ssh status #查询服务状态

    ```

  • 4.install QQ
  • Best way is use ‘WEBQQ‘, it‘s an URL, you can make a URL link icon on ubuntu desktop!.
  • 5.install chrome
  • download chrome deb package and use ‘sudo dpkg -i google-chrome-stable_current_amd64.deb‘ to install.
  • DONOT DOUBLE CLICK ‘deb‘ file in dialog and it will NOT install chrome and final create a icon of it(it seems not install finished indeed!)!
  • 6.安装pycharm
  • 先下载免费社区版本的pycharm,然后执行bin下面的pycharm.sh脚本就启动了图形界面(pycharm.sh)
  • 其次参照如下链接,配置Project Interperter;因为一般有多个python,比如pycharm自带,ananconda如果你安装了,系统的python3或2如果你安装了,我选系统python3作为解析其),你选了哪个,pycharm会自动探测其依赖库的更新,一般ananconda好. https://www.cnblogs.com/fanmu/p/8010580.html
  • 7.解决apt-get循环依赖而无法安装lib库的问题
  • 问题:遇到ubuntu系统中使用apt-get来安装某个lib库,但是A依赖B,C;B依赖D;D依赖A,E,这样循环依赖,没法单独安装每个lib库;
  • 解决:其实只要你sudo apt-get install A,B,C,D,E //将循环依赖库一并写上就可!
  • 8.解决UBUNTU18.04插入USB无线鼠标无效问题
  • 其实就是在未插入电源的情况下,默认会关闭USB设备,插入了电源,无线USB鼠标就能用了;
    • TODO:暂未找到如何设定ubuntu18.04的关闭电源模式下禁用USB设备比如鼠标的开关或配置;
  • TODO:暂未找到ubuntu18.04的调节鼠标大小的方法和命令;

ubuntu18.04环境安装CUDA+CUDNN+TF

  • 1.查看nvidia显卡配置
  • # 查看N卡GPU的配置 nvidia-smi # 查看N卡的图形界面配置 nvidia-settings # 命令:查看nvidia卡型号; $ lspci | grep -i nvidia # 返回内容: 01:00.0 VGA compatible controller: NVIDIA Corporation GM107M [GeForce GTX 960M] (rev a2)
  • 2.安装cuda的折腾过程
  • 神贴/好帖: http://www.zhimengzhe.com/bianchengjiaocheng/qitabiancheng/415560.html
  • 过程简述:
    • 首先尝试记忆中GTX960M显卡只能支持的最高CUDA6+CUDNN5的组合配置安装;
    • 官网查了硬件型号,匹配的就是CUDA6+CUDNN5,因为CUDNN是神经网络NN加速库,主要看cuda;
    • 但很快发现tf官网说即将最低支持cuda8,这怎么办???
    • 查帖子发现也有人在GTX960M上安装CUDA8,所以猜测:只要N卡安装上驱动driver,而driver版本关联到CUDA,cuda关联到cudnn,tf也关联CUDA版本,大胆猜测是这个逻辑;
    • 按照以上逻辑,贪心下载了CUDA9.1,越到了安装问题,解决后发现TF不支持,惨;
    • 找贴发现可以安装多个CUDA版本,只要路径配置得当就行了,不像WIN系统有个黑盒子注册表!
    • 查了TF的GITHUB管网的release里面1.8.0等最新几个release-note信息,并查关键字CUDA,发现只支持到CUDA9.0;于是下决心安装它;
    • NVIDIA官网不用注册就能随意下载CUDA(但CUDNN需要注册下载),速度都很快,于是下载runfile(目前发现,我忘记安装patch补丁,只安装了CUDA9.0的主程序,目前也能用!)
    • 按照上述神贴方法,考虑到ubuntu18.04已经将GTX960M的显卡升级到最新的390的drvier驱动,而且神贴说只要driver版本接近(帖子说AAA.BB小版本BB可以不一样),但我发现CUDA9.0只支持到387,和390很接近,大胆尝试,居然安装上去了.主要安装CUDA9.0的时候不要第一步就安装它自带的才387的driver显卡驱动,否则显卡驱动的安装将极其复杂!
    • 顺利安装完CUDA9.0,按提示和神贴设定路径,然后注册NVIDA官网,下载配套CUDNN712,并同样runfile安装,并参考另外帖子(下面详述)复制文件和做链接及path等;
    • 最后pip3 install tensorflow-gpu
    • 需要keras的就pip3 install tensorflow-gpu
  • 3.安装cuda9.1/CUDA9.0/CUDA较高版本(cuda安装包提示最高支持ubuntu17.10,别管它,其实我18.04照样安装!没事!)
  A.执行cuda9.X的run安装文件出现问题

    Error: unsupported compiler: 7.3.0. Use --override to override this check.
    sudo sh ./cuda_9.1.85_387.26_linux.run --override   //添加这个参数来屏蔽这个报错! 于是可以继续安装了! 看到如下结果,基本OK.

= Summary =
===========

Driver:   Not Selected
Toolkit:  Installed in /usr/local/cuda-9.1
Samples:  Installed in /home/ya/cuda9-samples

Please make sure that
 -   PATH includes /usr/local/cuda-9.1/bin
 -   LD_LIBRARY_PATH includes /usr/local/cuda-9.1/lib64, or, add /usr/local/cuda-9.1/lib64 to /etc/ld.so.conf and run ldconfig as root

To uninstall the CUDA Toolkit, run the uninstall script in /usr/local/cuda-9.1/bin

Please see CUDA_Installation_Guide_Linux.pdf in /usr/local/cuda-9.1/doc/pdf for detailed information on setting up CUDA.

WARNING: Incomplete installation! This installation did not install the CUDA Driver. A driver of version at least 384.00 is required for CUDA 9.1 functionality to work.
To install the driver using this installer, run the following command, replacing <CudaInstaller> with the name of this run file:
    sudo <CudaInstaller>.run -silent -driver

Logfile is /tmp/cuda_install_13322.log
Signal caught, cleaning up

---------------------

  B 设定配置(参照上面提示)

$ sudo vim /etc/profile
在打开的文件末尾，添加以下两行。

64位系统：
$ export PATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}
$ export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}} 

32位系统：
$ export PATH=/usr/local/cuda-9.0/bin${PATH:+:${PATH}}
$ export LD_LIBRARY_PATH=/usr/local/cuda-9.0/lib ${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

  C 安装完毕CUDA9.x,还需安装如下lib

sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev

  D 最后reboot,并用如下命令测试,看是否安装CUDA9.X正确

$ nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2017 NVIDIA Corporation
Built on Fri_Nov__3_21:07:56_CDT_2017
Cuda compilation tools, release 9.1, V9.1.85
  • 4.安装cudnn7.1.2(配套CUDA9.X)
  • 官网下载:https://developer.nvidia.com/rdp/cudnn-archive (需免费注册nvidia会员)
  • 释放后做些拷贝和路径设定就行,参考以上CUDA的神贴,较简单.
  • 5.安装TF-CUDA-CUDNN经验
  • 首先,目前GPU做的最好的是N卡(NIVIDA显卡),不仅硬件好,驱动,CUDA平台,CUDNN神经网络加速库都好,远超其他显卡;目前其他显卡无法加速神经网络!!!
  • 其次,你有幸买了N卡,且准备搞深度学习,最著名的开源框架TF(Tensorflow),Pytorch,以及高级库keras等等,一般都支持CUDA/CUDNN,先选其一学习吧;
  • 再则,有了N卡,比如我的GTX960M(游戏本的,但是不打游戏),关键是配套驱动driver要不断升级,比如跟着ubuntu18.04,最新升级到了390.xx的版本;
    • N卡的驱动driver版本AAA.XX(比如390.xx),它配套CUDA,也就是说CUDA库会说明需要drvier升级到何版本,一般xx不同没关系,AAA最好一样;
    • 笔者经验:AAA相差小的没关系,而且新的driver一般向下兼容,旧的AAA就必须升级了;(如果上N卡官网查你的硬件比如GTX960M,它自动匹配的CUDA很低,不要信!否则绝望!)
    • CUDNN是配套cuda的版本的;
    • TF也是配套cuda的版本的;
  • 安装依赖路径: GTX960M-->DRIVER FOR UBUNTU18.04(390.XX) -->CUDA9.0(9.X)-->CUDNN7.1.2/TF1.8.0-->KERAS
    • TF马上最低支持cuda8.0了,请尽快升级driver,以便升级到cuda8/9/..,来使用配套的TF/CUDNN,老硬件N卡照样用!
  • 这里仅仅是我这种硬件软件配置的成功案例,供看管参考,不代表原理和其他软硬件配置都能成功,还需尝试!!!
    • 另外,我CUDA的几个patch忘记安装了,估计是它修改兼容性和BUG的,目前不出其他问题,我就不安装了,怕有问题;

ubuntu18.04环境安装OpenAI的GYM的强化学习环境

  • 1.安装GYM环境
  • 通常做法,用命令: pip3 install gym[all] //这里假设ubuntu已经安装升级了python3和pip3,且按照上述方法切换默认python为PY3而不是PY2;
  • 问题:一般你会遇到结果提示,Box2D和atari-py安装失败,重复上述命令,再次安装全部gym[all],就更清晰的看到只有此2模块没有安装成功(和win10一致);
  • 2.安装swig
  • 如上述2个模块安装失败,发现一个错误是没有swig,和win10一样,到官网下载对应的swig版本,win10下是exe(能成功),ubuntu用命令(能成功);
  • sudo apt-get install swig
  • swig链接:http://www.swig.org/download.html
  • 3.安装gym的Box2D-kengz的物理引擎
  • gym是个全家桶,里面包含了多种物理引擎Box2D等,游戏环境Atari等,是个用于研发和调测强化学习RL的好环境;
  • 先再次安装,改个名字: pip3 install gym[Box2D] //单独命令安装Box2D,而不是all,也不是原来过时的Box2D-kengz
  • 安装成功后,如下测试:
测试Box2D物理引擎是通过激活如下的小游戏CartPole:

用如下命令来测试Box2D是否安装成功,如果失败,只会出现白框,而没有杆子!
python //进入python,最好是PY3
import gym  //load gym库,这里不能有报错
env = gym.make("CartPole-v0")  //新建一个树立杆子的游戏环境
env.reset() //初始化
env.render()  //渲染,此时会弹出dialog,里面有杆子!就算OK了!
env.close()  //关闭env环境,dialog不能被gui关闭,只能用本行命令关闭!
  • 4.安装gym的Atari-py的小游戏强化环境集合
  • 单独安装: pip3 install gym[atari-py] //报错一样,显示可能cmake有问题(win10下就需要安装MingGW等环境,最终没时间弄下去)
  • 安装cmake: sudo apt-get install cmake //cmake是ubuntu操作系统lib库,不是python库,所以用apt而不是pip3来安装;
  • 然后再安装atari-py: pip3 install gym[atari] //成功
  • 如果报错如下,请进入该报错提示的目录,需要额外手动生成缺漏的so文件,src源码在atari该目录,进入该目录直接make就能生成!
    • OSError: /home/ya/atari-py/atari_py/ale_interface/build/libale_c.so: cannot open shared object file: No such file or directory
    • 请进入/home/youraccount/atari-py/atari_py/ale_interface/ //此时没有build目录和文件libale_c.so
    • 在该目录看到了makefile文件和src目录,猜测是没有编译出so文件!
    • 在该目录直接运行命令make,它自动编译同目录的makefile编译编辑脚本,于是so文件有了,再次测试!!!通过了!!!
    • atari 安装完成!!!!
测试:
python //进入python,最好是PY3
import gym  //load gym库,这里不能有报错
env = gym.make("SpaceInvaders-v0")  //新建一个打飞机游戏环境(这里可能会报错如下!!!)
env.reset() //初始化
env.render()  //渲染,此时会弹出dialog,里面有飞机!就算OK了!
env.close()  //关闭env环境,dialog不能被gui关闭,只能用本行命令关闭!
  • 5.运行RL强化学习的例子
  • 强化学习RL很有趣,最近在学习,看了一些morvan的教程(github查找关键字"morvan"得到的第一个结果)
  • 跑一个普通RL例子,虽然import里面不需要纯python的图形库tkinter,但是matplotlib著名py的画图库需要,则要做如下安装:
    • 安装tkinter: sudo apt install python3-tk //特别注意,不是 sudo apt install python-tk!!!

持续更新中...

END

原文地址：https://www.cnblogs.com/taichu/p/9031315.html

时间： 2024-11-16 13:38:46

2018-05-11-机器学习环境安装-I7-GTX960M-UBUNTU1804-CUDA90-CUDNN712-TF180-KERAS-GYM-ATARI-BOX2D的相关文章

C++11环境安装

今天Mayuyu开始学习C++11的一些新特性,所以第一步就是要安装C++11的环境. 对于C++11来说,只有gcc4.8.2及以上的版本才能很好地支持,而Mayuyu选择的是CentOS6.5系统,安装的 gcc版本为4.9.2.gcc安装包的下载目录为:ftp://gcc.gnu.org/pub/gcc/releases/ 注意在安装gcc4.9.2之前,需要先安装一下三个包,位置为ftp://gcc.gnu.org/pub/gcc/infrastructure/ 如下三个文件 然后就是下

基于 Docker 快速构建 Linux 0.11 实验环境

by Falcon of TinyLab.org 2015/05/02 简介 五分钟内搭建 Linux 0.11 的实验环境介绍了如何快速构建一个 Linux 0.11 实验环境. 本文介绍如何快速构建一个独立于宿主机的 Linux 0.11 实验环境,该实验环境可以用于任何操作系统的宿主开发机,将非常方便各类学生学习 Linux 0.11,本文只介绍 Ubuntu.在 Windows 和 Mac 下可以用 VirtualBox + Boot2Docker 来启动. 下文要求已经安装 git 和

FastDFS分布式文件系统&amp;Nginx负载均衡最小环境安装配置［超级详解］

1.背景 FastDFS 是一款开源的.分布式文件系统(Distributed File System),由淘宝开发平台部资深架构师余庆开发.该开源项目的主页是 http://code.google.com/p/fastdfs .可以通过 fastdfs.sourceforge.net 下载.FastDFS论坛是 http://www.csource.org ,目前是指向 ChinaUnix 开源项目孵化平台的一个板块 FastDFS,网址为 bbs.chinaunix.net/forum-24

信息安全系15级学生课程设计——2018.05 小组课题报告

信息安全系15级学生课程设计--2018.05 小组课题报告 课题:物联网实训·远程安防监控系统 一.设计方案及可行性分析 1.项目概述 本项目需要实现以嵌入式Web服务器为核心的视频监控系统. 摄像头采集的到的图像经过压缩后,传到内置的web服务器中.用户只需要通过浏览器就可以观看摄像头采集到的数据. 除了视频监控功能外,本项目还可以搜集空气湿度.空气温度.光照强度等信息. 2.系统架构 该项目基本可以看作B/S架构,由有三部分组成: (1)核心服务端:其实是客户端(严格意义上说,PC上的浏览

环境安装、配置django

环境安装 以下的环境版本1.vagrant_2.1.5_x86_64.msi2.VirtualBox-5.1.0-108711-Win.exe3.centos-7.2.box 安装VirtualBox版本:VirtualBox-5.1.0-108711-Win 1. 2. 3. 4. 5. 6. 7. 安装vagrant版本:vagrant_2.1.0_x86_64 1. 2. 3. 4. 5.重启下电脑 6.验证 配置启动虚拟机在F盘新建devops 文件夹,将centos-7.2.box 拷

三、安装cmake，安装resin ，tars服务，mysql 安装介绍，安装jdk，安装maven，c++ 开发环境安装

三.安装cmake,安装resin 2018年07月01日 21:32:05 youz1976 阅读数:308 开发环境说明: centos7.2 ,最低配置:1核cpu,2G内存,1M带宽 1.安装rz,sz命令,将安装包发送至服务器 yum install lrzsz 2.glibc-devel安装介绍如果没有安装glibc的开发库,需要先安装. yum install glibc-devel 3.安装gcc yum install gccyum install gcc-c++ 4.cmak

QT环境安装参考（不同版本)

Qt5.9.2 (MinGW5.3.0 32bit)+ opencv3.3.1 环境配置 https://blog.csdn.net/Sin1997/article/details/78512538/ Windows 下搭建 Qt5.x+ 的开发环境 https://segmentfault.com/a/1190000013118142 win10下,安装Qt5.9.7 https://blog.csdn.net/qq_34732729/article/details/88941708?dept

LNMP环境安装一、 Mysql5.7安装

编译安装mysql-5.7.17 1.打开官方网站下载最新的mysql-5.7.17源码包 注意:选择源码下载 2.在自定义目录保存 boost/mysql 或者mysql-boost http://downloads.sourceforge.net/project/boost/boost/1.59.0/boost_1_59_0.tar.gz http://cdn.mysql.com//Downloads/MySQL-5.7/mysql-boost-5.7.11.tar.gz http://cd

最简化的DirectX 11开发环境的配置 VS2010

转载自:http://blog.csdn.net/zhmxy555/article/details/7672101 在编写基于DirectX 11的应用程序之前,我们当然需要在IDE中加入DirectX SDK函数库的支持,让编译器在编译我们的代码时候,认识我们在代码中调用的DirectXSDK中的函数.否则,编译器会报出undefined  XXX等错误,因为如果我们不进行DirectXSDK的配置,编译器是不会聪明到认识这些函数的. 之前浅墨发表过一篇<DirectX开发环境快速配置>的文