使用亚马逊云服务器EC2做深度学习(四)配置好的系统镜像

这是《使用亚马逊云服务器EC2做深度学习》系列的第四篇文章。

(一)申请竞价实例  (二)配置Jupyter Notebook服务器  (三)配置TensorFlow  (四)配置好的系统镜像

配置深度学习的环境是一个非常繁琐的过程。它要求你对Linux命令有一定地了解,与此同时各种深度学习库、驱动更新十分频繁,有可能明天教程里的安装脚本就不管用了。

AMI



AMI就是解决方法。AMI是可以直接在EC2启动的系统镜像,有的系统镜像已经配置好了使用GPU的深度学习环境,这样启动实例后,你就可以直接运行程序了。

AMI有几种。你可以自己创建AMI,这样你需要自己支付存储AMI镜像的费用,如果你频繁地需要使用你已经配置好的环境,这是一个不错的选择。

付费AMI



第二种是awsmarketplace上需要付费的AMI。如果你使用这种镜像,除了为实例付费以外,你还需要为镜像付费。付费的AMI更新频繁,你可以找到包含最近配置的深度学习库的镜像。

bitfusion就是一个深度学习镜像的提供商。不同的实例,镜像的使用费有所差异。对于g2.2xlarge实例,需要为TensorFlow镜像额外支付$0.065/h。

1) bitfusion提供的镜像,bitfusion提供了包括TensorFlow、Torch、Caffe、Theano几乎所有主流深度学习库的镜像。注:bitfusion已经提供TensorFlow1.0的镜像了。

https://aws.amazon.com/marketplace/seller-profile?id=3b372560-86bf-4e3d-9ec0-016892a64bed

2) Amazon官方提供的深度学习镜像,价格十分昂贵:

https://aws.amazon.com/marketplace/pp/B01M0AXXQB?qid=1475211685369&sr=0-1&ref_=srh_res_product_title

社区AMI



第三种是社区AMI,是免费的。当然不付费,你就不能要求太高。除了更新不那么频繁以外,与付费的AMI没有什么区别。

你可以在AMI一栏,点击使用自定义AMI > 选择community AMIs > 搜索深度学习库的名字,比如tensorflow。

注意搜索到的AMI有可能是需要付费的AMI,而且从表面上难以甄别,不过需要付费的AMI通过这种方式启动实例会识别。这就是是为什么需要社区的力量,大家一起来判断哪些社区的AMI质量不错,下面我会提供一些我找到的。大家可以留言你们找到的好的AMI。

TensorFlow AMI



1) 关键字TFAMI,Github主页可以找到镜像的信息。

2) 关键字Udacity Tensorflow。提供的说明:Udacity image using tensorflow. It is based on the cs231n_caffe_torch7_keras_lasagne_v2 image

3) 关键字DataScienceLab_1.0。说明:Install cuda;cudnn;anaconda; tensorflow;keras;theano;pytorch;mxnet;caffe;lasgne with GPU support

时间: 2024-10-26 00:37:23

使用亚马逊云服务器EC2做深度学习(四)配置好的系统镜像的相关文章

使用亚马逊的云服务器EC2做深度学习(三)配置TensorFlow

这是<使用亚马逊的云服务器EC2做深度学习>系列的第三篇文章. (一)申请竞价实例  (二)配置Jupyter Notebook服务器  (三)配置TensorFlow TensorFlow是Google发布的深度学习框架,支持Python和C++的接口.TensorFlow既可以用于学术研究,也可以用于生产环境.许多Google的内部服务,就使用了TensorFlow,比如Gmail.语音识别等. 网络上TensorFlow的教程也很丰富,官方文档在第一时间就被翻译成来中文. 如果让我来评价

使用亚马逊的云服务器EC2做深度学习(二)配置Jupyter Notebook服务器

这是<使用亚马逊的云服务器EC2做深度学习>系列的第二篇文章. (一)申请竞价实例  (二)配置Jupyter Notebook服务器  (三)配置TensorFlow Jupyter Notebook是Python中的一个开源编辑器.它的主界面就是一个网页,可以在浏览器中远程执行程序. 同时它可以方便地混杂代码和程序的说明,有许多TensorFlow的教程就是用Jupyter Notebook来编写的. 出于安全的考虑,Jupyter Notebook默认只能在本地访问,如果要远程访问需要进

使用亚马逊的云服务器EC2做深度学习(一)申请竞价实例

这是<使用亚马逊的云服务器EC2做深度学习>系列的第一篇文章. (一)申请竞价实例  (二)配置Jupyter Notebook服务器  (三)配置TensorFlow 众所周知深度学习对计算机的要求很高,配置一台数千元的GPU.8GB的内存.HDD的硬盘的深度学习机器价格不菲.然而你并不需要专门配置一台计算机来做深度学习. 亚马逊云服务AWS上被广泛用于部署网站服务,大多数人不知道的是AWS也有带GPU的服务器.低配版的服务器拥(g2.2xlarge)有8核CPU,15GB的内存,2个NVI

mac 登录亚马逊云服务器报错:Permission denied (publickey).

申请的亚马逊云服务器EC2,实例为ubuntu系统 一.打开终端,定位到放置密钥的文件夹: 二.确保私有秘钥不是公开可见的: p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 14.0px "Andale Mono"; color: #75b900; background-color: #252525 } span.s1 { } chmod 400 密钥文件名.pem 三.两种方式连接云服务器:(假设实例的对公IP为:11.22.33.44)

亚马逊云服务器AWS安装CentOS

亚马逊云服务器默认创建的实例,在停止之后再启动的情况下,IP会发生改变.所以我们最好先创建一个弹性IP,即EIP,不过我也不清楚这个费用. 1.按如图操作创建一个弹性IP,弹性IP创建之后可以随便绑定到该region下的实例 2.创建好弹性IP之后,然后去创建实例: 3.点启动实例之后,会进入到Amazon 系统映像(AMI)的选择: 4.我这里以安装Centos为例,点击上图中的“AWS Marketplace”,从镜像市场选择centos安装,可以慢慢找,也可以搜索centos然后再找合适的

解决亚马逊云服务器上安装nginx后无法访问的问题

在亚马逊云服务器上装了Ubuntu系统,使用docker环境搭建nginx,启动nginx容器后,在浏览器输入地址后,显示连接超时. 在网上查了一下说有可能是服务器安全组的设置问题 然后在云服务器的安全组的入站里添加了HTTP协议,端口为80.添加之后,再次启动容器就可以通过浏览器访问了. 原文地址:https://www.cnblogs.com/wujing-hubei/p/8575934.html

使用Nginx+uwsgi在亚马逊云服务器上部署python+django项目完整版(二)——部署配置及相关知识

一.前提: 1.django项目文件已放置在云服务器上,配置好运行环境,可正常运行 2.云服务器可正常连接 二.相关知识 1.python manage.py runserver:这是一款适合开发阶段使用的服务器,不能对大量请求进行同时处理,不适合运行在真实的生产环境中,在实际生产环境中使用WSGI作为接口,连接web和python代码(也就是django项目): 2.WSGI:Web服务器网关接口,英文为Python Web Server Gateway Interface,缩写为WSGI,是

在Windows中连接亚马逊云服务器

使用 PuTTY 连接到您的 Linux 实例,具体步骤如下: 1. 在AWS Web console中获取服务器的访问密钥(即*.pem文件)并保存到本地,并设置允许从指定的IP 地址到实例的入站 SSH 流量. 2. 下载putty和puttygen两个程序,也可下载windows安装包,并安装putty. 3. 由于putty不支持私有密匙类型,需要用puttygen进行转换,具体过程如下: 打开puttygen程序,然后点击“Load”选择第一步获取的.pem文件,如果看不到,选择下面的

亚马逊云代码部署(NodeJS)

首先需要使用ssh或者putty登陆AWS ec2的linux实例(在Windows中使用putty连接linux实例参见:在Windows中连接亚马逊云服务器). 一 .为了方便文件传输  需要安装两个软件 1. winscp  WinSCP是一个Windows环境下使用SSH的开源图形化SFTP客户端.同时支持SCP协议.它的主要功能就是在本地与远程计算机间安全的复制文件. 支持基于SSH-1.SSH-2的SFTP和SCP协议[2] 支持批处理脚本和命令行方式 多种半自动.自动的目录同步方式