IBM“认知课堂”如何使用Docker服务于超百万学者
“认知课堂(Cognitive Class)”是IBM面向全球技术人员提供的高质量课程学习平台,课程主题包括人工智能(AI)、机器学习、数据科学、大数据、分析和数据库等,前身为IBM Big Data University。自发布以来,“认知课堂”跨过了一项又一项里程碑,如今已拥有超过100万名学习者。
这篇文章中将分享IBM“认知课堂”在技术方面的里程碑和演变,特别是平台是如何从一个静态基础架构转变到现在使用Docker、运行着数十个Open edX实例的动态+可扩展部署的。
OPEN EDX 101
Open edX是edx.org提供的开源代码。它由几个存储库组成,edx-platform是其主要存储库。如果想要部署Open edX实例,官方的方法是使用配置好的repo,通过Ansible playbooks自动安装。这种方式需要访问正在运行Ansible playbook的服务器。在这些完成之后,你将获得一个全新的Open edX部署。
IBM也是这样运营cognitiveclass.ai(我们的对外网站)的,从2015年开始IBM将“认知课堂”从Moodle部署转移到了Open edX上。Open edX提供了很好的服务,使得我们每天可以为数百名并发学习者提供超过70门课程。
但我们仍然面临着一些挑战:
- Open edX主要针对的是Amazon的AWS服务,但我们要在IBM Cloud上运行我们的基础架构。
- 需要创建虚拟机来部署新实例。
- Open edX从存储在服务器中的JSON文件中读取配置信息,每个实例必须保持这些文件同步。
虽然我们能够在大型的单一部署中克服这些问题,但对于我们的新目标对象,Cognitive Class Private Portals来说它们会变得很难管理。
商业用途的“认知课堂”
在向其他公司介绍时,我们经常会听到同样的问题:“我怎么样才能让我的员工明白并使用这些内容呢?”,这也是我们为“认知课堂”创立“专属门户(Private Portals)”的动机所在。
“专属门户”是一个专门为客户创建的专用部署,用户可以独享专属于他的“认知课堂“,可以创建自定义学习路径、自行定制课程、追踪学习进度、设置访问限制、创立竞赛等等。“专属门户”服务是IBM为团队、部门、小型企业、大型企业、学术机构和培训提供商等推出的。从技术角度来看,这就要求我们能够快速按需推出新的部署。我们回到前文提到的几点挑战,随着部署数量的增长,第二点和第三点尤其具有挑战性。
为每个部署创建和配置新的虚拟机是一个缓慢而且昂贵的过程。如果某个Portals超出了它的资源,我们不得不需要找到一种方法来扩展它,并且在多个虚拟机中管理它的配置。
使用Docker
与此同时,我们在Virtual Labs(供课程用户进行实践操作的环境)的基础设施中遇到了类似的需求,数百个虚拟机的使用让管理非常混乱。于是IBM的Virtual Labs团队开始研究并且实现基于Docker的解决方案。
对我们来说,Docker的主要好处有两个:
这些好处是密切相关的:因为每个容器管理自己runtime和文件,我们能够在同一个服务器上轻松运行不同的软件,而不会相互干扰。与虚拟机相比,我们这样做的开销要低很多,因为Docker在它们之间提供了轻量级的隔离。
通过提高使用密度,我们能够在少量大型服务器中运行数千个容器,这些服务器可以提前进行配置,而不需要去管理数千个较小的实例。
对于IBM的“认知课堂-专属门户“网站来说,这意味着我们可以在几分钟内准备好使用新部署。底层的基础设施已经就位,所以我们只需要启动一些容器即可。
使用Rancher管理容器
Docker本身就是一项出色的技术,但面对高度可扩展的分布式生产环境,我们仍需要借助其他工具或平台来管理容器的生命周期。在“认知课堂”平台中,我们决定使用Rancher,它能够让我们将基础设施抽象出来,只需专注于应用程序本身。
简而言之,Rancher将容器组织成服务,接着服务被分组到stack中。把stack部署到环境中,而环境由主机控制,主机是最终启动容器的底层服务器。Rancher负责在所有主机上创建专用网络,以便他们可以相互安全地进行通信。
我们的网站采用微服务架构,都在Rancher中以stack的形式组合在一起。Open edX是主要组成部分,它可以分为较小的服务。除了Open edX之外,我们还有其他几个组件可以为我们的产品提供额外的功能。下图是我们的Rancher界面示例:
这里有非常多的内容,所以我们来快速解释一下这些内容:
原文地址:http://blog.51cto.com/12462495/2150943
时间: 2024-10-27 01:47:57
IBM“认知课堂”如何使用Docker服务于超百万学者的相关文章
时间:2017年3月29日晚 事件: 使终报libapparmor.so.1文件不能读取数据文件.在google和github上找各种方案,都是你抄我,我抄你.然而并没有一个方案能解决. 最后在我相同的机器上看是否有这个文件.结果有些系统有,有些系统没有.在有的系统上把libapparmor.so.1文件copy到故障机,然后在做软连接.启服务docker. 奇迹发生.docker服务启起来了!
自定义网桥 除了默认的 docker0 网桥,用户也可以指定网桥来连接各个容器. 在启动 Docker 服务的时候,使用 -b BRIDGE或--bridge=BRIDGE 来指定使用的网桥. 如果服务已经运行,那需要先停止服务,并删除旧的网桥. $ sudo service docker stop $ sudo ip link set dev docker0 down $ sudo brctl delbr docker0 然后创建一个网桥 bridge0. $ sudo brctl addbr
Supervisor工具实现自动化docker服务运行 一.使用 Supervisor 来管理进程 Docker 容器在启动的时候开启单个进程,比如,一个 ssh 或者 apache 的 daemon 服务.但我们经常需要在一个机器上开启多个服务,这可以有很多方法,最简单的就是把多个启动命令放到一个启动脚本里面,启动的时候直接启动这个脚本. 例如:docker run –d 镜像 /run.sh 另外就是安装进程管理工具. 本节将使用进程管理工具 supervisor 来管理容器中的多个
如果有container在运行的时候重启 docker 服务, 可能会导致 container无法启动, 错误信息类似于 Error response from daemon: Cannot start container zookeeper: Error getting container ddf1dd91bbf46dc648268327f8f7c6fffaf2f19cda5cf1d97fdc701016d4332c from driver devicemapper: Error mounti
2015-07-29 张晓东 东方云洞察 点击上面的链接文字,可以快速关注"东方云洞察"公众号 IBM已经推出云基础数据仓库服务,这个市场竞争日益激烈,该公司提供企业分析服务,而这通常是企业内部最头疼的一种需求和必须满足的服务. "你过去必须通过一系列的复杂步骤来获得数据.这正在改变.现在人们直接访问数据,说:"德里克Schoettle,IBM云数据服务总经理. IBM bluemix门户服务平台中的IBM dashdb企业MPP(大规模并行处理)服务,提供全面管理
首先,因为docker的运行需要linux本身某些组件和内核特性的支持,所以要确保centos的版本大于6,并且内核版本大于2.6.32-431.可以简单的升级centos6到最新版本. sudo yum upgrade 然后安装cgroup sudo yum install libcgroup service cgconfig start #启动croup服务 lssubsys -am 如果安装成功,最后一个命令lssubsys -am会显示所有子系统的挂载点 源码方式安装lxc sudo y
操作环境 操作系统:CentOS7.2 内存:1GB CPU:2核 Docker服务常用命令 docker服务操作命令如下 service docker start #启动服务 service docker stop #停止服务 service docker restart #重启服务 service docker status #查看服务状态 启动Docker服务 docker是一个CS模型,需要先启动服务端,直接执行 sudo service docker start 启动docker
1.环境192.168.244.128 Prometheus 监控服务器192.168.244.129 docker 服务(被监控端)注:都是centos7.5系统 2.下载安装包https://prometheus.io/download/ (需要的安装包都可以下载)wget https://github.com/prometheus/prometheus/releases/download/v2.3.2/prometheus-2.3.2.linux-amd64.tar.gz 服务端(监控se
问题: docker配置镜像加速之后重启docker服务失败 安装好docker之后, 拉取镜像速度很慢, 甚至连接超时拉取不了, 所以更换镜像地址: #docker镜像加速器 #执行命令 curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://f1361db2.m.daocloud.io 按照提示重启: 查看/etc/docker/daemon.json文件: 仔细观察多了一个逗号, 将逗号删除, 问题解决