如何将OpenStack部署到Hadoop

随着信息时代的高速发展,大数据技术和私有云环境都很有用;不过,如果将两者结合在一起,企业会获得巨大的利润。尽管结合两者会让环境变得更复杂,企业仍然可以看到将 OpenStack 私有云和 Apache Hadoop 环境结合在一起产生的显著的协同效应。如何来做会更好?

  方案1. Swift、Nova + Apache Hadoop MapReduce

  对于希望在大数据环境中实现更高程度的灵活性、可扩展性和自治性的企业,可以利用 Apache 和 OpenStack 提供的开源产品的与生俱来的能力。为此,企业需要最大限度地利用这两种技术栈,这就要求采用与前面所述的解决方案不同的思维方式来设计环境。在这方面软件开发专业网是很有经验的。

  要获得完全可伸缩的、灵活的大数据环境,必须在一个同时提供存储和计算节点的私有云环境中运行它。为此,企业必须先构建私有云,然后添加大数 据。因此,在这种情况下,必然会用到 Swift、Nova 和 RabbitMQ,并控制器节点来管理和维护环境。但是,问题在于企业是否需要针对不同的系统和业务部门将环境分为若干个部分(例如,非大数据虚拟机或客 户机实例)。如果企业准备完全使用私有云,那么应当添加 Quantum,从网络的角度对不同的环境进行划分。

  方案2. Swift+Apache Hadoop MapReduce

  在私有云环境中,常见的大数据部署模型之一是:将 OpenStack 的 Swift 存储技术部署到 Apache Hadoop MapReduce 集群,从而实现处理功能。使用这种架构的优势是,企业将获得一个可扩展的存储节点,可以用该节点来处理其不断累积的数据。根据 IDC 的调查,数据年增长率已经达到 60%,该解决方案将满足不断增长的数据需求,同时允许组织同时启动一个试点项目来部署私有云。

  该部署模型的最佳使用场景是企业希望通过存储池尝试使用私有云技术,同时在内部使用大数据技术。最佳实践表明企业应当先将大数据技术部署到您的 生产数据仓库环境中,然后构建并配置您的私有云存储解决方案。如果将 Apache Hadoop MapReduce 技术成功融合到数据仓库环境中,并且已经正确构建并运行您的私有云存储池,那么您就可以将私有云存储数据与预调度的 Hadoop MapReduce 环境集成在一起。

  方案3. Swift + Cloudera Apache Hadoop 发行版

  对于那些不愿意从头开始使用大数据的企业,可以使用 Cloudera 等解决方案供应商提供的大数据设备。Cloudera 的发行版包括 Apache Hadoop (CDH) 解决方案,它允许企业不必针对 Hadoop 的每个细微差别来招募或培训员工,因此可以在大数据方面实现更高的投资回报 (ROI)。对于那些不具备大数据或私有云技能集,希望以缓慢、渐进的方式将该技术集成到其产品组合的企业,这一点尤其吸引人。

  大数据和云计算属于相对较新的技术,许多企业希望通过它们实现成本节省;不过,许多企业对于是否完全采用这些技术犹豫不决。通过利用供应商支持 的大数据软件版本,企业在这方面将会更加从容,同时还可以了解如何使用这些技术来发挥自身的优势。此外,如果使用大数据软件分析大型数据集,而且可以通过 私有云存储节点来管理这些数据集,那么这些企业还可以实现更高的利用率。为了最好地将这一策略集成到企业中,首先需要安装、配置和管理 CDH,以便分析企业的数据仓库环境,然后将 Swift 中存储的数据添加到需要的地方。

  在设置并测试了私有云环境后,可以将 Apache Hadoop 组件合并到其中。此时,Nova 实例可用于存放 NoSQL 或 SQL 数据存储(没错,它们可以共存)以及 Pig 和 MapReduce 实例;Hadoop 可以位于一个独立的非 Nova 机器上,以便提供处理功能。在不久的将来,Hadoop 有望在 Nova 实例上运行,使私有云自包含到所有 Nova 实例中。

  方案4. GFS、Nova、Pig 和 MapReduce

  从架构的角度看,除了使用 OpenStack 的 Swift 实现可扩展存储外,可能还有其他选择。本例使用了 Google File System (GFS)、Nova 组件和 Apache Hadoop 组件,具体来讲,使用了 Pig 和 MapReduce。该示例允许企业集中精力开发一个仅用于计算处理的私有云计算节点,同时利用 Google 的公共存储云作为数据存储。通过使用这种混合云,企业可以专注于计算处理功能的核心能力,由第三方负责实现存储。该模型可以利用其他供应商的存储解决方 案,如 Amazon
Simple Storage Service;但是,在使用任何外部存储之前,企业应当在内部使用可扩展的文件系统 (XFS) 来构建该解决方案,并进行相应的测试,然后再将其扩展到公共云中。此外,根据数据的敏感性,企业可能需要使用数据保护机制,比如模糊处理 (obfuscation)、解除匿名化、加密或散列。

  技巧和提示

  在将云计算和大数据技术并入企业环境时,一定要为这两个技术平台构建员工的技能集。当您的员工理解这些技术后,就可以组建一个实验室来测试这两 个平台合并后的效果。由于包含许多不同的组件,因此在实现过程中,请务必遵循前面提到的经过验证的路径。此外,企业在尝试合并这两种模式时可能会遇到一些 挫折,应当在进行若干次尝试后改用其他方法。这些方法包括设备和混合云。

  障碍和陷阱

  由于这些都是比较新的技术,所以大多数企业需要利用现有资源进行测试,之后再进行大量的资本支出 (CapEx)。然而,如果没有对这些技术在企业中的应用进行合理的预算和人员培训,那么试点和测试工作将会以失败告终。同样,如果缺少完整的私有云部 署,企业应当首先在其中实现大数据技术,然后再实现私有云。

  最后,企业需要为私有云和大数据计划制定一个战略路线图。要获得成功的部署,则需要进行更多的分析 “工作”,这有可能会拖延处理过程。为了消除这种风险,应当采用一种迭代式的项目管理方法,以分阶段的方式部署到业务部门中,通过这种方法将这些技术部署 到企业中。企业需要确认如何通

时间: 2024-10-10 17:14:44

如何将OpenStack部署到Hadoop的相关文章

OpenStack部署到Hadoop的四种方案

随着企业开始同时利用云计算和大数据技术,现在应当考虑如何将这些工具结合使用.在这种情况下,企业将实现最佳的分析处理能力,同时利用私有云的快速弹性 (rapid elasticity) 和单一租赁的特性.如何协同效用和实现部署,是本文希望解决的问题. 一些基础知识 第一是OpenStack .作为目前最流行的开源云版本,它包括控制器.计算 (Nova).存储 (Swift).消息队列 (RabbitMQ) 和网络 (Quantum) 组件.图 1 提供了这些组件的一个图示(不包含 Quantum

openstack部署

环境准备 1.openstack部署 - 硬件要求 实验环境:至少两台机器. Controller Node: 1 processor, 2 GB memory, and 5 GB storage Compute Node: 1 processor, 2 GB memory, and 10 GB storage 2.openstack部署 - 前期准备 关闭selinux setenforce 0 关闭iptables systemctl dissystemctl stop firewalld

OpenStack部署工具总结

目前感觉比较简单直观的部署工具有RDO.devstack.Fuel等: 1. RDO https://openstack.redhat.com/Quickstart REDHAT出品,支持Redhat.CentOS等系统.RDO基于puppet部署各个组件,支持单节点或多节点部署,在Redhat系操作系统上使用非常方便. 2. devstack http://docs.openstack.org/developer/devstack/ 这个应该是最老的Openstack部署工具了,可以用来快速部

网易OpenStack部署运维实战

防伪码:没有所谓的命运,只有不同的选择. OpenStack简介 OpenStack 是一个开源的 IaaS 实现,它由一些相互关联的子项目组成,主要包括计算.存储.网络. 由于以 Apache 协议发布,自 2010 年项目成立以来,超过 200 个公司加入了 OpenStack 项目,其中包括 AT&T.AMD.Cisco.Dell.IBM.Intel.Red Hat 等. 目前参与 OpenStack 项目的开发人员有 17,000+,来自 139 个国家,这一数字还在不断增长中. Ope

Openstack部署工具

Openstack发展很猛,很多朋友都很认同,2013年,会很好的解决OpenStack部署的问题,让安装,配置变得更加简单易用. 很多公司都投入人力去做这个,新浪也计划做一个Openstack的iso,集成OS,当你决定去做这个的时候,那么先了解一下目前的现状.说到部 署,肯定和OS有关,对于Openstack来说,无非就是Ubuntu还是CentOS,当然也会和OpenStack版本有关. 其实部署工具,最麻烦的地方,不是软件的配置和安装,而且网络.用户的网络情况太多,还有Openstack

OpenStack部署笔记和安装WindowsXP镜像

以下是本人最近两周搭建OpenStack的心得与笔记,参考了网上很资料,终于搭建完成,途中遇到过很多问题,比如stack.sh执行中途出错问题,系统安装vnc连接问题,建云主机蓝屏问题,后来都慢慢解决了,供各位网友参考. 1. 系统为 ubuntu-14.04.1 amd64 位版本 ,电脑单网卡就可以了,不需要双网卡. 2. sudo apt-get update 3. sudo apt-get upgrade 4. sudo apt-get install python-netaddr gi

在CentOS上部署单机版Hadoop

本文记录如何在一台CentOS上部署单机版Hadoop.CentOS安装在Azure上. 安装CentOS 在Azure上新建一台虚拟机,选择操作系统CentOS6.8.记住主机名,比如centosforhd.主机名在后面设置中会用到. 安装好之后,用Putty工具登录到CentOS上.登录之后请转为root用户来操作下面的安装.(命令: sudo su) 安装Java 1 下载JDK 从Java官网下载最新的JDK.如果是在windows下下载,下载之后可以通过SSH Secure File

Openstack部署流程说明一

Openstack部署流程说明一 1.环境说明 1.1硬件环境   本文档为针对一套1个控制节点.2个计算节点组成的openstack示例进行说明,其中物理主机组成如下:  1台32核cpu\32G内存\8网卡高性能服务器用作控制主机,部署控制节点服务.网络节点服务.镜像节点服务:  1台32核cpu\32G内存\8网卡高性能服务器用作计算主机,部署计算节点服务.网络代理:  1台4核\4G内存\2网卡服务器用作计算主机,部署计算节点服务.网络代理: 1.1软件环境 CentOS 7.6-181

openstack部署(四)-计算节点(Networking)

计算节点增加Networking及配置 安装组件 yum install -y openstack-neutron openstack-neutron-linuxbridge ebtables ipset 配置普通组件  vim /etc/neutron/neutron.conf //更改或增加 [DEFAULT] rpc_backend = rabbit auth_strategy = keystone verbose = True [oslo_messaging_rabbit] rabbit