在Hadoop集群上安装Sqoop数据迁移工具

集群如下:

HostName          IP                    Soft                                   Process
h1                    192.168.1.31    Hadoop,Hbase                          NameNode(Active),DFSZKFailoverController,HMaster(Active)
h2                    192.168.1.32     Hadoop,Hbase                         NameNode(Standby),DFSZKFailoverController,HMaster(Backup)
h3                    192.168.1.33     Hadoop,Hbase                         ResourceManager(Active),HRegionServer
h4                    192.168.1.34     Hadoop,Hbase                         ResourceManager(Standby),HRegionServer
h5  
                 192.168.1.35     Hadoop,Zookeeper,Hbase      
  QuorumPeerMain(follower),JournalNode,DataNode,NodeManager,HRegionServer
h6  
                 192.168.1.36     Hadoop,Zookeeper,Hbase      
  QuorumPeerMain(Leader),JournalNode,DataNode,NodeManager,HRegionServer
h7  
                 192.168.1.37     Hadoop,Zookeeper,Hbase      
  QuorumPeerMain(follower),JournalNode,DataNode,NodeManager,HRegionServer

由此上集群架构,h3和h4节点压力较小,暂且将Sqoop安装在h3节点上,安装如下。

##安装sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz

cd /usr/local/

tar -zxvf sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz

mv sqoop-1.4.4.bin__hadoop-2.0.4-alpha sqoop

##在h3上配置SQOOP_HOME
vi /etc/profileexport SQOOP_HOME=/usr/local/sqoop
export PATH=.:$SQOOP_HOME/bin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
esc,shift+zz
source /etc/profile

到此Sqoop配置成功,这里我没有修改Sqoop任何配置文件,因为Sqoop在运行时会找HADOOP_HOME,找到HADOOP_HOME时即可使用该节点上的Hadoop的配置以及类库。

时间: 2024-12-20 23:00:51

在Hadoop集群上安装Sqoop数据迁移工具的相关文章

通过eclipse方法来操作Hadoop集群上cassandra数据库(包括创建Keyspace对象以及往数据库写入数据)

(1)下载cassandra,我所用版本为apache-cassandra-2.0.13-bin.tar.gz(hadoop版本为1.0.1),将其上传到hadoop集群,然后解压,tar -xzf apache-cassandra-2.0.13-bin.tar.gz; 并改名为 cassandra,放在目录/usr/下面,然后修改几个文件: vim cassandra.yaml  按照下面的字段修改 data_file_directories: - /usr/cassandra/data # 

Hadoop集群_Hadoop安装配置

1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构. 对于Hadoop的集群来讲,可以分成两大类角色:Master和Salve.一个HDFS集群是由一个NameNode和若干个DataNode组成的.其中Nam

Ganglia监控Hadoop集群的安装部署[转]

Ganglia监控Hadoop集群的安装部署 一. 安装环境 Ubuntu server 12.04 安装gmetad的机器:192.168.52.105 安装gmond的机 器:192.168.52.31,192.168.52.32,192.168.52.33,192.168.52.34,192.168.52.35,192.168.52.36,192.168.52.37,192.168.52.38,192.168.52.105 浏览监控web页面的机器:192.168.52.105 二. 介绍

Hadoop学习笔记_8_实施Hadoop集群 --分布式安装Hadoop

实施Hadoop集群 --分布式安装Hadoop 说明: 以Ubuntu配置为例,其中与CentOS不同之处会给出详细说明 现有三台服务器:其IP与主机名对应关系为: 192.168.139.129 master #NameNode/JobTrackerr结点 192.168.139.132 slave01 #DataNode/TaskTracker结点 192.168.139.137 slave02 #DataNode/TaskTracker结点 一.配置ssh实现Hadoop节点间用户的无密

Apache Hadoop集群离线安装部署(三)——Hbase安装

Apache Hadoop集群离线安装部署(一)--Hadoop(HDFS.YARN.MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html Apache Hadoop集群离线安装部署(二)--Spark-2.1.0 on Yarn安装:http://www.cnblogs.com/pojishou/p/6366570.html Apache Hadoop集群离线安装部署(三)--Hbase安装:http://www.cnblogs.com/po

Hadoop集群上使用JNI,调用资源文件

hadoop是基于java的数据计算平台,引入第三方库,例如C语言实现的开发包将会大大增强数据分析的效率和能力. 通常在是用一些工具的时候都要用到一些配置文件.资源文件等.接下来,借一个例子来说明hadoop上面如何使用JNI.以及调用资源文件. 首先介绍一下ICTClass,ICTClass是中国科学院开发的一个分词软件(ICTClass官网).该套软件采用C/C++编写.ICTClass虽然支持java,但是必须使用到的JNI技术.因此,在使用ICTClass之前需要配置好JNI资源以及IC

在Hadoop集群上运行R程序--安装RHadoop

RHadoop是由Revolution Analytics发起的一个开源项目,它可以将统计语言R与Hadoop结合起来.目前该项目包括三个R packages,分别为支持用R来编写MapReduce应用的rmr.用于R语言访问HDFS的rhdfs以及用于R语言访问HBASE的rhbase.下载网址为https://github.com/RevolutionAnalytics/RHadoop/wiki/Downloads. 说明:下面的记录是在安装成功后的总结,中间的过程描述及解决方法可能并不精确

在集群上安装Hive

1.先决条件 要求必须已经安装完成Hadoop,Hadoop的安装在之前的博文<VMware下Hadoop 2.4.1完全分布式集群平台安装与设置>有详细介绍过. 2.下载Hive安装包 当前最新版本为0.13.1,可以到官网下载最新版,下载地址为:http://archive.apache.org/dist/hive/ 下载完之后,将安装包解压,执行命令: [email protected] :~/Installpackage$ sudo tar -zxvf apache-hive-0.13

Hadoop集群_CentOS安装配置

1.准备安装 1.1 系统简介 CentOS 是什么? CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本.每个版本的 CentOS 都会获得七年的支持(通过安全更新方式).新版本的 CentOS 每两年发行一次,而每个版本的 CentOS 会定期(大概每六个月)更新一次,以便支持新的硬件.这样,建立一个安全.低维护.稳定.高预测性.高重复性的 Linux 环境. CentOS(Community Enterprise Operati