操作Hadoop集群

所有必要的配置完成后,将文件分发到所有机器上的HADOOP_CONF_DIR目录。这应该是所有机器上相同的目录。

一般来说,建议HDFS和YARN作为单独的用户运行。在大多数安装中,HDFS进程作为“hdfs”执行。YARN通常使用“纱线”帐户。

Hadoop启动

要启动Hadoop集群,您需要启动HDFS和YARN集群。

首次升级HDFS时,必须格式化。将新的分布式文件系统格式化为hdfs:

[hdfs] $ $ HADOOP_HOME / bin / hdfs namenode -format <cluster_name>
在指定的节点上使用以下命令启动HDFS NameNode作为hdfs:

[hdfs] $ $ HADOOP_HOME / bin / hdfs --daemon start namenode
在每个指定的节点上使用以下命令启动HDFS DataNode :hdfs:

[hdfs] $ $ HADOOP_HOME / bin / hdfs --daemon start datanode
如果配置了etc / hadoop / worker和ssh信任访问(请参阅单节点安装),则可以使用实用程序脚本启动所有HDFS进程。作为hdfs:

[hdfs] $ $ HADOOP_HOME / sbin / start-dfs.sh
开始使用以下命令,在指定的ResourceManager为运行纱线纱:

[纱线] $ $ HADOOP_HOME / bin / yarn --daemon启动资源管理器
运行一个脚本来在每个指定的主机上启动一个NodeManager作为纱线:

[纱线] $ $ HADOOP_HOME / bin / yarn --daemon启动nodemanager
启动独立的WebAppProxy服务器。在WebAppProxy服务器上作为纱线运行。如果使用多个服务器进行负载平衡,则应在每个服务器上运行:

[纱线] $ $ HADOOP_HOME / bin / yarn --daemon启动代理服务器
如果配置了etc / hadoop / worker和ssh信任访问(请参阅单节点安装),则可以使用实用程序脚本启动所有YARN进程。由于纱线:

[纱线] $ $ HADOOP_HOME / sbin / start-yarn.sh
使用以下命令启动MapReduce JobHistory服务器,在映射的指定服务器上运行:

[mapred] $ $ HADOOP_HOME / bin / mapred --daemon启动历史记录服务器
Hadoop关机

使用以下命令停止NameNode,在指定的NameNode上运行hdfs:

[hdfs] $ $ HADOOP_HOME / bin / hdfs --daemon stop namenode
运行脚本来停止DataNode作为hdfs:

[hdfs] $ $ HADOOP_HOME / bin / hdfs --daemon stop datanode
如果配置了etc / hadoop / worker和ssh可信访问(请参阅单节点安装),所有HDFS进程可能会使用实用程序脚本停止。作为hdfs:

[hdfs] $ $ HADOOP_HOME / sbin / stop-dfs.sh
停止使用下面的命令,在指定的ResourceManager作为运行的ResourceManager 纱:

[纱线] $ $ HADOOP_HOME / bin / yarn --daemon停止资源管理器
运行一个脚本来停止一个工作的NodeManager作为纱线:

[纱线] $ $ HADOOP_HOME / bin / yarn  -  daemon stop nodemanager
如果配置了etc / hadoop / worker和ssh信任访问(请参阅单节点安装),则可以使用实用程序脚本停止所有YARN进程。由于纱线:

[纱线] $ $ HADOOP_HOME / sbin / stop-yarn.sh
停止WebAppProxy服务器。在WebAppProxy服务器上作为纱线运行。如果使用多个服务器进行负载平衡,则应在每个服务器上运行:

[纱线] $ $ HADOOP_HOME / bin /纱线停止代理服务器
使用以下命令停止MapReduce JobHistory服务器,在映射的指定服务器上运行:

[mapred] $ $ HADOOP_HOME / bin / mapred --daemon stop historyserver

时间: 2024-08-29 08:28:53

操作Hadoop集群的相关文章

通过eclipse方法来操作Hadoop集群上cassandra数据库(包括创建Keyspace对象以及往数据库写入数据)

(1)下载cassandra,我所用版本为apache-cassandra-2.0.13-bin.tar.gz(hadoop版本为1.0.1),将其上传到hadoop集群,然后解压,tar -xzf apache-cassandra-2.0.13-bin.tar.gz; 并改名为 cassandra,放在目录/usr/下面,然后修改几个文件: vim cassandra.yaml  按照下面的字段修改 data_file_directories: - /usr/cassandra/data # 

Hadoop集群hdfs添加磁盘操作

Hadoop集群hdfs添加磁盘操作 目前的环境是cdh.服务器部署在Azure:一个cdhmaster(一个namenode,一个datanode),四个cdhslave节点(各一个datanode). hdfs现状: 首先是在Azure控制台对每台服务器添加一块磁盘(我这添加的是4T) 在到服务器中对每台服务器进行添加磁盘操作: 因为在Linux中,常用2种分区表: MBR分区表(即主引导记录) 所支持的最大分区:2T,而且对分区有限制:最多4个主分区或3个主分区加一个扩展分区 [fdisk

Java接口对Hadoop集群的操作

Java接口对Hadoop集群的操作 首先要有一个配置好的Hadoop集群 这里是我在SSM框架搭建的项目的测试类中实现的 一.windows下配置环境变量 下载文件并解压到C盘或者其他目录. 链接:http://pan.baidu.com/s/1jHHPElg 密码:aufd 配置环境变量 1.配置HADOOP_HOME 2.配置PATH 在PATH中添加 %HADOOP_HOME%\bin 1 3.配置HADOOP_USER_NAME 这是Hadoop集群的用户名 HADOOP_USER_N

hadoop集群配置和在windows系统上运用java操作hdfs

安装 配置 概念 hadoop常用shell命令 使用java操作hadoop 本文介绍hadoop集群配置和在windows系统上运用java操作hdfs 安装 http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.1/ sudo apt-get install ssh sudo apt-get install rsync mkdir /usr/local/hadoop tar -zxvf hadoop-3.1.1.tar.gz -C

基于OGG的Oracle与Hadoop集群准实时同步介绍

Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段.近期有场景需要做Oracle到Hadoop体系的实时导入,这里以此案例做以介绍.Oracle作为商业化的数据库解决方案,自发性的获取数据库事务日志等比较困难,故选择官方提供的同步工具OGG(Oracle GoldenGate)来解决. 安装与基本配置 环境说明 软件配置 角色 数据存储服务及版本 OGG版本 IP 源服务器 OracleRelease11.2.0.1 Oracle GoldenGate 11.2

Hadoop集群(第7期)_Eclipse开发环境设置

1.Hadoop开发环境简介 1.1 Hadoop集群简介 Java版本:jdk-6u31-linux-i586.bin Linux系统:CentOS6.0 Hadoop版本:hadoop-1.0.0.tar.gz 1.2 Windows开发简介 Java版本:jdk-6u31-windows-i586.exe Win系统:Windows 7 旗舰版 Eclipse软件:eclipse-jee-indigo-SR1-win32.zip | eclipse-jee-helios-SR2-win32

Hadoop集群内lzo的安装与配置

LZO压缩,可分块并行处理,解压缩的效率也是可以的. 为了配合部门hadoop平台测试,作者详细的介绍了如何在Hadoop平台下安装lzo所需要软件包:gcc.ant.lzo.lzo编码/解码器并配置lzo的文件:core-site.xml.mapred-site.xml.希望对大家有所帮助.以下是正文: 最近我们部门在测试云计算平台hadoop,我被lzo折腾了三四天,累了个够呛.在此总结一下,也给大家做个参考. 操作系统:CentOS 5.5,Hadoop版本:hadoop-0.20.2-C

Hadoop集群硬件标准配置

在我们选择硬件的时候,往往需要考虑应用得到的性能和经费开支.为此,我们必须在满足实际需要和经济可行上找到一个完美的平衡.下面,以Hadoop集群应用为了例子,说明需要考虑的要素. 1. I/O绑定的工作负荷. Hadoop涉及到的I/O操作,主要包括下列几项: 索引(Indexing) 群化(Grouping) 数据导入和导出(Data importing and exporting) 数据移动和转换(Data movement and transformation) 2. CPU绑定的工作负荷

搭建Hadoop集群 (三)

通过 搭建Hadoop集群 (二), 我们已经可以顺利运行自带的wordcount程序. 下面学习如何创建自己的Java应用, 放到Hadoop集群上运行, 并且可以通过debug来调试. 有多少种Debug方式 Hadoop在Eclipse上的Debug方式 一般来说, Debug最多的应用场景是调试MR中的代码逻辑, 还有部分是调试main方法中的某些代码逻辑. 无论是Standalone, Pesudo-Distributed, 还是Fully-Distributed Mode, 都可以d