hadoop-1.2.1分布式配置启动问题

关键配置(core-site.xml 和hdfs-site.xml)(这里只是针对与HDFS,没有启动MapReduce):

core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://qzhong:8000</value>
</property>

</configuration>

hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/qzhong/hadoopnamedir</value>
</property>

<property>
<name>dfs.data.dir</name>
<value>/home/qzhong/hadoopdatadir</value>
</property>

<property>
<name>dfs.block.size</name>
<value>134217728</value>
</property>

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

<property>
<name>dfs.http.address</name>
<value>qzhong:50070</value>
</property>

<property>
<name>fs.checkpoint.dir</name>
<value>/home/qzhong/hadoopsecondarydir</value>
</property>

<property>
<name>fs.checkpoint.edits.dir</name>
<value>/home/qzhong/hadoopsecondarydir</value>
</property>

<property>
<name>dfs.secondary.http.address</name>
<value>node27:50090</value>
</property>
</configuration>

slaves:

node27

node100

node101

qzhong

masters:

node27

总体下来:namenode:qzhong    secondarynamenode:node27  datanode:qzhong node27 node100 node101

其中过程中会遇到的问题:

如果仅仅使用jps命令还有未发现的错误,比如secondarynamenode使用jps命令可以看到secondarynamenode启动,但是有问题(通过观看日志文件),需要设置http地址和端口,这样secondarynamenode才能正常使用

总体下来在配置hadoop启动过程中会遇到的问题及排解方法:

1、首先使用jps命令查看是否相关进程已经启动,如果没有启动查看日志文件,根据具体问题具体排查错误

2、当jps命令显示所有相关进程都已经启动完成,这时并不意味着hadoop启动就是正常,需要再次查看日志文件,看相关进程的启动情况,如果没有什么问题,这时系统hadoop才算运行正常

3、在运行的过程中,hadoop可能会有其他问题,这时需要不断的查看日志文件分析错误来源,进一步了解问题来源从而正确处理问题,没有统一的处理问题的方式(会看日志文件是必须的)

时间: 2024-08-25 07:20:56

hadoop-1.2.1分布式配置启动问题的相关文章

3-3 Hadoop集群完全分布式配置部署

Hadoop集群完全分布式配置部署 下面的部署步骤,除非说明是在哪个服务器上操作,否则默认为在所有服务器上都要操作.为了方便,使用root用户. 1.准备工作 1.1 centOS6服务器3台 手动指定3服务器台以下信息: hostname IP mask gateway DNS 备注 master 172.17.138.82 255.255.255.0 172.17.138.1 202.203.85.88 服务器1 slave1 172.17.138.83 255.255.255.0 172.

Hadoop 单机与完全分布式配置

Hadoop 单机模式安装配置 ? Hadoop 的单机模式安装非常简单,只需要配置好环境变量即可运行,这个模式一般用来学习和测试hadoop 的功能. 1.获取软件 http://hadoop.apache.org/ tar -xf hadoop-2.7.6.tar.gz -C ./ 2.安装配置 java 环境,安装 jps 工具 yum -y install java-1.8.0-openjdk-devel java-1.8.0-openjdk 3.设置环境变量,启劢运行 vim  etc

Hadoop安装&amp;单机/伪分布式配置_Hadoop2.7.2/Ubuntu14.04

一.安装Java 1.下载jdk-8u91-linux-x64.tar.gz文件,网址为:http://www.oracle.com/technetwork/java/javase/downloads/index.html 2.安装: #选择一个安装路径,我选择的是/opt,并将下载的jdk-8u91-linux-x64.tar.gz文件复制到这个文件夹下 $ cd /opt $ sudo cp ~/Downloads/jdk-8u91-linux-x64.tar.gz -i /opt/ #解压

转载:Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到,官方网站也有 Hadoop 安装配置教程,但由于对 Linux 环境不熟悉,书上跟官网上简略的安装步骤新手往往 Hold 不住.加上网上不少教程也甚是坑,导致新手折腾老几天愣是没装好,很是打击学习热情. 本教程适合于原生 Hadoop 2,包括 Hadoop 2.6.0, Hadoop 2.7.1

Hadoop 配置(2)-Hadoop伪分布式配置

Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件. Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml .Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现.

Hadoop系列之hdfs(分布式文件系统)安装配置

Hadoop系列之hdfs(分布式文件系统)安装配置环境介绍:     ip                        节点192.168.3.10      hdfs-master192.168.3.11      hdfs-slave1192.168.3.12      hdfs-slave21.在所有机器添加hosts192.168.3.10      hdfs-master192.168.3.11      hdfs-slave1192.168.3.12      hdfs-slav

Hadoop完全分布式配置

  一.首先说一下,Hadoop有三种运行模式. 第一个是独立(或本地)运行模式:无需运行任何守护进程,所有程序都在一个同一个JVM上执行. 第二个是伪分布模式:Hadoop守护进程运行在本地机器上,模拟一个小规模的集群. 第三个是全分布模式,也就是通常所说的完全分布式模式:Hadoop守护进程运行在一个集群上.     下面简单介绍下完全分布式的配置:   首先准备三台机器,系统公共配置部分:   系统信息: [[email protected] ~]# cat /etc/redhat-rel

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

参见:http://www.powerxing.com/install-hadoop/ 完全拷贝至上面网址 环境 本教程使用 Ubuntu 14.04 64位 作为系统环境(Ubuntu 12.04 也行,32位.64位均可),请自行安装系统. 如果用的是 RedHat/CentOS 系统,请查看相应的CentOS安装Hadoop教程_单机伪分布式配置. 本教程基于原生 Hadoop 2,在 Hadoop 2.6.0 (stable) 版本下验证通过,可适合任何 Hadoop 2.x.y 版本,

Hadoop系列之zookeeper(分布式协调服务)安装配置

Hadoop系列之zookeeper(分布式协调服务)安装配置 1.安装cd /root/softtar zxvf zookeeper-3.4.6.tar.gzmv zookeeper-3.4.6 /usr/local/hadoop/zookeeper2.修改配置文件mkdir -p /data/zookeeper/data //3个节点都需要创建此目录cd /usr/local/hadoop/zookeeper/confcp zoo_sample.cfg zoo.cfg#vim zoo.cfg