Hadoop默认配置的含义

5.查错

=================

1. 权限问题:

在启动的时候,可能会看到一系列 没有访问权限的错误。

打开hadoop-env.sh

注意以下几个被环境变量标注的文件夹的读写权限:

必须有读权限的:HADOOP_CONF_DIR

必须有写权限的:HADOOP_LOG_DIR、HADOOP_SECURE_DN_LOG_DIR、HADOOP_PID_DIR、 HADOOP_SECURE_DN_PID_DIR

HADOOP_CONF_DIR如果没有读权限,则无法读取配置文件

HADOOP_LOG_DIR、HADOOP_SECURE_DN_LOG_DIR、HADOOP_PID_DIR、 HADOOP_SECURE_DN_PID_DIR没有写权限,则无法写入日志和一些重要数据

2. 没有权限问题,但是貌似也没有启动

这种情况多数是由于配置文件没有找到导致的。

HADOOP_CONF_DIR是hadoop的配置文件存放的地方,如果你没有额外制定,则脚本中的这句话中

export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-“/etc/hadoop”} 加粗的部分就是默认的配置目录,上面编辑的那几个XML必须放这个目录里,不然hadoop找不到,守护进程无法启动!

时间: 2024-08-27 15:53:52

Hadoop默认配置的含义的相关文章

Hadoop的配置过程(虚拟机中的伪分布模式)

1引言 hadoop如今已经成为大数据处理中不可缺少的关键技术,在如今大数据爆炸的时代,hadoop给我们处理海量数据提供了强有力的技术支撑.因此,了解hadoop的原理与应用方法是必要的技术知识. hadoop的基础原理可参考如下的三篇论文: The Google File System, 2003 MapReduce: Simplified Data Processing on Large Clusters, 2004 Bigtable: A Distributed Storage Syst

MapReduce默认Counter的含义

MapReduce Counter为我们提供了一个窗口:观察MapReduce job运行期的各种细节数据.今年三月份,我曾专注于MapReduce性能调优工作,是否优化的绝大多评估都是基于这些Counter的数值表现.MapReduce自带了许多默认Counter,可能有些朋友对它们有些疑问,现在我们分析下这些默认Counter的含义,方便大家观察job结果. 我的分析是基于Hadoop0.21,我也看过Hadoop其他版本的Counter展现,细节大同小异,如果有差异的地方,以事实版本为主.

hadoop 常用配置

hadoop 常用配置项——转载: core-site.xml  name value  Description   fs.default.name hdfs://hadoopmaster:9000 定义HadoopMaster的URI和端口  fs.checkpoint.dir /opt/data/hadoop1/hdfs/namesecondary1 定义hadoop的name备份的路径,官方文档说是读取这个,写入dfs.name.dir  fs.checkpoint.period 1800

CentOS Hadoop安装配置详细

总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs.mapreduce等主从关系. 1.环境,3台CentOS7,64位,Hadoop2.7.3需要64位Linux,CentOS7 Minimal的ISO文件只有600M,操作系统十几分钟就可以安装完成,Master 192.168.6.220 Slave1 192.168.6.221 Slave2 192.168.6.222 2.SSH免密码登录,因为Hadoop需要通过SSH

hadoop(四):配置参数

hadoop参数配置,主要是配置 core-site.xml,hdfs-site.xml,mapred-site.xml 三个配置文件,core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置,core-default.xml,hdfs-default.xml,mapred-default.xml 是集群的默认配置,HDP2.4 安装包中 hadoop 版本为2.7,分别可从下面的地址获取到默认的参数说明: core-

ubuntu下hadoop环境配置

软件环境: 虚拟机:VMware Workstation 10 操作系统:ubuntu-12.04-desktop-amd64 JAVA版本:jdk-7u55-linux-x64 Hadoop版本:hadoop-1.2.1 Hadoop下载地址:http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/ 选择hadoop-1.2.1.tar.gz这个 第一阶段:安装JDK 请参考上篇文章:http://www.cnblogs.com/ma

ubuntu下hadoop,spark配置

转载来自:http://www.cnblogs.com/spark-china/p/3941878.html 在VMWare 中准备第二.第三台运行Ubuntu系统的机器:   在VMWare中构建第二.三台运行Ubuntu的机器和构建第一台机器完全一样,再次不在赘述.. 与安装第一台Ubuntu机器不同的几点是: 第一点:我们把第二.三台Ubuntu机器命名为了Slave1.Slave2,如下图所示: 创建完的VMware中就有三台虚拟机了: 第二点:为了简化Hadoop的配置,保持最小化的H

【转】MapReduce:默认Counter的含义

MapReduce Counter为提供我们一个窗口:观察MapReduce job运行期的各种细节数据.今年三月份期间,我曾经专注于MapReduce性能调优工作,是否优化的绝大多评估都是基于这些Counter的数值表现.MapReduce自带了许多默认Counter,可能有些朋友对它们有些疑问,现在我分析下这些默认Counter的含义,方便大家观察job结果. 我的分析是基于Hadoop0.21,我也看过Hadoop其它版本的Counter展现,细节大同小异,如果有差异的地方,以事实版本为主

Centos下Hadoop安装配置

首先声明本人的配置是根据: http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 进行修改的,因此在这里表示感谢. 在这里我自己对于原有的文章进行了修改. 原作的某些命令不适合在centos上进行使用. 以及一些不太注意的细节,在这里我提了出来. 首先在安装之前,应先建立hadoop的用户组和hadoop用户, 然后再进行以下的安装配置.这里是很多新手都忽略的地方. 1.2 环境说明 集群中包括4个节点:1个Master,