cloudera learning3:Hadoop配置和守护进程logs

Services:Haddoop cluster上可以部署的组件,比如HDFS,YARN,HBase等。

Roles:在service配置时,由Cloudera Manager创建。比如NameNode是HDFS service的一个role。

Role Group:对Role的管理,可以将相同类别的Role(如DataNode)划分到不同的角色组。每个Role Group可以有属于自己的一系列配置。

Role Instance:组成服务最基本的单一实例(可以认为是进程)。一个HDFS服务有NameNode角色和DataNode角色等组成。而DataNode角色又含有N个DataNode实例。

configuration priority: Role Instance > Role Group > Service

Cloudera Manager会基于resource availability自动创建role groups。Role可以在Role group之间移动。

每个通过cloudera manager管理的service都有两个配置文件。一个是service默认的配置文件,CM称之为client configuration,存放在/etc/hadoop/conf;一个是cloudera agent运行时需要访问的配置文件存,放在/var/run/cloudera-scm-agent/process/目录下。

Hadoop守护进程的log主要包括NameNode,DataNodes,NodeManager,JobHistory Server的log.

Application log包括YARN containers的log,以及spark,Hive等service的log

.out文件:包含进程启动时的stdout和stderr。

.log文件:service的log文件。

时间: 2024-10-10 15:34:51

cloudera learning3:Hadoop配置和守护进程logs的相关文章

rsync服务配置流程-守护进程

rsync服务配置流程rsync守护进程服务部署流程: #第一步:检查软件服务是否安装[[email protected] ~]# rpm -qa|grep rsyncrsync-3.0.6-12.el6.x86_64如果rsync软件不存在yum install -y rsync #第二步:编写rsync的配置文件/etc/rsyncd.conf*****rsyncd.conf是rsync服务默认配置文件,但是默认不存在vim /etc/rsyncd.conf#rsync_config #cr

centos下使用如何配置java守护进程

在 linux下,用守护进程的形式启动server是非常重要的一个问题.比如在php下可用php脚本处理,node.js下可用forever处理.在java下呢?有java wrapper. 1.下载Java wrapper Community版, http://wrapper.tanukisoftware.com/doc/english/download.jsp 下载wrapper-linux-x86-64-3.5.29.tar.gz. 2.解压,tar -xzvf wrapper-linux

Gradle 1.12翻译——第十九章. Gradle 守护进程

有关其他已翻译的章节请关注Github上的项目:https://github.com/msdx/gradledoc/tree/1.12,或访问:http://gradledoc.qiniudn.com/1.12/userguide/userguide.html 本文原创,转载请注明出处:http://blog.csdn.net/maosidiaoxian/article/details/41343615 关于我对Gradle的翻译,以Github上的项目及http://gradledoc.qin

Docker 客户端和守护进程

以上为Docker的C/S架构图,从中摘取出Docker 的客户端与守护进程的关系如下: Docker Host 宿主机: 进行docker操作的虚拟机 Docker daemon 守护进程: 负责各种各样的docker操作的核心程序,比如下载或者运行一个docker容器 Client 客户端: 我们通过Client与Docker daemon进行交互,将docker build.dcoker pull.docker run交与Docker daemon去操作.主要的有以下两种接口: 命令行接口

如何确定Hadoop守护进程分别会在哪台机器上运行

经过一段时间的配置,Hadoop环境总算运行起来了,但是呢,为何主节点就没有跑tasktracker和datanode进程,slave节点也没有跑secondary进程,Hadoop是如何控制的呢? 经过看权威指南(267页)和跟群里同学讨论,还有自己测试,最终确定: tasktracker和datanode这两个守护进程 —— 只会在conf/slaves文件里指定的那些节点上运行 secondarynamenode 这个守护进程 —— 只会在conf/masters文件里指定的那个节点上运行

centos 下Supervisor 守护进程基本配置

supervisor:C/S架构的进程控制系统,可使用户在类UNIX系统中监控.管理进程.常用于管理与某个用户或项目相关的进程. 组成部分supervisord:服务守护进程supervisorctl:命令行客户端Web Server:提供与supervisorctl功能相当的WEB操作界面XML-RPC Interface:XML-RPC接口 安装 easy_install supervisor 创建默认的配置文件 echo_supervisord_conf >/etc/supervisord

docker 学习笔记20:docker守护进程的配置与启动

安装好docker后,需要启动docker守护进程.有多种启动方式. 一.服务的方式 因为docker守护进程被安装成服务.所以,可以通过服务的方式启停docker守护进程,包括查看状态. sudo start docker  //启动 sudo stop docker  //停止 sudo status docker  //查看状态 二.利用docker daemon命令 sudo docker daemon 利用sudo ps -A 可以获取守护进程的进程号 三.让远程api可以访问dock

Hadoop的几个守护进程

安装好Hadoop后,使用jps会出现一下几个进程 master中有: namenode secondaryNameNode jobTracker slaves中有 tasktracker datanode 1. NameNode 它是Hadoop 中的主服务器,管理文件系统名称空间和对集群中存储的文件的访问. 2. SecondaryNameNode 它不是 namenode 的冗余守护进程,而是提供周期检查点和清理任务. 出于对可扩展性和容错性等考虑,我们一般将SecondaryNameNo

hadoop启动守护进程报JAVA_HOME is not set and could not be found

hadoop启动守护进程 sbin/start-dfs.sh 报如下错误:JAVA_HOME is not set and could not be found 解决办法(JAVA_HOME修改为具体的路径):vim etc/hadoop/hadoop-env.sh