Services:Haddoop cluster上可以部署的组件,比如HDFS,YARN,HBase等。
Roles:在service配置时,由Cloudera Manager创建。比如NameNode是HDFS service的一个role。
Role Group:对Role的管理,可以将相同类别的Role(如DataNode)划分到不同的角色组。每个Role Group可以有属于自己的一系列配置。
Role Instance:组成服务最基本的单一实例(可以认为是进程)。一个HDFS服务有NameNode角色和DataNode角色等组成。而DataNode角色又含有N个DataNode实例。
configuration priority: Role Instance > Role Group > Service
Cloudera Manager会基于resource availability自动创建role groups。Role可以在Role group之间移动。
每个通过cloudera manager管理的service都有两个配置文件。一个是service默认的配置文件,CM称之为client configuration,存放在/etc/hadoop/conf;一个是cloudera agent运行时需要访问的配置文件存,放在/var/run/cloudera-scm-agent/process/目录下。
Hadoop守护进程的log主要包括NameNode,DataNodes,NodeManager,JobHistory Server的log.
Application log包括YARN containers的log,以及spark,Hive等service的log
.out文件:包含进程启动时的stdout和stderr。
.log文件:service的log文件。