Hadoop jps正确使用流程及报错处理

简介:
jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令,简单实用,非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。
详细参数请参考:https://www.cnblogs.com/toSeeMyDream/p/5747412.html
注:jps命令有个地方很不好,似乎只能显示当前用户的java进程,显示其他用户很容易报错 -- process information unavailable

下面我们模拟下Hadoop生产实战中 jps 真死、假死的问题

1.模拟主机宕机
[[email protected] ~]# jps
4868 DataNode
5062 SecondaryNameNode
5256 Jps
4717 NameNode
[[email protected] ~]#  kill -9 $(pgrep -f hadoop-2.8.1)
[[email protected] ~]# jps
4868 -- process information unavailable
5062 -- process information unavailable
4717 -- process information unavailable
5279 Jps
[[email protected] ~]# ps -ef|grep 4868
root      5301  1630  0 14:39 pts/0    00:00:00 grep 4868
#进程不存在 可去/tmp/hsperfdata_hadoop文件夹删除残留文件
[[email protected] ~]# cd /tmp/hsperfdata_hadoop/
[[email protected] hsperfdata_hadoop]# ll
total 96
-rw------- 1 hadoop hadoop 32768 May 19 14:38 4717
-rw------- 1 hadoop hadoop 32768 May 19 14:38 4868
-rw------- 1 hadoop hadoop 32768 May 19 14:38 5062
[[email protected] hsperfdata_hadoop]# rm *
rm: remove regular file `4717‘? yes
rm: remove regular file `4868‘? yes
rm: remove regular file `5062‘? yes
#显示正确
[[email protected] hsperfdata_hadoop]# jps
5304 Jps
2.再次用hadoop用户启动hdfs,然后用jps分别查看信息
#hadoop用户
[[email protected] hadoop-2.8.1]$ pwd
/opt/software/hadoop-2.8.1
[[email protected] hadoop-2.8.1]$ sbin/start-dfs.sh
[[email protected] hadoop-2.8.1]$ jps
10004 SecondaryNameNode
9655 NameNode
10219 Jps
9806 DataNode

#root用户
[[email protected] ~]# jps
10004  -- process information unavailable
9655  -- process information unavailable
10187 Jps
9806  -- process information unavailable
[[email protected] hsperfdata_hadoop]# ps -ef|grep 10004
hadoop   10004     1  3 15:07 ?        00:00:08 /usr/local/java1.8/bin/java -Dproc_secondarynamenode -Xmx1000m -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/opt/software/hadoop-2.8.1/logs -Dhadoop.log.file=hadoop.log -Dhadoop.home.dir=/opt/software/hadoop-2.8.1 -Dhadoop.id.str=hadoop -Dhadoop.root.logger=INFO,console -Djava.library.path=/opt/software/hadoop-2.8.1/lib/native -Dhadoop.policy.file=hadoop-policy.xml -Djava.net.preferIPv4Stack=true -Djava.net.preferIPv4Stack=true -Djava.net.preferIPv4Stack=true -Dhadoop.log.dir=/opt/software/hadoop-2.8.1/logs -Dhadoop.log.file=hadoop-hadoop-secondarynamenode-hadoop000.log -Dhadoop.home.dir=/opt/software/hadoop-2.8.1 -Dhadoop.id.str=hadoop -Dhadoop.root.logger=INFO,RFA -Djava.library.path=/opt/software/hadoop-2.8.1/lib/native -Dhadoop.policy.file=hadoop-policy.xml -Djava.net.preferIPv4Stack=true -Dhadoop.security.logger=INFO,RFAS -Dhdfs.audit.logger=INFO,NullAppender -Dhadoop.security.logger=INFO,RFAS -Dhdfs.audit.logger=INFO,NullAppender -Dhadoop.security.logger=INFO,RFAS -Dhdfs.audit.logger=INFO,NullAppender -Dhadoop.security.logger=INFO,RFAS org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode
root     10256  7539  0 15:11 pts/3    00:00:00 grep 10004
##看到进程存在 请不要去/tmp目录下做删除操作 用su切换到hadoop用户下 jps即显示正常
3.生产环境jps 报错process information unavailable处理流程
  • 1.jps找到各个进程号
  • 2.ps -ef|grep pid是否存在(这步很关键要做判断查看进程是否存在)
  • 3.假如进程不存在,我们可以去该/tmp/hsperfdata_xxx去删除
  • 4.如果存在千万别删,自己查看是不可以的,切换到启动HDFS进程的用户下(一般是hadoop用户) 再用jps即显示正常。

原文地址:http://blog.51cto.com/10814168/2118219

时间: 2024-11-14 08:09:49

Hadoop jps正确使用流程及报错处理的相关文章

zabbix源码安装流程及报错解决方法

zabbix源码安装流程及报错解决方法 一. zabbix的介绍 1) zabbix是什么 zabbix是一款基于web页面的.开源的.企业级的,支持分布式部署的监控软件. 2)2.zabbix的作用 监控windows和Linux主机上的软硬件状态. 监控各网络设备,如路由器.交换机.防火墙.f5.打印机等. 支持邮件短信微信等平台发送告警通知. 通过web页面及图形展示监控数据. 3)zabbix的特性 由zabbix server和agent程序协同工作,还支持分布式监控,这时需要安装za

进击的java - tomcat的安装,配置都正确之后,还是报错

1.问题 配置Apatch Tomcat过程报错: The CATALINA_HOME environment variable is not defined correctly.This environment variable is needed to run this program 但是“系统环境“中已经配置了,CATALINA_HOME.CATALINA_BASE.JAVA_HOME.JAVA_BASE 2.解决方案 保证CATALINA_HOME.CATALINA_BASE.JAVA

关于tomcat对编码不正确的url参数报错的解决

按照规范,url参数必须使用限定字符,其它字符需要进行编码,用像js的encodeurlcomponent函数. 在IE和360浏览器的兼容模式,不会自动对url的参数进行编码,会导致tomcat报错. 对浏览器参数进行编码就解决了问题. Stack Overflow上有问到这个,但是解答不正确,点支持的很少. 百度搜索结果也有提到,说要在nginx对请求进行编码. 原文地址:https://www.cnblogs.com/silvestris/p/12038063.html

git 相关流程和报错解决

git 相关流程: 预先配置: gitroot $ git config user.name XXXgitroot $ git config user.email [email protected] git remote add origin [email protected]:ERP/user-dockerfile.git 1. git config --global user.name XXX 2. 克隆master到本地,git clone [email protected]:bag/us

Hadoop中RPC协议小例子报错java.lang.reflect.UndeclaredThrowableException解决方法

最近在学习传智播客吴超老师的Hadoop视频,里面他在讲解RPC通信原理的过程中给了一个RPC的小例子,但是自己编写的过程中遇到一个小错误,整理如下: log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARN Please initialize the log4j system properly.log4j:WARN See

【Tomcat】JPS中常见的tomcat报错错误分析

1:请求收到,继续处理2:操作成功收到,分析.接受3:完成此请求必须进一步处理4:请求包含一个错误语法或不能完成5**:服务器执行一个完全有效请求失败 100--客户必须继续发出请求101--客户要求服务器根据请求转换HTTP协议版本 200--交易成功201--提示知道新文件的URL202--接受和处理.但处理未完成203--返回信息不确定或不完整204--请求收到,但返回信息为空205--服务器完成了请求,用户代理必须复位当前已经浏览过的文件206--服务器已经完成了部分用户的GET请求 3

语法正确的情况下报错的原因

解决办法:convert(nvarchar(255),列名        text转换成nvarchar delete FROM guanlian WHERE convert(nvarchar(255),uer) <>'name' and convert(nvarchar(255),uer) <> 'name' and convert(nvarchar(255),uer) <> 'name' and convert(nvarchar(255),uer) <>

Hadoop上传文件的报错

baidu了很多,都说防火墙,datanode没有正常启动的问题,可是检查了都是正常,后来还是在老外的网站上找到了解决的方法 修改了/etc/security/limits.conf文件,上传成功 这些hadoop的报错都是莫名其妙,从这个日志无法看出是这个的问题,看来还是要自己慢慢积累 * soft nofile 65536 * hard nofile 65536 hadoop dfs -put 1.txt /input/ 报错日志如下: 15/06/24 14:45:40 WARN util

ant编译的时候,报错文件不存在,以及版本不一致

ant编译的时候, 1. 报错:D:\software\apache-tomcat-7.0.2\lib does not exist.解决办法:需要更改目录,build.properties 文件中,tomcat.home=当前使用的tomcat的路径,例如 D:\\software\\apache-tomcat-7.0.1java.home=当前使用的java的bin路径,例如 D:\\java1.6\\bin都配置成使用的正确的路径 2. 报错:java.lang.UnsupportedCl