Linux系统下pid与pid文件及Hadoop更改pid文件存储位置

1.认识pid:

PID全称是Process Identification。
PID是进程的代号,每个进程有唯一的PID编号。它是进程运行时系统随机分配的,并不代表专门的进程。在运行时PID是不会改变标识符的,但是你终止程序后再运行PID标识符就会被系统回收,就可能会被继续分配给新运行的程序。

2.pid文件

  • pid文件的内容
    用cat命令查看,可以看到内容只有一行,记录了该进程的ID
  • pid文件的作用
    防止启动多个进程副本
  • pid文件的原理
    进程运行后会给.pid文件加一个文件锁,只有获得该锁的进程才有写入权限(F_WRLCK),把自身的pid写入该文件中。
    其他试图获得该锁的进程会自动退出。

    3.Hadoop中pid文件存储

  • 简介:
    Hadoop启动后相关进程的PID文件默认配置是保存在 /tmp 目录下,使用stop-all.sh,stop-dfs.sh,stop-yarn.sh脚本来停止相关进程是通过对应的pid文件来停止的,而Linux下 /tmp 目录有定时清理的机制,所以为了防止停止进程时出现no namenode to stop等报错,我们应该更改进程pid文件存储的位置。
  • 更改方法:
    [[email protected] ~]$ mkdir -p /opt/software/hadoop-2.8.1/pids
    [[email protected] ~]$ jps
    10512 ResourceManager
    8018 Jps
    10004 SecondaryNameNode
    9655 NameNode
    9806 DataNode
    10623 NodeManager
    [[email protected] ~]$ cd /opt/software/hadoop-2.8.1/sbin/
    [[email protected] sbin]$ ./stop-dfs.sh
    [[email protected] sbin]$ ./stop-yarn.sh
    [[email protected] sbin]$ vi hadoop-daemon.sh
    HADOOP_PID_DIR=/opt/software/hadoop-2.8.1/pids
    [[email protected] sbin]$ vi yarn-daemon.sh
    YARN_PID_DIR=/opt/software/hadoop-2.8.1/pids
    [[email protected] sbin]$ ./start-dfs.sh
    [[email protected] sbin]$ ./start-yarn.sh
    [[email protected] sbin]$ jps
    9201 SecondaryNameNode
    9425 ResourceManager
    9540 NodeManager
    9828 Jps
    8852 NameNode
    8973 DataNode
    #发现pid存储在新的位置
    [[email protected] sbin]$ cd /opt/software/hadoop-2.8.1/pids/
    [[email protected] pids]$ ll
    total 20
    -rw-rw-r-- 1 hadoop hadoop 5 May 22 20:14 hadoop-hadoop-datanode.pid
    -rw-rw-r-- 1 hadoop hadoop 5 May 22 20:14 hadoop-hadoop-namenode.pid
    -rw-rw-r-- 1 hadoop hadoop 5 May 22 20:14 hadoop-hadoop-secondarynamenode.pid
    -rw-rw-r-- 1 hadoop hadoop 5 May 22 20:15 yarn-hadoop-nodemanager.pid
    -rw-rw-r-- 1 hadoop hadoop 5 May 22 20:15 yarn-hadoop-resourcemanager.pid

原文地址:http://blog.51cto.com/10814168/2119228

时间: 2024-10-08 12:49:35

Linux系统下pid与pid文件及Hadoop更改pid文件存储位置的相关文章

Linux系统下用find命令查找最近修改过的文件

Linux系统下用find命令查找最近修改过的文件 学习了:http://www.cnblogs.com/hechunhua/p/4860544.html Find应用实例 查找最近30分钟修改的当前目录下的.php文件 find . -name '*.php' -mmin -30 查找最近24小时修改的当前目录下的.php文件 find . -name '*.php' -mtime 0 查找最近24小时修改的当前目录下的.php文件,并列出详细信息 find . -name '*.inc' -

linux系统下文件查找

在我们实际应用中,经常需要查找某个特定的文件,或者根据文件的某个特定属性进行查找,今天小菜就给大家分享一下,linux系统下文件查找的两大利器: 1,locate:非实时查找(基于预先生成的数据库查找):模糊匹配:速度快 2,find:实时查找(遍历目录中的所有文件完成查找):精确匹配,支持众多查找标准:速度慢 一.locate 查询系统上预先生成的文件索引数据库:/var/lib/mlocate/mlocate.db 依赖于事先构建的索引:索引的构建是在系统较为空闲时自动进行(周期性任务) 管

linux系统下修改文件夹目录权限

linux系统下修改文件夹目录权限 文件夹权限问题 Linux.Fedora.Ubuntu修改文件.文件夹权限的方法差不多.很多人开始接触Linux时都很头痛Linux的文件权限问题.这里告诉大家如何修改Linux文件-文件夹权限.以主文件夹下的一个名为cc的文件夹为例. 下面一步一步介绍如何修改权限: 1.打开终端.输入su(没 Linux.Fedora.Ubuntu修改文件.文件夹权限的方法差不多.很多人开始接触Linux时都很头痛Linux的文件权限问题.这里告诉大家如何修改Linux文件

linux系统下迁移mysql数据库文件

linux下(这里是centos),mysql安装后,数据库的数据默认存放在/var/lib/mysql目录下,如果该目录下挂载的磁盘空间很少,不够用,需要迁移到其他的目录位置. 方法一: 参照windows下的方法,把/var/lib/mysql移到需要的目录,再修改/etc/my.cnf文件,指定数据目录.这方面的教程网上很多,大家可以去搜索一下. 方法二: 使用linux下的软连接方法,具体操作如下:(以迁移到/home/mysql/目录为例) 先停止mysql: /etc/init.d/

Linux系统下目录文件配置

刚刚接触Linux,对于Linux系统下的目录配置进行了一些研究,为了避免以后误操作这些目录,建议大家还是记忆一下相关的配置! 总结 Linux 根目录主要配置 目录 文件配置内容 /bin 单用户维护模式下还能被操作的命令 /boot 开机会使用到的文件,包括Linux内核文件以及开机菜单与开机所需配置文件 /dev 设备以及设备接口文件,访问该目录下文件相当于访问某设备 - /dev下的重要文件:/dev/null,/dev/zero,/dev/tty /etc 系统主要的配置文件,比如账号

linux系统下怎么安装.deb文件?

deb 是 ubuntu .debian 的格式. rpm 是 redhat .fedora .suse 的格式. 他们不通用(尽管能够转换一下). deb是debian发行版的软件包 ubuntu是基于debian 发行的 全部能够用 .deb是solaris系统下的安装包后缀名.安装方法例如以下 cd 到安装包的文件夹 dpkg -i 安装包名字 假设你使用的是red hat linux,然后执行下面命令安装 cd 到安装包的文件夹 rpm -ivh 安装包名字 linux系统下怎么安装.d

windows系统正常但linux系统下找不到文件的问题

问题描述:最近一个项目开发环境是windows系统,正式环境是linux系统.验证码图片在开发环境正常,但是在正式环境下一直报404. 问题原因:File dir = new File(realPath + "resource\\picture"); 这一句文件路径写法有问题,linux系统不支持反斜杠的写法. 解决方法:将\\改为/即可,这样在windows系统与linux系统下均正常.正确写法:File dir = new File(realPath + "resourc

【转】linux系统下怎么安装.deb文件?

linux系统下怎么安装.deb文件? deb 是 ubuntu .debian 的格式.rpm 是 redhat .fedora .suse 的格式. 他们不通用(虽然可以转换一下). deb是debian发行版的软件包ubuntu是基于debian 发行的 所有可以用 .deb是solaris系统下的安装包后缀名.安装方法如下 cd 到安装包的目录 dpkg -i 安装包名字 如果你使用的是red hat linux,然后运行以下命令安装 cd 到安装包的目录rpm -ivh 安装包名字

linux系统下怎么安装.deb文件

linux系统下怎么安装.deb文件? deb 是 ubuntu .debian 的格式.rpm 是 redhat .fedora .suse 的格式. 他们不通用(虽然可以转换一下). deb是debian发行版的软件包ubuntu是基于debian 发行的 所有可以用 .deb是solaris系统下的安装包后缀名.安装方法如下 cd 到安装包的目录 dpkg -i 安装包名字 如果你使用的是red hat linux,然后运行以下命令安装 cd 到安装包的目录rpm -ivh 安装包名字