HADOOP/HBASE/SPARK修改PID文件位置

当不修改HADOOP/HBASE/SPARK的PID文件位置时,系统默认会把PID文件生成到/tmp目录下,但是/tmp目录在一段时间后会被删除,所以以后当我们停止HADOOP/HBASE/SPARK时,会发现无法停止相应的进程,因为PID文件已经被删除,所以现在我们需要修改HADOOP/HBASE/SPARK的PID文件地址.修改方法如下:

我们需要把HADOOP/HBASE/SPARK的PID文件生成到/var/hadoop/pids目录中.

在集群的各节点上新建/var/hadoop/pids目录命令 : sudo mkdir -p /var/hadoop/pids
需要修改各节点上/var/hadoop/pids目录的权限,我使用的是hadoop用户启动HADOOP/HBASE/SPARK集群,所以需要把/var/hadoop/pids的目录权限修改为hadoop,否则在启动HADOOP/HBASE/SPARK集群时无法写入到该目录中. 修改权限命令 : chown -R hadoop:hadoop /var/hadoop
修改hadoop-env.sh 增加：export HADOOP_PID_DIR=/var/hadoop/pids
修改yarn-env.sh 增加：export YARN_PID_DIR=/var/hadoop/pids
修改hbase-env.sh ,增加：export HBASE_PID_DIR=/var/hadoop/pids
修改spark-env.sh, 增加 : export SPARK_PID_DIR=/var/hadoop/pids
把配置文件发送到集群中的各个节点上,重新启动集群, 查看/var/hadoop/pids目录会发现PID文件在该目录生成

时间： 2024-10-08 12:49:30

HADOOP/HBASE/SPARK修改PID文件位置的相关文章

Hadoop+HBase+Spark+Hive环境搭建

杨赟快跑简书作者 2018-09-24 10:24 打开App 摘要:大数据门槛较高,仅仅环境的搭建可能就要耗费我们大量的精力,本文总结了作者是如何搭建大数据环境的(单机版和集群版),希望能帮助学弟学妹们更快地走上大数据学习之路. 0. 准备安装包本文所需的系统镜像.大数据软件安装包.开发环境软件安装包等都可以在我的百度云盘中下载.链接:系统镜像和各种大数据软件密码:n2cn 1. Windows下安装Ubuntu双系统 Hadoop等大数据开源框架是不支持Windows系统的,所以需要先安

VirtualBox 修改 VDI 文件位置

注 : [ .* ] 代表 [ .bak ] 的缩写 [ Dream_Lasting ] 代表 [ 虚拟操作系统的名字 ] [ 所有文件都修改列出的标签属性(目前在自己的机器上没有发生运行错误 [ Win 7 64bit ] ) ] [ value = "X:\[ FileDirectory ]\*.vdi" 多个vdi文件用分号隔开 ] 1.先把vdi文件移动到你想要放置的位置 2.去目录 [ C:\Users\Administrator\.VirtualBox\ ] 修改如下文件

mssql server修改数据库文件位置此种方法暂未测试成功

--查看当前的存放位置 select database_id,name,physical_name AS CurrentLocation,state_desc,size from sys.master_files where database_id=db_id(N'数据库名'); --修改文件的存放位置下次启动生效 --testDb为数据库名, alter database 数据库名 modify file ( name = 文件名(不包含后缀), filename = '文件存储路径'); a

如何快速重置OUTLOOK2013，2016到初始配置状态，outlook 修改数据文件位置

适用范围: 安装OUTLOOK的机器知识点分析: 快速清除当前OUTLOOK所有账户,回归到初始配置状态. 操作步骤: WIN+R调出运行输入: C:\Program Files (x86)\Microsoft Office\Office14\outlook.exe /importprf .\.prf 注意: C:\Program Files (x86)\Microsoft Office\Office14\outlook.exe 是OUTLOOK的路径,每台电脑不同,请自行确认. 备注:

Oracle更改数据文件位置

方法一:offline表空间 1.offline表空间:alter tablespace tablespace_name offline:2.复制数据文件到新的目录:3.rename修改表空间,并修改控制文件:4.online表空间: 1.offline表空间zeroneSQL> select name from v$datafile;NAME-----------------------------------------------------------------------------

修改数据文件和日志文件路径

环境及需求操作系统:Microsoft Windows Server 2008 R2 Enterprise数据库:Microsoft SQL Server 2008 R2 (SP3)服务器增加Fusion-io存储,需将数据库文件迁移到Fusion-io迁移文件必定涉及数据库服务的重启,给定维护时间1小时.服务器上只安装一个数据库实例,实例下面有33个用户数据库(一个小游戏对应一个库),部分数据库有多个数据文件.考虑到要迁移的数据文件个数有107个,最佳方式是使用: ALTER DATABASE

Linux系统下pid与pid文件及Hadoop更改pid文件存储位置

1.认识pid: PID全称是Process Identification.PID是进程的代号,每个进程有唯一的PID编号.它是进程运行时系统随机分配的,并不代表专门的进程.在运行时PID是不会改变标识符的,但是你终止程序后再运行PID标识符就会被系统回收,就可能会被继续分配给新运行的程序. 2.pid文件 pid文件的内容用cat命令查看,可以看到内容只有一行,记录了该进程的ID pid文件的作用防止启动多个进程副本 pid文件的原理进程运行后会给.pid文件加一个文件锁,只有获得该锁的进程才

Spark集群框架搭建【VM15+CentOS7+Hadoop+Scala+Spark+Zookeeper+HBase+Hive】

目录 1 目的 2 准备工作 3 安装过程 3.1 在虚拟机中安装CentOS7 3.1.1 虚拟机设置 3.1.2 安装Linux系统 3.2 JAVA环境 3.2.1 卸载Linux自带的jdk 3.2.2 下载并安装最新版本的jdk 3.2.3 环境变量设置 3.3 SSH免密登陆 3.3.1 准备工作 3.3.2 设置免密登陆 3.4 Hadoop2.7.2安装及集群配置 3.4.1 Hadoop安装 3.4.2 伪分布式集群配置 3.4.3 启动hadoop 3.5 Spark安装及环

hadoop+hbase+zookeeper+spark+phoenix相关实施报错处理

排错日志: 解决办法:可能是修改机器名导致的,修改hosts,写入hostname和IP,然后,try it agin! 解决办法: 当引入hadoop-common-2.2.0.jar包进行二次开发,比如读写HDFS文件时,初次运行报错. java.io.IOException: No FileSystem for scheme: hdfs at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2421)