spark 任务导致tmp目录过大

现象：hdp的集群没有配置spak的临时本地目录，默认在跑程序的时候会将中间过程的文件存放在本地的/tmp目录下

如果跑的spark数据量过大，就会导致/tmp下文件过大，最终导致根分区被占满，系统崩溃

解决办吧：修改spark的环境变量配置文件，在ambari界面上找到spark-env.sh的配置文件，添加参数

export SPARK_LOCAL_DIRS=spark.local.dir /disk1/sparktmp,/disk2/sparktmp

参考文档：https://blog.csdn.net/BDCHome/article/details/45396979

修改成功后，重新启动spark程序，然后再次测试

原文地址：https://www.cnblogs.com/butterflies/p/12072058.html

时间： 2024-11-05 15:39:54

spark 任务导致tmp目录过大的相关文章

一个mysql /tmp目录爆满问题的处理

突然收到zabbix告警,说mysql服务器的/目录磁盘空间不足. 登录到服务器,看了下发现100GB的根目录,居然使用了差不多90GB.这台服务器上只跑了一个MySQL,应该不是日志未清理等其它原因造成的. (说明:下面的几张截图是后期截的,当时已经有部分SQL跑完,释放掉部分磁盘空间了) lsof |grep deleted 发现如下: 可以看到这个临时文件差不多有40GB. show processlist; 如下: 上图看的话,没有涉及到写binlog的操作,但是由于单纯的select并

线上系统/tmp 目录不断增长分析与总结

1.问题描述 系统配置为单核4G, web 工程配置堆2G,  /tmp目录 二进制文件不断增加,平均一天增加20G, 手动清理/tmp目录,重启系统,问题依旧. 2.分析 /tmp 目录存放系统运行时产生的临时文件.在Redhat-like系统上,会定期清理/tmp目录下10天未访问的文件.这个机制保证了,linux不会像windows那样在较长时间运行后变得臃肿不堪. 清理脚本位于/etc/cron.daily/tmpwatch,内容如下, #! /bin/sh flags=-umc /us

wget任务被kill之后tmp目录空间一直不释放

在一次下载一个200多G的大文件时,使用如下方式进行下载,已经下载了180G wget -c xxxxx.tar.gz   -O xxxx.tar.gz 因为当时机器上做的操作很多,机器有点卡,于是就手工kill掉这个任务,等空闲时候再手工下载. 结果kill掉这个进程后,很长时间这个任务才终止,且之后/tmp目录被占用的空间就一直没有被释放. [[email protected] ~]$ df -hFilesystem            Size  Used Avail Use% Moun

Linux小白第二弹之文件系统与目录结构大汇总

Linux小白第二弹之文件系统与目录结构大汇总 今天聊一下关于目录结构的东东. LInux的标准目录结构是由根/和一级目录组成,文件和目录被组织成一个单根倒置树结构.文件系统从根目录下开始,用"/"表示.一级目录如下:bin(binary),所有用户使用的基本命令:不能关联至独立分区,OS启动就会用到的程序[普通用户]: boot,引导文件存放目录,内核文件(vmlinuz).引导加载器(bootloader,grub)都存放于此目录: dev对应的是设备,如硬盘光盘: etc,配置文

Linux下tmp目录删除规则

我们知道,在Linux系统中/tmp文件夹里面的文件会被清空,至于多长时间被清空,如何清空的,可能大家知识的就不多了,所以,今天我们就来剖析一个这两个问题. 在RHEL\CentOS\Fedora\系统中(本次实验是在RHEL6中进行的) 先来看看tmpwatch这个命令,他的作用就是删除一段时间内不使用的文件(removes files which haven't been accessed for a period of time).具体的用法就不多说了,有兴趣的自行研究.我们主要看看和这个

linux 下/var,/etc,/tmp目录操作

显示/var/目录下所有以1开头,以一个小写字母结尾,且中间至少出现一位数字(可以有其他字符)的文件或目录. 命令: ls -d /var/1*[0-9]*[a-z] 显示/etc目录下,以任意一个数字开头,且以非数字结尾的文件或目录. 命令: ls -d /etc/[[:digit:]]*[[1]] 显示/etc目录下,亦非字母开头,后面跟了一个字母以及其他任意长度任意字符的文件或目录. 命令: ls -d /etc/[[2]][[:alpha:]]* 在/tem目录下创建以tfile开头,后

获取沙盒路径,Documents目录路径,Caches目录路径,tmp目录路径的方法

//1,获取沙盒目录路径的函数:NSString *homeDir = NSHomeDirectory(); //2,获取Documents目录路径的方法:NSArray *paths = NSSearchPathForDirectoriesInDomains(NSDocumentDirectory,NSUserDomainMask,YES);NSString *docDir = [paths objectAtIndex:0]; //3,获取Caches目录路径的方法:NSArray *path

List的设置值，跟变量的位置关系（变量范围的变化导致结果差别很大）

我们想要的结果是: [RegnTypeCharge: null,null,null,null,1,null,null,null,null,null,null,null,null,null,null,][RegnTypeCharge: null,null,null,null,hehe,null,null,null,null,null,null,null,null,null,null,]com.[email protected]addbf1com.[email protected]42e816 需要

查找出/tmp目录下面修改时间是7天以前，大小在50k到2M之间，并以.log结尾的文件

查找出/tmp目录下面修改时间是7天以前,大小在50k到2M之间,并以.log结尾的文件. 答:生成环境 [[email protected] tmp]# date -s "20170501" Mon May  1 00:00:00 CST 2017 [[email protected] tmp]# dd if=/dev/zero of=1.log bs=60KB count=1 1+0 records in 1+0 records out 60000 bytes (60 kB) co