原因:默认情况下每个节点分配的执行内存为1G
解决办法:
方法一:val conf = new SparkConf().setAppName("appname").set("spark.executor.memory","6g")
方法二:修改spark-env.sh
添加:export SPARK_EXECUTOR_MEMORY=8G
时间: 2024-10-12 13:11:24
原因:默认情况下每个节点分配的执行内存为1G
解决办法:
方法一:val conf = new SparkConf().setAppName("appname").set("spark.executor.memory","6g")
方法二:修改spark-env.sh
添加:export SPARK_EXECUTOR_MEMORY=8G