1、cdh在spark的conf中没有slaves文件
解决方法:在spark的conf目录下添加slaves文件,内容为worker节点名
2、yarn的端口和spark的worker端口冲突都是7337,导致worker进程不能正常工作
解决办法:在spark的conf目录下修改spark-default.conf文件,把里面的7337端口
改成其他的端口
原文地址:http://blog.51cto.com/quliren/2324417
时间: 2024-11-03 22:02:08
1、cdh在spark的conf中没有slaves文件
解决方法:在spark的conf目录下添加slaves文件,内容为worker节点名
2、yarn的端口和spark的worker端口冲突都是7337,导致worker进程不能正常工作
解决办法:在spark的conf目录下修改spark-default.conf文件,把里面的7337端口
改成其他的端口
原文地址:http://blog.51cto.com/quliren/2324417