由于Licene的限制,没有放到默认的build里面,所以在官方网站下载的二进制文件中并不包含Gangla模块,如果需要使用,需要自己编译。在使用Maven编译Spark的时候,我们可以加上-Pspark-ganglia-lgpl
选项来将Ganglia相关的类打包进spark-assembly-x.x.x-hadoopx.x.x.jar
中,命令如下:
./make-distribution.sh --tgz -Phadoop-2.4 -Pyarn -DskipTests Dhadoop.version=2.4.0 -Pspark-ganglia-lgpl
也可以用SBT编译
SPARK_HADOOP_VERSION=2.4.0 SPARK_YARN=true SPARK_GANGLIA_LGPL=true sbt/sbt assembly
依赖弄好之后,我们需要在$SPARK_HOME/conf/metrics.properties
文件中加入一下配置:
*.sink.ganglia.class=org.apache.spark.metrics.sink.GangliaSink *.sink.ganglia.host=master *.sink.ganglia.port=8080 *.sink.ganglia.period=10 *.sink.ganglia.unit=seconds *.sink.ganglia.ttl=1 *.sink.ganglia.mode=multicast master.source.jvm.class=org.apache.spark.metrics.source.JvmSource worker.source.jvm.class=org.apache.spark.metrics.source.JvmSource driver.source.jvm.class=org.apache.spark.metrics.source.JvmSource executor.source.jvm.class=org.apache.spark.metrics.source.JvmSource
所有节点都这么配置就行。
配好之后,还是在http://master/ganglia中监控
参考文献:http://www.iteblog.com/archives/1347
http://www.iteblog.com/archives/1341
时间: 2024-10-07 05:42:41