SPARK搭建中WORKER不能启动(failed to launch org.apache.spark.deploy.worker.worker)

[[email protected] spark-1.5.0]$ ./sbin/start-all.sh

starting org.apache.spark.deploy.master.Master, logging to /srv/spark-1.5.0/sbin/../logs/spark-dyq-org.apache.spark.deploy.master.Master-1-master.out

slave2: starting org.apache.spark.deploy.worker.Worker, logging to /srv/spark-1.5.0/sbin/../logs/spark-dyq-org.apache.spark.deploy.worker.Worker-1-slave2.out

slave1: starting org.apache.spark.deploy.worker.Worker, logging to /srv/spark-1.5.0/sbin/../logs/spark-dyq-org.apache.spark.deploy.worker.Worker-1-slave1.out

slave2: failed to launch org.apache.spark.deploy.worker.Worker:

slave1: failed to launch org.apache.spark.deploy.worker.Worker:

slave1: full log in /srv/spark-1.5.0/sbin/../logs/spark-dyq-org.apache.spark.deploy.worker.Worker-1-slave1.out

slave2: full log in /srv/spark-1.5.0/sbin/../logs/spark-dyq-org.apache.spark.deploy.worker.Worker-1-slave2.out

这是什么原因

master机器

Spark Command: /srv/jdk1.7.0_79/bin/java -cp /srv/spark-1.5.0/sbin/../conf/:/srv/spark-1.5.0/lib/spark-assembly-1.5.0-hadoop2.6.0.jar:/srv/spark-1.5.0/lib/datanucleus-core-3.2.10.jar:/srv/spark-1.5.0/lib/datanucleus-api-jdo-3.2.6.jar:/srv/spark-1.5.0/lib/datanucleus-rdbms-3.2.9.jar -Xms1g -Xmx1g -XX:MaxPermSize=256m org.apache.spark.deploy.master.Master --ip 192.168.0.100 --port 7077 --webui-port 8080

========================================

Using Spark‘s default log4j profile: org/apache/spark/log4j-defaults.properties

16/07/19 09:11:23 INFO Master: Registered signal handlers for [TERM, HUP, INT]

16/07/19 09:11:47 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

16/07/19 09:12:08 INFO SecurityManager: Changing view acls to: dyq

16/07/19 09:12:08 INFO SecurityManager: Changing modify acls to: dyq

16/07/19 09:12:08 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(dyq); users with modify permissions: Set(dyq)

16/07/19 09:13:45 INFO Slf4jLogger: Slf4jLogger started

16/07/19 09:13:56 INFO Remoting: Starting remoting

Exception in thread "main" java.util.concurrent.TimeoutException: Futures timed out after [10000 milliseconds]

slave机器上:

Spark Command: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64/jre/bin/java -cp /srv/spark-1.5.0/sbin/../conf/:/srv/spark-1.5.0/lib/spark-assembly-1.5.0-hadoop2.6.0.jar:/srv/spark-1.5.0/lib/datanucleus-core-3.2.10.jar:/srv/spark-1.5.0/lib/datanucleus-api-jdo-3.2.6.jar:/srv/spark-1.5.0/lib/datanucleus-rdbms-3.2.9.jar -Xms1g -Xmx1g org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://192.168.0.100:7077

========================================

Caused by: [拒绝连接: /192.168.0.100:7077]

时间: 2024-11-07 23:45:24

SPARK搭建中WORKER不能启动(failed to launch org.apache.spark.deploy.worker.worker)的相关文章

spark关于join后有重复列的问题(org.apache.spark.sql.AnalysisException: Reference '*' is ambiguous)

问题 datafrme提供了强大的JOIN操作,但是在操作的时候,经常发现会碰到重复列的问题.在你不注意的时候,去用相关列做其他操作的时候,就会出现问题! 假如这两个字段同时存在,那么就会报错,如下:org.apache.spark.sql.AnalysisException: Reference 'key2' is ambiguous 实例 1.创建两个df演示实例 val df = sc.parallelize(Array( ("yuwen", "zhangsan&quo

spark出现task不能序列化错误的解决方法 org.apache.spark.SparkException: Task not serializable

import org.elasticsearch.cluster.routing.Murmur3HashFunction; import org.elasticsearch.common.math.MathUtils; // 自定义Partitioner class ESShardPartitioner(settings: String) extends org.apache.spark.Partitioner { protected var _numPartitions = -1; prote

spark 插入数据到mysql时遇到的问题 org.apache.spark.SparkException: Task not serializable

报错问题:Exception in thread "main" org.apache.spark.SparkException: Task not serializableCaused by: java.io.NotSerializableException: org.apache.commons.dbcp2.PoolingDataSource$PoolGuardConnectionWrapper 出错的代码: def saveMonthToMysql(everymonth_avg:R

伪分布式Spark + Hive on Spark搭建

Spark大数据平台有使用一段时间了,但大部分都是用于实验而搭建起来用的,搭建过Spark完全分布式,也搭建过用于测试的伪分布式.现在是写一遍随笔,记录一下曾经搭建过的环境,免得以后自己忘记了.也给和初学者以及曾经挖过坑的人用作参考. Hive on Spark是Hive跑在Spark上,用的是Spark执行引擎,而不是默认的MapReduce. 可以查阅官网的资源Hive on Spark: Getting Started. 一 .安装基础环境 1.1 Java1.8环境搭建 1) 下载jdk

Spark SQL中的broadcast join分析

在Spark-1.6.2中,执行相同join查询语句,broadcast join模式下,DAG和执行时间如下图所示: 1.broadcast join (1)DAG (2)执行时间 122 rows selected (22.709 seconds) 2.非broadcast join (1)DAG (2)执行时间 122 rows selected (55.512 seconds) 对于broadcast join模式,会将小于spark.sql.autoBroadcastJoinThres

Apache Spark 2.2.0 中文文档 - GraphX Programming Guide | ApacheCN

GraphX Programming Guide 概述 入门 属性 Graph 示例属性 Graph Graph 运算符 运算符的汇总表 Property 运算符 Structural 运算符 Join 运算符 邻域聚合 聚合消息 (aggregateMessages) Map Reduce Triplets Transition Guide (Legacy) 计算级别信息 收集相邻点 Caching and Uncaching Pregel API Graph 建造者 Vertex and E

在Apache Spark中使用UDF

用户自定义函数(UDF)是大多数SQL环境的一个关键特性,其主要用于扩展系统的内置功能.UDF允许开发人员通过抽象其低级语言实现在更高级语言(如SQL)中应用的新函数.Apache Spark也不例外,其为UDF与Spark SQL工作流集成提供了各种选项. 在本篇博文中,我们将回顾Python.Java和Scala上的Apache Spark UDF和UDAF(用户自定义的聚合函数)实现的简单示例.我们还将讨论重要的UDF API功能和集成点,包括各发行版本之间的当前可用性.总而言之,我们将介

Apache Spark源码走读之3 -- Task运行期之函数调用关系分析

概要 本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的,另外试图讲清楚运行着的task其输入的数据从哪获取,处理的结果返回到哪里,如何返回. 准备 1. spark已经安装完毕 2. spark运行在local mode或local-cluster mode local-cluster mode local-cluster模式也称为伪分布式,可以使用如下指令运行 MASTER=local[1,2,1024] bin/spark-shell [1,2,1024] 分别表

使用Apache Spark 对 mysql 调优 查询速度提升10倍以上

在这篇文章中我们将讨论如何利用 Apache Spark 来提升 MySQL 的查询性能. 介绍 在我的前一篇文章Apache Spark with MySQL 中介绍了如何利用 Apache Spark 实现数据分析以及如何对大量存放于文本文件的数据进行转换和分析.瓦迪姆还做了一个基准测试用来比较 MySQL 和 Spark with Parquet 柱状格式 (使用空中交通性能数据) 二者的性能. 这个测试非常棒,但如果我们不希望将数据从 MySQL 移到其他的存储系统中,而是继续在已有的