Spark-shell 无法启动之网络问题

由于需要首次手动安装sbt,需要联网,故将虚拟机的网络适配器模式设置为"桥接模式",这样就可以和互联网相连接。

但是后面执行"spark-shell  --master yarn --deploy-mode client" 命令时,无法启动,一直停留在中间状态不动,

如下:

[[email protected] test_code]# spark-shell --master yarn --deploy-mode client
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
17/05/07 18:07:37 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfor

m... using builtin-java classes where applicable

后来突然想起来,虚拟机的网络适配器模式没有更改过来,重新设置为"仅主机模式" 后(这是由于,安装Hadoop集群

时,几个VMware虚拟机都是使用的"仅主机模式"),spark-shell 正常启动,如下:

[[email protected] master]# spark-shell --master yarn --deploy-mode client
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
17/05/07 18:30:12 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/05/07 18:30:28 WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.
17/05/07 18:31:15 WARN metastore.ObjectStore: Failed to get database global_temp, returning NoSuchObjectException
Spark context Web UI available at http://192.168.1.200:4040
Spark context available as ‘sc‘ (master = yarn, app id = application_1494142860645_0001).
Spark session available as ‘spark‘.
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ ‘_/
/___/ .__/\_,_/_/ /_/\_\ version 2.1.0
/_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_121)
Type in expressions to have them evaluated.
Type :help for more information.

scala>

BTW:

通过查看active NameNode 状态,可以看到,集群状态不正常,无法与其他节点通信,造成block丢失。如下WebUI 上所示:

There are 35 missing blocks. The following files may be corrupted:

blk_1073741947 /opt/hadoop/out_wordcount4/part-r-00000
blk_1073741946 /opt/hadoop/out_wordcount2/part-r-00000
blk_1073741945 /opt/hadoop/out_wordcount/part-r-00000
blk_1073741933 /opt/hadoop/input/README.txt
blk_1073741931 /hbase/MasterProcWALs/state-00000000000000000018.log
blk_1073741930 /hbase/oldWALs/slave4%2C16020%2C1489814171196.meta.1489821379742.meta
blk_1073741929 /hbase/oldWALs/slave3%2C16020%2C1489814171011.1489821375778
blk_1073741928 /hbase/oldWALs/slave4%2C16020%2C1489814171196.1489821375970
blk_1073741927 /hbase/oldWALs/slave5%2C16020%2C1489814170009.1489821374298
blk_1073741920 /hbase/data/hbase/meta/1588230740/info/8e011b40156f4eeab4e83caf63ee1d23
blk_1073741847 /hbase/data/hbase/namespace/3792ee8c4881d96201d73a19d76aa598/info/cc6c271a546248419df4c0988d191b4d
blk_1073741846 /hbase/data/hbase/namespace/3792ee8c4881d96201d73a19d76aa598/.regioninfo
blk_1073741845 /hbase/data/hbase/namespace/.tabledesc/.tableinfo.0000000001
blk_1073741968 /linkage/block_9.csv
blk_1073741967 /linkage/block_8.csv
blk_1073741839 /hbase/data/hbase/meta/.tabledesc/.tableinfo.0000000001
blk_1073741966 /linkage/block_7.csv
blk_1073741838 /hbase/data/hbase/meta/1588230740/.regioninfo
blk_1073741837 /hbase/hbase.id
blk_1073741965 /linkage/block_6.csv
blk_1073741836 /hbase/hbase.version
blk_1073741964 /linkage/block_5.csv
blk_1073741963 /linkage/block_4.csv
blk_1073741962 /linkage/block_3.csv
blk_1073741961 /linkage/block_2.csv
blk_1073741833 /tmp/hadoop-yarn/staging/history/done_intermediate/root/job_1489568197327_0001.summary
blk_1073741960 /linkage/block_1.csv
blk_1073741832 /out/part-r-00000
blk_1073741959 /linkage/block_10.csv
blk_1073741958 /sogou/SogouQ1.txt
blk_1073741957 /tmp/hadoop-yarn/staging/history/done_intermediate/root/job_1492443686126_0001_conf.xml
blk_1073741956 /tmp/hadoop-yarn/staging/history/done_intermediate/root/job_1492443686126_0001-1492443717631-root-word+count-1492443749993-1-1-SUCCEEDED-default-1492443728809.jhist
blk_1073741955 /tmp/hadoop-yarn/staging/history/done_intermediate/root/job_1492443686126_0001.summary
blk_1073741954 /opt/hadoop/out_1/part-r-00000
blk_1073741825 /word

Please check the logs or run fsck in order to identify the missing blocks. See the Hadoop FAQ for common causes and potential solutions.

时间: 2024-08-28 17:54:06

Spark-shell 无法启动之网络问题的相关文章

嵌入式Linux启动时网络参数配置

明白了嵌入式Linux启动时网络参数配置的流程,就会对网络这一部分了然于胸,以后出现网络不通的情况,就有了解决问题的思路. 1.网络参数配置的入口: /etc/init.d/rcS,如下两行 # 配置换回lo地址 /sbin/ifconfig lo 127.0.0.1 # 配置以太网eth0地址 /etc/init.d/ifconfig-eth0 2.进入ifconfig-eth0文件: #!/bin/sh echo -n Try to bring eth0 interface up......

【原创 Hadoop&Spark 动手实践 5】Spark 基础入门,集群搭建以及Spark Shell

Spark 基础入门,集群搭建以及Spark Shell 主要借助Spark基础的PPT,再加上实际的动手操作来加强概念的理解和实践. Spark 安装部署 理论已经了解的差不多了,接下来是实际动手实验: 练习1 利用Spark Shell(本机模式) 完成WordCount spark-shell 进行Spark-shell本机模式 第一步:通过文件方式导入数据 scala> val rdd1 = sc.textFile("file:///tmp/wordcount.txt")

spark exectors的启动总结

在spark启动之后,worker和master注册通信之后,在进入用户提交app中,new SparkContext之后就会在worker上分配exectors了. 首先在sparkContext中,会先创建和启动TaskScheduler和DAGSchedule 在创建TaskScheduler的时候也会创建schedulerBackend:下面看createTaskScheduler方法: 1 private def createTaskScheduler( 2 sc: SparkCont

win7开启热点时“无法启动承载网络”的解决方法

一.win7下开启热点的步骤 (1)netsh wlan set hostednetwork mode=allow ssid=wuminPC key=wuminWiFi (2)netsh wlan start hostednetwork 当然,还需要把本地连接设置为共享的,具体见:http://jingyan.baidu.com/article/5d368d1e3e499b3f61c05762.html 二.遇到问题:无法启动承载网络 输入netsh wlan start hostednetwo

第一次看到Spark崩溃:Spark Shell内存OOM的现象!

第一次看到Spark崩溃 Spark Shell内存OOM的现象 要搞Spark图计算,所以用了Google的web-Google.txt,大小71.8MB. 以命令: val graph = GraphLoader.edgeListFile(sc,"hdfs://192.168.0.10:9000/input/graph/web-Google.txt") 建立图的时候,运算了半天后直接退回了控制台. 界面xian scala> val graph = GraphLoader.e

shell脚本,一个shell的启动流程。

#一个shell的启动流程 #shell有一些变量,叫做环境变量,这些变量是可以继承的, #比如父shell有$UID,子shell也可以有,而且继承父shell的. #正常我们声明一个变量,a=1,在子shell里,a是空,自己声明的变量不能被继续. 如果我们自己声明变量,想让子shell也可以用 [[email protected] wyb]# cat a.sh #!/bin/bash echo $a #如果我们自己声明变量,想让子shell也可以用,#export 是内置变量,通过它声明的

运维系列:08、Spark Shell

./bin/spark-shell --master spark://MASTER:PORT 启动 集群模式: MASTER=spark://`hostname`:7077 bin/spark-shell bin/spark-shell --master spark://es122:7077 单机模式: bin/spark-shell local[4] 加载一个text文件 Spark context available as sc. 连接到Spark的master之后,若集群中没有分布式文件系

Linux Shell & 放在启动参数后面表示设置此进程为后台进程

& 放在启动参数后面表示设置此进程为后台进程 默认情况下,进程是前台进程,这时就把Shell给占据了,我们无法进行其他操作,对于那些没有交互的进程,很多时候,我们希望将其在后台启动,可以在启动参数的时候加一个'&'实现这个目的. 如: tianfang > run &    [1] 11319tianfang > 进程切换到后台的时候,我们把它称为job.切换到后台时会输出相关job信息,以前面的输出为[1] 11319例:[1]表示job ID是1,11319表示进程

Spark Shell 实现 Word Count

0. 说明 在 Spark Shell 实现 Word Count RDD (Resilient Distributed dataset), 弹性分布式数据集. 1. 实现 1.1 分步实现 # step 1 加载文档 val rdd1 = sc.textFile("file:///home/centos/wc1.txt") # step 2 压扁 val rdd2 = rdd1.flatMap(line=>{line.split(" ")}) # step

shell脚本启动语法错误syntax error near unexpected token '{

执行shell脚本时失败,报语法错误,但脚本内容检查正常 原因为该脚本是在非Linux系统下编辑之后放到系统执行的,文件模式类型非Linux系统匹配的模式类型. 查看文件的模式类型 显示文件的模式类型为 dos 修改文件的模式类型为Linux匹配的 unix 保存之后即可正常启动脚本. shell脚本启动语法错误syntax error near unexpected token '{ 原文地址:https://www.cnblogs.com/zjfjava/p/10708370.html