error: not found: value sc

【问题】

解压spark的tar包后，执行bin/spark-shell，执行val lines=sc.textFile("README.md")时，抛错error: not found: value sc

【解决办法】

这是因为shell启动时没有初始化sparkContext，修改conf/spark-env.sh文件，添加如下内容：

export SPARK_LOCAL_IP="127.0.0.1"

再次启动bin/spark-shell，这是会看到如下信息，代表spark context已经被初始化了，现在可以正常执行命令了。

Spark context Web UI available at http://127.0.0.1:4040
Spark context available as ‘sc‘ (master = local[*], app id = local-1477366425671).
Spark session available as ‘spark‘.

时间： 2024-10-09 10:52:21

error: not found: value sc的相关文章

Accumulator

Accumulator简介 Accumulator是spark提供的累加器,顾名思义,该变量只能够增加. 只有driver能获取到Accumulator的值(使用value方法),Task只能对其做增加操作(使用 +=).你也可以在为Accumulator命名(不支持Python),这样就会在spark web ui中显示,可以帮助你了解程序运行的情况. Accumulator使用使用示例举个最简单的accumulator的使用例子: //在driver中定义 val accum = sc.

linux下使用多线程编写的聊天室

自从开始学linux网络编程后就想写个聊天室,一开始原本打算用多进程的方式来写,可是发觉进程间的通信有点麻烦,而且开销也大,后来想用多线程能不能实现呢,于是便去看了一下linux里线程的用法,实际上只需要知道 pthread_create 就差不多了,于是动手开干,用了两天时间,调试的过程挺痛苦的,一开始打算用纯C来撸,便用简单的数组来存储客户端的连接信息,可是运行时出现了一些很奇怪的问题,不知道是不是访问了临界资源,和线程间的互斥有关等等:奇怪的是,当改用STL的set或map时问题就解决了,

sql type subtype 统计

select * from testtable; type subtype value a sa 1b sb 1a sb errorb sa errora sb 1b sb 1c sa errorc sb 1c sc 1c sc 1c sa error select sum(`value`) from testtable where value != 'error' AND type ='b'; sum(`value`) 2 SELECT type,subtype,SUM(value) AS T

c#JS调用

using MSScriptControl; using System; using System.Collections.Generic; using System.Reflection; using System.Text; using v8sharp; namespace Js调用 { class Program { static void Main(string[] args) { string reString = @" function MessageBox(s) { return

创建http客户端，请求其他服务接口(GET/POST)

service1拥有接口 : GET user/{user_id} POST user/add service2调用service1的接口获取数据 1.创建客户端 //定义客户端结构体 type SimpleClient struct { Client HTTPRequest *http.Request //用于返回执行时的request,直接设值无效.引用时注意做非空检查. HTTPResponse *http.Response //用于返回执行结果.引用时注意做非空检查. }

Spark(Accumulator)陷阱及解决办法

【比原链】如何连上一个比原节点

作者:freewind 在上一篇我们已经知道了比原是如何监听节点的p2p端口,本篇就要继续在上篇中提到的问题:我们如何成功的连接上比原的节点,并且通过身份验证,以便后续继续交换数据? 在上一篇中,我们的比原节点是以solonet这个chain_id启动的,它监听的是46658端口.我们可以使用telnet连上它: $ telnet localhost 46658 Trying 127.0.0.1... Connected to localhost. Escape character is '^]

生产常用Spark累加器剖析之四

生产常用Spark累加器剖析之四现象描述 val acc = sc.accumulator(0, "Error Accumulator") val data = sc.parallelize(1 to 10) val newData = data.map(x => { if (x % 2 == 0) { accum += 1 } }) newData.count acc.value newData.foreach(println) acc.value 上述现象,会造成acc.v

关于网络配置和系统服务的一些问题:PPPOE ERROR 711 Repair Tool

1 ::请勿随意修改此文件,以避免不可预知的错误 [email protected]@2015/10/31 2 3 @echo off 4 color 0A 5 setlocal enabledelayedexpansion 6 title PPPOE 711错误修复工具 Made by [email protected]com 7 8 echo 如有任何问题请与 [email protected] 联系 & echo. 9 set /p flag=继续?(y/n) : 10 if /i %f