给pyspark 设置新的环境

如果是从pysparkshell里面进去，此时已经有了pyspark环境了，所以要加一个：sc.stop()

from pyspark import SparkContext, SparkConf
sc.stop()
conf = SparkConf()
conf.setAppName(‘zhangb‘)
#conf.set("spark.kryoserializer.buffer.mb", "128")
conf.set("spark.kryoserializer.buffer", "128k")
conf.set("spark.kryoserializer.buffer.max", "256m")
sc = SparkContext(conf=conf)

如果提交脚本上去，此时还没有pyspark环境，所以不用sc.stop()，直接创建环境参数。但是可能需要在程序结束后加上sc.stop()

from pyspark import SparkContext, SparkConf
conf = SparkConf()
conf.setAppName(‘zhangb‘)
#conf.set("spark.kryoserializer.buffer.mb", "128")
conf.set("spark.kryoserializer.buffer", "128k")
conf.set("spark.kryoserializer.buffer.max", "256m")
sc = SparkContext(conf=conf)

#===代码

#......

#=====代码

sc.stop()

时间： 2024-10-26 22:52:32

给pyspark 设置新的环境的相关文章

把当前目录添加到新的环境变量中

@echo off rem 把当前运行的目录添加到系统环境变量里面 rem 环境win7_64 2014/7/29 rem 获得当前目录 set fileName=%0 set fileDir=%fileName:~1,-12% rem 查询注册表中对应的环境变量 for /f "tokens=3*" %%i in ('reg query HKEY_CURRENT_USER\Environment /v path') do @set oldPath=%%i rem 如果环境变量没有定义

Linux设置和查看环境变量的方法

1. 显示环境变量HOME $ echo $HOME /home/redbooks 2. 设置一个新的环境变量hello $ export HELLO="Hello!" $ echo $HELLO Hello! 3. 使用env命令显示所有的环境变量 $ env HOSTNAME=redbooks.safe.org PVM_RSH=/usr/bin/rsh Shell=/bin/bash TERM=xterm HISTSIZE=1000 ... 4. 使用set命令显示所有本地定义的S

【转】Linux设置和查看环境变量的方法

转: http://www.jb51.net/LINUXjishu/77524.html 1. 显示环境变量HOME $ echo $HOME /home/redbooks 2. 设置一个新的环境变量hello $ export HELLO="Hello!" $ echo $HELLO Hello! 3. 使用env命令显示所有的环境变量 $ env HOSTNAME=redbooks.safe.org PVM_RSH=/usr/bin/rsh Shell=/bin/bash TERM

Ubuntu 桌面设置之网络环境的设置

Ubuntu 桌面设置之网络环境的设置 由于无线技术的扩展,很多情况下,并不依赖于有线环境的联通而能实现大家对网络的需求,比如在图书馆,在实验室,在飞机场,星巴克等等.尽管有很多时候,都可以使用系统的默认设置,但是,更多时候,需要自己手动设置,甚至需要修改一下配置文件. 在我们实验室的网络环境下,是4台无线路由进行无缝连接,其中一台路由转发信号,构建了3个子网.由于廉价路由的通性,获取不到IP,连接不上ROUNTER的情况时有发生,所以,有必要对客户端的电脑进行设置,在WIN下面,可以说是极为简

如何设置Java开发环境

傻瓜式 设置Java开发环境 跟我来. 对与win7操作系统.有两种方法. 第一种: 1.下载JDK,完成安装. 2.右键我的电脑,选择属性,在左边找到高级系统设置左键单击打开,在高级选项中找到 环境变量,单击打开. 3.在系统变量中找到path这个变量,然后在后面加个英文符号的  ;   ,然后在后面写上你安装jdk的路径(一定是JDK的路径,JRE是不行的),到bin结束. 4.再在系统变量中添加一个classpath的变量,值给一个英文的   .   ,就OK了. 5.在开始菜单运行cmd

Ubuntu 14.04 设置Android开发环境

伸展树模版真的好长好长... cut a b c:把第a-1个数伸展到根节点,把第b+1个数伸展到a的右子树,然后把ch[ch[root][1][0]]拿掉,放在剩下的树的第c个节点下. flip a b:把第a-1个数伸展到根节点,把第b+1个数伸展到a的右子树,然后翻转ch[ch[root][1][0]]: 由于会出现操作两边的情况,所以加了两个-1节点. 注意: 1,输出的时候要注意空格和换行. 2,在拿掉子树的时候要注意push_up(); #include<stdio.h> #inc

Sublime Text3 快捷键汇总及设置快捷键配置环境变量

@Sublime Text3 快捷键汇总及设置快捷键配置环境变量 注册码如下: —– BEGIN LICENSE —– Andrew Weber Single User License EA7E-855605 813A03DD 5E4AD9E6 6C0EEB94 BC99798F 942194A6 02396E98 E62C9979 4BB979FE 91424C9D A45400BF F6747D88 2FB88078 90F5CC94 1CDC92DC 8457107A F151657B 1

Windows下设置Oracle10g的环境变量

Windows下设置Oracle10g的环境变量 Windows安装Oracle10g,每次启动em服务,也就是在cmd命令行窗口输入emctl start dbconsole,总是提示"Environment variable ORACLE_SID not defined.Please define it."如下图所示: 后来查阅Oracle官方文档得知,虽然Oracle安装成功了,但是环境变量没有定义,于是每次启动em都会提示定义ORACLE_SID环境变量.Oracle的环境变量

我的编程之路(二十) 新的环境、新的开始

被其他项目组借用了三个星期,这周终于要给自己的项目组干活了,之前就听同事说过省厅,这次终于要去了,有点激动哈: 1.挤公交 星期二跟着同事一起去省厅,那个公交呀,真是挤呀,以前还庆幸自己上班不用挤公交呢,唉~~~看来这一个多月都要重复着早上7点20起床,7点50挤半个多小时公交的生活了~~~ 2.同事 还记得刚来公司的时候,强哥就跟我说,zqq(一个女生)就做的很好,对自己要求很高,一直在省厅那边,上次我们项目组聚会,第一次见到本人,也见到不少其他同事,那次还自己把自己灌醉了,幸亏宝强哥把我送了