如何用Jupyter Notebook打开Spark

  电脑已经装了anaconda python,然后下载了spark2.1.0。因为版本太新,所以网上和书上的一些内容已经不再适用。比如关于如何使用IPython和Jupyter,教程给出的方法是用如下语句打开Spark即可进入IPython或者IPython Notebook:

IPYTHON=1 ./bin/pyspark
IPYTHON_OPTS="notebook" ./bin/pyspark

  然鹅运行以上语句后我得到的是:

Error in pyspark startup:
IPYTHON and IPYTHON_OPTS are removed in Spark 2.0+. Remove these from the environment and set PYSPARK_DRIVER_PYTHON and PYSPARK_DRIVER_PYTHON_OPTS instead.

  所以使用Jupyter打开Spark的设置方法是:

1 export PYSPARK_DRIVER_PYTHON=jupyter
2 export PYSPARK_DRIVER_PYTHON_OPTS=‘notebook‘ pyspark

  这样再打开Spark时就会自动使用Jupyter Notebook来打开Spark了。

时间: 2024-10-23 00:27:18

如何用Jupyter Notebook打开Spark的相关文章

在右键菜单中添加用Jupyter Notebook打开

在右键菜单中添加用Jupyter Notebook打开 为了把 Jupyter 的工作目录指定到某一个文件夹下,每次都要启动 CMD 终端, 然后激活 Anaconda 环境,再启动 Jupyter Notebook ,麻烦至极. 所以做了下面这个脚本,把启动 Jupyter 添加到右键菜单中,这样每次启动 Jupyter 通过点点鼠标就可以了. 新建一个文件,命名为open-with-jupyter.reg,文件编码选择gbk或gb2312不然肯能会出现乱码. 然后把下面的代码粘贴进去,保存后

【jupyter notebook】jupyter notebook无法打开/.ipynb文件也无法打开也无法新建

jupyter notebook 无法打开.ipynb文件,也无法新建.ipynb文件,报错为[sqlite3. OperationalError: database is locked] 排查问题. 先关闭这个notebook,再用terminal重新打开一个新的notebook,查看terminal的印屏traceback,发现最近的相关文件路径是…xx/nbformat/sign.py文件. 这个报错之前,就出现过notebook卡顿,逐渐打不开的问题,且报错 [OsError: Too

【动手学深度学习】Jupyter notebook中 import mxnet出错

问题描述 打开d2l-zh目录,使用jupyter notebook打开文件运行,import mxnet 出现无法导入mxnet模块的问题, 但是命令行运行是可以导入mxnet模块的. 原因: 激活环境是能够运行代码的前提. 解决方法: 在d2l-zh目录运行conda activate gluon命令,然后再打开jupyter notebook,则可以正常导入mxnet模块. 参考 1. d2l-zh-doc; 2. [动手学深度学习]中Jupyter notebook中 import mx

Anaconda下的 Jupyter Notebook 安装 多python环境

装完 Anaconda 会自带一个pyhon环境   也会自带Jupyter Notebook   可以点击开始中的Jupyter Notebook 打开 浏览器 我这里是 3.x 想要装个2.7 的 并且互相切换 如下 点击 Anaconda Prompt 进入控制台 (没配环境变量的进入 安装的根目录下) 第一 输入  conda create -n py27 python=2.7          [其中py27是你随便起的  2.7 是版本]   之后 直接输入y 第二 输入 activ

Aanconda+虚拟环境+jupyter notebook配置

windows安装Anaconda3 环境 windows10 64位 Anaconda3 5.2.0版本 windows64位 在官网下载windows版本 https://www.anaconda.com/download/#windows 安装 点击安装包,前面是选择安装路径,一步一步点击确认下来. 配置jupyter notebook 打开Windows的cmd,在cmd中输入jupyter notebook --generate-config如下图: 可以看到路径为D:\Users--

Windows下jupyter notebook 修改打开的浏览器

1. 打开cmd,输入jupyter notebook --generate-config 2. 根据返回的路径打开 C:\Users\Administrator\.jupyter\jupyter_notebook_config.py文件 3. 在文件中任意位置添加: import webbrowser webbrowser.register('2345Explorer', None, webbrowser.GenericBrowser(u'D:\\Program Files (x86)\\23

Anacoda中如何设置jupyter notebook 默认chrome 浏览器打开

1.打开anaconda prompt 2.输入如下指令 jupyter notebook --generate-config 3.显示出jupyter_notebook_config.py 文件所在目录.找到这个文件,用记事本打开 4.在 # c.NotebookApp.browser = '''' 后加入下面语句块: import webbrowser webbrowser.register("chrome",None,webbrowser.GenericBrowser(u&quo

jupyter notebook直接打开.md格式的文件

jupyter notebook是一个比较比较不错的网页版python编辑器,但是,由于很多"技术文档"都是直接以markdown(.md格式的文件)的格式编写的,而且jupyter notebook的代码文件(.ipynb)也可以转换成.md格式的文件,更为重要的是,我们从github上下载的很多学习资料也都是.md文件格式的.因此,为了能够在jupyter notebook上实现: 使用jupyter notebook浏览技术文档: 将转换成.md格式的python代码在不用转换格

WSL2 jupyter notebook 在windows主机打开

在WSL2中安装好jupyter notebook后, 使用开放连接ip,执行 jupyter notebook --ip=0.0.0.0 拷贝链接, 然后开启新的终端, ifconfig | grep 'inet' 找到最上面WSL2的ip 然后在windows浏览器中,把localhost替换为刚刚的WSL2的ip,打开链接 就可以了 原文地址:https://www.cnblogs.com/venusian/p/12593641.html