Conda 搭建jupyter notebook + pyspark

python3.6不支持pyspark, 好在用的是Anaconda这种神器，可以随意切换python版本。因为我的Spark是1.6的，所以python2.7应该是可以的。

首先

conda create -n py27 python=2.7 anacondasource activate py27 
conda install python=2.7首就将当前的python环境切换到了2.7， 然后修改

/usr/local/share/jupyter/kernels/pyspark/kernel.json

{
"display_name": "PySpark",
"language": "python",
"argv": [ "/home/.../anaconda3/envs/py27/bin/python", "-m", "ipykernel", "-f", "{connection_file}" ],
"env": {
"SPARK_HOME": "/.../spark/spark-1.6.0-bin-hadoop2.6/",
"PYSPARK_PYTHON": "/.../anaconda3/envs/py27/bin/python",
"PYSPARK_DRIVER_PYTHON": "ipython2",                       
"PYTHONPATH": "/.../spark/spark-1.6.0-bin-hadoop2.6/python/:/.../spark/spark-1.6.0-bin-hadoop2.6/python/lib/py4j-0.9-src.zip",
"PYTHONSTARTUP": "/.../spark/spark-1.6.0-bin-hadoop2.6/python/pyspark/shell.py",
"PYSPARK_SUBMIT_ARGS": "--name pyspark --master yarn --deploy-mode client --conf spark.executor.instances=8 --conf spark.executor.memory=5g --conf spark.driver.memory=8g --conf spark.sql.caseSensitive=false --conf spark.yarn.queue=queue1 pyspark-shell"
}
}

注意该文件路径不要改，会有程序到这个路径直接读取。

为了确保不会跑到别的python上去，将PATH变量也修改一下：export PATH=/.../anaconda3/envs/py27/bin/python:$PATH

时间： 2024-11-06 15:21:15

Conda 搭建jupyter notebook + pyspark的相关文章

在服务器搭建Jupyter notebook

安装 Jupyter Notebook (这里虽然是对centos和Python2的,但是在Ubuntu16.04,Python3同样可以照着弄) Jupyter Notebook 简介 Jupyter Notebook 是一个开源的 Web 应用程序,可以用来创建和共享包含动态代码.方程式.可视化及解释性文本的文档. 其应用于包括:数据整理与转换,数值模拟,统计建模,机器学习等等. 更多信息请见 官网 . 检查 Python 环境 CentOS 7.2 中默认集成了 Python 2.7,可以

服务器上搭建jupyter notebook

参考:https://zhuanlan.zhihu.com/p/44405596 https://blog.csdn.net/cvMat/article/details/79351420 遇到的问题 1.KeyError: 'allow_remote_access' 添加:c.NotebookApp.allow_remote_access = True 2.最后从浏览器中输入的登录密码,是输入转换为密钥时的密码 原文地址:https://www.cnblogs.com/573177885qq/p

jupyter Notebook环境搭建

1.什么是jupyter notebook jupyter notebook是一种 Web 应用,能让用户将说明文本.数学方程.代码和可视化内容全部组合到一个易于共享的文档中.它可以直接在代码旁写出叙述性文档,而不是另外编写单独的文档.也就是它可以能将代码.文档等这一切集中到一处,让用户一目了然. Jupyter这个名字是它要服务的三种语言的缩写:Julia,PYThon和R,这个名字与"木星(jupiter)"谐音.Jupyter Notebook 已迅速成为数据分析,机器学习的必备

Jupyter notebook 安装

首先进入上节创建的环境data中, 键入 conda install jupyter notebook 安装完毕后,启动服务器: jupyter notebook, 浏览器会显示当前目录界面 如果要关闭,在data中按两次 Ctrl + C,就可以关闭整个服务器了 现在随便增加一个python文件,运行效果如下: 一些常用的快捷键等,请查看文档 http://ipython.readthedocs.io/en/stable/interactive/magics.html

jupyter notebook直接打开.md格式的文件

jupyter notebook是一个比较比较不错的网页版python编辑器,但是,由于很多"技术文档"都是直接以markdown(.md格式的文件)的格式编写的,而且jupyter notebook的代码文件(.ipynb)也可以转换成.md格式的文件,更为重要的是,我们从github上下载的很多学习资料也都是.md文件格式的.因此,为了能够在jupyter notebook上实现: 使用jupyter notebook浏览技术文档: 将转换成.md格式的python代码在不用转换格

Jupyter Notebook: 解决build docker-stacks时conda太慢的问题

当想使用docker安装Jupyter Notebook时,有一个很好的项目是docker-stacks(https://github.com/jupyter/docker-stacks/tree/master/scipy-notebook),但遗憾的是在安装scipy-notebook等项目时,老是遇到conda超时的问题. 要解决这个问题,可以在Dockfile里,conda install命令的前面,加上如下命令: RUN conda config --add channels https

pyspark 中启动 jupyter notebook

还是打算选择python学习spark编程 因为java写函数式比较复杂,scala学习曲线比较陡峭,而且sbt和eclipse和maven的结合实在是让人崩溃,经常找不到主类去执行 python以前没用过但是名声在外,可以很方便的进行数据处理 在eclipse中集成pydev插件去编写python程序已经学习过了 今天使用了一下anaconda集成一起的python开发环境,感觉很不错 尤其是ipython notebook或者称为jupyter notebook很方便的进行可视化 但是如何在

搭建Python3的jupyter notebook服务器

摘要:搭建Python3 jupyter notebook. 激活Python3后,进入Python交互环境 1. 登陆远程服务器 2. 生成配置文件 1. $jupyter notebook --generate-config 3. 生成密码 打开ipython,创建一个密文的密码: 1. In [1]: from notebook.auth import passwd 2. In [2]: passwd() 3. Enter password: 4. Verify password: 5. 

解决不能再jupyter notebook中使用tensorflow

在搭建cuda + Anaconda + tensorflow的开发环境时,在虚拟环境中的jupyter notebook启动后无法导入tensorflow.具体解决方案如下: 1.首先在虚拟环境中安装ipython和jupyter,可以用conda安装,也可以用pip安装 pip install ipython pip install jupyter 2.执行下面的命令(不知道为什么) ipython kernelspec install-self --user 3. mkdir -p ~/.