第一个在Python 环境中开发的Spark应用示例

# -*- coding:utf-8 -*-
‘‘‘
1, 从网站上下载spark
2, py4j和pyspark这两个库放到Python环境中，
‘‘‘
import os
os.environ[‘SPARK_HOME‘] = r‘E:\Dev\spark-1.4.0-bin-hadoop2.6‘
from pyspark import SparkContext, SparkConf

appName ="jhl_spark_1" #你的应用程序名称
#Master URLs， 参见http://spark.apache.org/docs/latest/submitting-applications.html#master-urls
master= "local" 
conf = SparkConf().setAppName(appName).setMaster(master)
sc = SparkContext(conf=conf)

data = [1, 2, 3, 4, 5]
distData = sc.parallelize(data)
res = distData.reduce(lambda a, b: a + b)
print (res)

时间： 2024-12-25 09:04:27

第一个在Python 环境中开发的Spark应用示例的相关文章

python环境中运行程序

运行Python程序,我们比较常用的是直接在Windows命令提示窗口或者Linux终端或shell窗口中,直接:Python *.py,或者在Linux环境下,在投不中,加入: #!/usr/bin/env python 然后 ./*.py 直接运行但是进入Python后,该怎么运行呢? 这里就简单介绍一下,这里先简单介绍下os的部分功能. import os; #在Python环境中,引入环境,是必须的:具体可以查看Python中的os os.getcwd(); #得到当前工作目录 os.

【新书推荐】《ASP.NET Core微服务实战：在云环境中开发、测试和部署跨平台服务》带你走近微服务开发

<ASP.NET Core 微服务实战>译者序:https://blog.jijiechen.com/post/aspnetcore-microservices-preface-by-translator/ "微服务"的概念在 2014 年正式提出之后,越来越多的团队开始用它来设计自己的业务系统,各种微服务框架和开发过程管理方法也同时兴起.不断成熟.微服务设计方法清晰地定义了各个开发团队的业务边界,微服务框架以不同的方式实现了服务之间的协作与集成,根据康威定律我们可以推导这

确定当前Python环境中的site-packages目录位置

How to find the site-packages folder in Python? 在Mac OS或者Linux中比较有用,因为这些系统一般都同时安装了多个版本.尤其是Mac OS 10.5,目录结构太乱了在python环境中: from distutils.sysconfig import get_python_lib print get_python_lib() 或者,直接命令行: python -c "from distutils.sysconfig import get_p

Linux搭建python环境中cx_Oracle模块安装遇到的问题与解决方法

安装或使用cx_Oracle时,需要用到Oracel的链接库,如libclntsh.so.11.1,否则会有各种各样的错误信息. 安装Oracle Instant Client就可得到这个链接库,避免安装几百兆之巨的Oracle Client. 软件下载地址: cx_Oracle的主页:http://cx-oracle.sourceforge.net/ 必需的Oracle链接库的下载地址: 常见的错误和解决方法: 一.win32二进制安装在windows下安装cx_Oracle-5.0-11g

整型数据在不同Python环境中的差异

整型数据在Python3中是没有大小和范围的限制 1 num = 10**100 #表示 10 的 100 次方 2 print(num) 此时输出为正确的答案,10的100次方,即在Python3中,整型是不会溢出的整型数据在Python2中是有范围的限制 1 num = 10**100 2 print(num) 此时输出为一个错误答案(数据最后一位为 L ),即在Python2中,整型数据过大会溢出原文地址:https://www.cnblogs.com/ztao4802/p/10080

python运维开发(十七)----jQuery续(示例)web框架django

内容目录: jQuery示例前端插件 web框架 Django框架 jQuery示例 dom事件绑定 jQuery事件绑定 jQuery循环break jQuery扩展方法 jQuery自定义扩展的方法 jquery扩展实现基本验证支持是否为空长度正则表达式定义正则表达式 reg = /正则表达式/ ***** g i m ==> 特殊利用正则匹配 reg.test(字符串) ***** reg.exec(字符串) 全局非全局字符串三个方法: search match replac

PostgreSQL环境中查看SQL执行计划示例

explain analyze ,format,buffers, format :TEXT, XML, JSON, or YAML. EXPLAIN (ANALYZE,buffers,format yaml) SELECT first_name FROM customer_master WHERE first_name = 'Carolee';

python配置虚拟开发环境

问题有的时候开发不同的业务,所需要的环境不一样.一直在同一个环境中开发时候,不同的包版本升级可能会导致另外的业务不能正常工作.另外,有的github上的项目需要的开发环境与你使用的环境不同,冒然的按照它的requirements安装相应的包会产生类似的问题.一般而言,针对这种情况,对不同的业务,如果是存在依赖包存在版本升降级问题,常规的办法是对不同的业务创建不同的虚拟环境,在各个业务下,先进入虚拟环境,然后需要那种依赖包再进行安装,这样就不会产生版本不一样,或者版本升级导致的其它业务不能正常工

PyCharm+cmd中使用Anaconda 与新建Python环境（Windows）

PyCharm配置Anaconda Anaconda的安装在网上已经有了,这里主要讲之前已经安装了已经配置好Python环境变量以及PyCharm的情况下,使用Anaconda. 即在PyCharm中出现了“ModuleNotFoundError No module named 'requests'”错误在已经配置好PyCharm的情况下,我们要使用Anaconda,需要将原来的编译器(删去),环境可以更换也可以就用原来的. 在PyCharm左上角File(文件)中点击setting(设置)=