Win7 Eclipse 搭建spark java1.8环境:WordCount helloworld例子

[学习笔记]

Win7 Eclipse 搭建spark java1.8环境:WordCount helloworld例子
在eclipse oxygen上创建一个普通的java项目,然后把spark-assembly-1.6.1-hadoop2.6.0.jar这个包导进工程就ok了。只要启动start-dfs,下面的程序就可以运行了。

package com;
import java.util.Arrays;
import java.util.List;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.api.java.function.VoidFunction;
import scala.Tuple2;

public class WordCount1 {
    public static void main(String[] args) {
        SparkConf conf = new SparkConf().setMaster("local").setAppName("wc");

文章转载自原文:https://blog.csdn.net/qq_44596980/article/details/93384785

原文地址:https://www.cnblogs.com/haima1949/p/11293712.html

时间: 2024-10-20 22:36:06

Win7 Eclipse 搭建spark java1.8环境:WordCount helloworld例子的相关文章

Windows下基于eclipse的Spark应用开发环境搭建

原创文章,转载请注明: 转载自www.cnblogs.com/tovin/p/3822985.html 一.软件下载 maven下载安装 :http://10.100.209.243/share/soft/apache-maven-3.2.1-bin.zip       jdk下载安装:          http://10.100.209.243/share/soft/jdk-7u60-windows-i586.exe(32位)         http://10.100.209.243/sh

在Win7中用Eclipse搭建C/C++开发环境

很多朋友都在用Eclipse做Java或则Android开发,让我们看看如何用Eclipse搭建C/C++开发环境. 有三样东西我们要准备:         第一,Java运行环境(Java Runtime Environment):         第二,自不必说当然是Eclipse for C/C++:         第三,我们需要用到的gcc编译器(GNU Compiler gcc 4.9.1). Java运行环境(Java Runtime Environment)的搭建和Eclipse

Win7下搭建安卓android开发环境

本文出自 "孤狼" 博客,请务必保留此出处http://332374363.blog.51cto.com/5262696/1310882 另外,在搭建android开发环境时,还参考了http://www.apkbus.com/android-641-1-1.html 参考了:http://wenku.baidu.com/view/6108ac19b7360b4c2f3f6406.html 一.假设你现在什么都没有,那么你需要下载以下的东西: 1.JDK(JavaDevelopment

Win7下搭建JAVA并行开发环境MPJ Express(PART3)

在前面的两个PART中,我们分别搭建了并行开发环境,并小试牛刀实践了简单的并行开发. Win7下搭建JAVA并行开发环境MPJ Express(PART1) http://baimafujinji.blog.51cto.com/907111/1629153 Win7下搭建JAVA并行开发环境MPJ Express(PART2) http://baimafujinji.blog.51cto.com/907111/1629176 当然在这个过程中,出现这样或那样的问题是在所难免的,这一部分我们就来讨

Eclipse 下搭建pyDev python开发环境及helloworld

一,安装基础环境 1,安装jdk7,并配置环境变量(pyDev要求jdk7及以上版本,否则安装好也不显示) 2,下载Eclipse并解压 3,安装python3.X 二,Eclipse下配置pyDev 1,安装插件:help -> Install new Software.. ->输入PyDev Update Site - http://pydev.org/updates 然后下一步.同意等等. 2,配置python编译器:Window -> perferences -> pyDe

使用Eclipse搭建C/C++开发环境(转)

使用Eclipse搭建C/C++开发环境 文章出自:http://www.cnblogs.com/liuxianan/archive/2013/01/15/2861196.html 说明:网上有很多类似教程,但基本上都是很老版本的Eclipse,新版的Eclipse变化太多,网上很多教程都是错误或者多余的,所以特写此教程避免更多人走弯路. 软件准备:JDK_v1.6,Eclipse_v3.7[集成开发环境],cdt-master-8.0.2[开发C/C++必须的插件],MinGW_v5.1.6[

使用Eclipse搭建Android的开发环境

花了大概几天的时间终于搭建好了开发Android的环境了! 我是使用Eclipse +ADT顺利地搭建Android开发环境的. 现在Google以及Android的官网被屏蔽,想下载ADT都不行了.好在以前开发Qtfor Android的时候下载了Android的SDK.NDK以及JDK,这回只需要安装Eclipse以及ADT就行了.ADT没办法从网上下载,那么只好看看国内有没有人分享一下ADT了.于是我找到了ADT-22.6.2,再安装在最新的Eclipse4.3.2,测试了很久,终于好了.

Win7下搭建Go语言开发环境

Win7下搭建Go语言开发环境 1 下载适合window版本的Go安装包,下载地址http://code.google.com/p/go/downloads/list 2 下载适合window本本的LiteIDE,下载后解压即可使用 下载地址http://code.google.com/p/golangide/downloads/list 3 解压下载的Go安装包,开始配置环境变量 4 新建一个名为GOROOT的环境变量 5 在系统的Path环境变量中添加go的bin目录 6 打开LiteIDE

最新Eclipse搭建C/C++开发环境

windows下基于Eclipse搭建c/c++开发环境 https://blog.csdn.net/hexf9632/article/details/91546922 最新Eclipse搭建C/C++开发环境: https://blog.csdn.net/sujun10/article/details/53208050 Windows下安装GDB https://blog.csdn.net/codebattle/article/details/38868313 https://blog.csd