apache-spark导入eclipse环境

工作中用到了apache-spark,想深入了解一下,决定从源码开始。

先导入到常用的ide,eclipse吧:

准备工作

 1.  下载Eclipse:http://scala-ide.org/

 2.  从github上下载源码:https://github.com/apache/spark

第一个实验品是Spark-Core项目

  1. exist maven project 导入Eclipse

  2. Eclipse自动导入依赖,这个过程时间较长,请等待

  完成后,发现报错:

  spark build path is cross-compiled with an incompatible version of Scala (2.10.0)。。。

  原因:版本不一致

  • Scala IDE uses Scala 2.11.7
  • Apache Spark built with Scala 2.10

解决方法:

  选中scala libary container [2.11.7],点击右键,选中属性--->classpath container -->2.10 bundle.

  此时重新编译,编译完成ok,没有报错。

参考文献:

【1】https://cwiki.apache.org/confluence/display/SPARK/Useful+Developer+Tools#UsefulDeveloperTools-IDESetup

【2】http://stackoverflow.com/questions/34507966/spark-build-path-is-cross-compiled-with-an-incompatible-version-of-scala-2-10-0

【3】http://blog.csdn.net/yunlong34574/article/details/39213503

时间: 2024-12-15 12:43:39

apache-spark导入eclipse环境的相关文章

Win7 Eclipse 搭建spark java1.8环境:WordCount helloworld例子

[学习笔记] Win7 Eclipse 搭建spark java1.8环境:WordCount helloworld例子在eclipse oxygen上创建一个普通的java项目,然后把spark-assembly-1.6.1-hadoop2.6.0.jar这个包导进工程就ok了.只要启动start-dfs,下面的程序就可以运行了. package com;import java.util.Arrays;import java.util.List;import org.apache.spark.

Apache Spark源码走读之12 -- Hive on Spark运行环境搭建

欢迎转载,转载请注明出处,徽沪一郎. 楔子 Hive是基于Hadoop的开源数据仓库工具,提供了类似于SQL的HiveQL语言,使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析.由于这一特性而收到广泛的欢迎. Hive的整体框架中有一个重要的模块是执行模块,这一部分是用Hadoop中MapReduce计算框架来实现,因而在处理速度上不是非常令人满意.由于Spark出色的处理速度,有人已经成功将HiveQL的执行利用Spark来运行,这就是已经非常

Windows下基于eclipse的Spark应用开发环境搭建

原创文章,转载请注明: 转载自www.cnblogs.com/tovin/p/3822985.html 一.软件下载 maven下载安装 :http://10.100.209.243/share/soft/apache-maven-3.2.1-bin.zip       jdk下载安装:          http://10.100.209.243/share/soft/jdk-7u60-windows-i586.exe(32位)         http://10.100.209.243/sh

Apache Spark技术实战之4 -- 利用Spark将json文件导入Cassandra

欢迎转载,转载请注明出处. 概要 本文简要介绍如何使用spark-cassandra-connector将json文件导入到cassandra数据库,这是一个使用spark的综合性示例. 前提条件 假设已经阅读技术实战之3,并安装了如下软件 jdk scala sbt cassandra spark-cassandra-connector 实验目的 将存在于json文件中的数据导入到cassandra数据库,目前由cassandra提供的官方工具是json2sstable,由于对cassandr

idea导入eclipse项目,tomcat启动报错org.apache.catalina.deploy.WebXml addFilter

问题: idea导入eclipse项目,tomcat启动时,报错:org.apache.catalina.deploy.WebXml addFilter 解决办法: 找到tomcat下conf文件夹下的content.xml,在<Context></Context>中添加 <Loader delegate="true"/> 原因分析: <Loader delegate="true"/>True,表示tomcat将遵循J

spark在eclipse下V2-02逐个运行spark-examples

逐个运行例子,查看结果 举例说明HADOOP_HOME环境变量 org.apache.spark.examples.sql.hive.JavaSparkHiveExample 修改Run Configuration,添加Env HADOOP_HOME=${HADOOP_HOME} 运行Java 类.hive例子用完,要删掉metastore_db目录. 下面用简单的方法逐个运行 eclipse ->File->Import->Run/Debug Launch Configuration

Apache Spark源码走读之13 -- hiveql on spark实现详解

欢迎转载,转载请注明出处,徽沪一郎 概要 在新近发布的spark 1.0中新加了sql的模块,更为引人注意的是对hive中的hiveql也提供了良好的支持,作为一个源码分析控,了解一下spark是如何完成对hql的支持是一件非常有趣的事情. Hive简介 Hive的由来 以下部分摘自Hadoop definite guide中的Hive一章 "Hive由Facebook出品,其设计之初目的是让精通SQL技能的分析师能够对Facebook存放在HDFS上的大规模数据集进行分析和查询. Hive大大

开源项目导入eclipse的一般步骤[转]

下载到开源项目后,我们还是希望导入到eclipse中还看,这样要方便点,一般的步骤是这样的 打开源代码目录, 如果看到里面有.calsspath .project文件,那么说明这个项目本来就是eclipse开发的,那么在eclipse中->文件->导入->已存在的项目 如果看到你们有build.xml, 那么说明这个项目是ant构建的,参考下面的"关于导入ant项目" 如果看到里面有pom.xml文件,那么说明这个项目是由Maven构建的,参考下面的"关于导

使用maven编译dubbo,导入eclipse

使用maven编译dubbo,导入eclipse(其他maven开源项目编译类似) maven构建的项目,会有很多子项目,这时候我们下载的源码不能直接导入myclipse使用,这时候需要使用mvn命令重新编译项目1.安装maven软件可以从apache下载:http://maven.apache.org/download.cgi解压后配置环境变量 2.编译安装在项目根目录,如dubbo的项目根目录下执行: mvn install -Dmaven.test.skip=true 3.创建eclips