hadoop本地开发环境搭建

1：下载hadoop2.7.3并解压

2：配置hadoop2.7.3环境变量
HADOOP_HOME
%HADOOP_HOME%\bin

3：下载hadoop-eclipse-plugin插件

网址：https://github.com/winghc/hadoop2x-eclipse-plugin

4：添加hadoop.dll和winutils.exe到hadoop解压目录的bin目录下面
hadoop.dll和winutils.exe 在hadoop-eclipse-plugin目录里面

5：将hadoop-eclipse-plugin-2.7.3.jar拷贝到eclipse的plugin目录中

6：在eclipse里面配置hadoop的安装目录


7：配置eclipse的DFS location

　　window--->> preferences--->> hadoop Map/Reduce

8:配置hadoop集群的信息

hdfs-site.xml
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>

1：所需工具
1）hadoop2.7.3安装包
2）hadoop-eclipse-plugin插件
https://github.com/winghc/hadoop2x-eclipse-plugin

原文地址：https://www.cnblogs.com/zhoufly-blog/p/10067837.html

时间： 2024-10-10 13:31:38

hadoop本地开发环境搭建的相关文章

spark-windows（含eclipse配置）下本地开发环境搭建

spark-windows(含eclipse配置)下本地开发环境搭建   >>>>>>注意:这里忽略JDK的安装,JDK要求是1.8及以上版本,请通过 java  –version查看. 一.spark命令行环境搭建 Step1:安装Spark 到官网http://spark.apache.org/downloads.html选择相应版本,下载安装包.我这里下的是2.1.3版本,后面安装的Hadoop版本需要跟Spark版本对应.下载后找个合适的文件夹解压即可.这里新建

Storm使用入门之本地开发环境搭建

本篇博文详细告诉你如何安装Storm的本地开发环境,总体分为两步,具体如下: 1.从官网上下载Storm的发布包,下载完成后将其解压,并将解压后的bin目录添加到环境变量(PATH)中,以方便后续执行Storm的相关命令 2.修改Storm的配置文件(storm.yaml),主要是按照实际情况更新配置文件中的集群信息,然后将修改后的配置文件添加到目录(~/.storm/)中,目的是为了后续能够远程启动和停止集群上的计算任务(即topology) 接下来,咱们来详细地介绍每一个操作步骤. 首先,何

windows 7使用eclipse下hadoop应用开发环境搭建

因为一些缘故,这节内容到现在才写,其实弄hadoop有一段时间了,可以编写一些小程序了,今天来还是来说说环境的搭建.... 说明一下:这篇文章的步骤是接上一篇的hadoop文章的:http://blog.csdn.net/enson16855/article/details/37725771 ,如果不是按照上篇的方式安装hadoop,可能会有些错误~百度一下就能解决的哈~ 准备环境: 不用多说了,我用eclipse版本是最新JavaEE版本,叫什么LUA Kepler,本来是用Juno的,因为操

(转)Hadoop Eclipse开发环境搭建

来源:http://www.cnblogs.com/justinzhang/p/4261851.html This document is from my evernote, when I was still at baidu, I have a complete hadoop development/Debug environment. But at that time, I was tired of writing blogs. It costs me two day’s spare tim

Hadoop Eclipse开发环境搭建

    This document is from my evernote, when I was still at baidu, I have a complete hadoop development/Debug environment. But at that time, I was tired of writing blogs. It costs me two day's spare time to recovery from where I was stoped. Hope the b

Hadoop项目开发环境搭建（Eclipse\MyEclipse + Maven）

写在前面的话 可详细参考,一定得去看 HBase 开发环境搭建(Eclipse\MyEclipse + Maven) Zookeeper项目开发环境搭建(Eclipse\MyEclipse + Maven) Hive项目开发环境搭建(Eclipse\MyEclipse + Maven) MapReduce 开发环境搭建(Eclipse\MyEclipse + Maven) 我这里,相信,能看此博客的朋友,想必是有一定基础的了.我前期写了大量的基础性博文.可以去补下基础. 步骤一:File  ->

eclipse+maven搭建hadoop本地开发环境

我们的目的是搭建一个可以在任何地方使用的hadoop开发环境. 创建maven项目 创建一个maven项目,什么类型的项目以自己需求,在pom.xml中引入hadoop依赖. 引入hadoop配置文件 copy hadoop的配置文件到src/main/resources文件中,只考有用的就行,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml等. 设置环境变量 hadoop的配置文件夹中的配置文件可以分为两类,一类是xml(.pr

Hadoop基本开发环境搭建（原创，已实践）

软件包: hadoop-2.7.2.tar.gz hadoop-eclipse-plugin-2.7.2.jar hadoop-common-2.7.1-bin.zip eclipse 准备环境: 安装Hadoop,安装步骤参见Hadoop安装章节. 安装eclipse. 搭建过程如下: 1. 将hadoop-eclipse-plugin-2.7.2.jar拷贝到eclipse/dropins目录下. 2. 解压hadoop-2.7.2.tar.gz到E盘下. 3. 下载或者编译hadoop-c

【hadoop之翊】——windows 7使用eclipse下hadoop应用开发环境搭建

由于一些缘故,这节内容到如今才写.事实上弄hadoop有一段时间了,能够编写一些小程序了,今天来还是来说说环境的搭建.... 说明一下:这篇文章的步骤是接上一篇的hadoop文章的:http://blog.csdn.net/enson16855/article/details/37725771 ,假设不是依照上篇的方式安装hadoop,可能会有些错误~百度一下就能解决的哈~ 准备环境: 不用多说了,我用eclipse版本号是最新JavaEE版本号.叫什么LUA Kepler,本来是用Juno的,