eclipse+hadoop环境搭建

操作系统: windows

hadoop 2.7.4      namenode:192.168.233.135      datanode: 192.168.233.134/131

1.下载hadoop-eclipse-plugin-xxx.jar(https://github.com/winghc/hadoop2x-eclipse-plugin), 解压到eclipse的安装目录下plugins文件夹下

2. 下载hadoop, 解压到指定目录下, 设置环境变量HADOOP_HOME, 并追加至Path环境变量, 在命令行中输入hadoop, 验证hadoop是否安装正确

3. 下载hadoop.dll 和 winutils, 解压至hadoop安装目录的bin目录下

4. 重启eclipse, windows->prefrence会出现hadoop, 设置hadoop安装路径。并选择map/reduce

注意,有时会出现eclipse重启, hadoop插件未出现的情况, 是因为eclipse只记住了历史的插件记录, 而没有更新新增的插件,按以下步骤执行方可解决:

1)删除eclipse安装路径configuration目录下org.eclipse.update文件夹

2)eclipse -clean 重启eclipse

5.设置dfs location

然后就可以看到hdfs的文件了。

6, 添加用户权限, 本机windows用户为xxxx, hadoop集群上没有该用户,所以该用户属于other组, 具备权限比较下, 在hdfs创建xxx用户的家目录, 并chown, 就可以通过eclipse操作远程hadoop集群了。

原文地址:https://www.cnblogs.com/lowseasonwind/p/8514525.html

时间: 2024-11-08 21:25:52

eclipse+hadoop环境搭建的相关文章

完全分布式模式的Hadoop环境搭建

一.本文说明:本次测试在五台虚拟机系统上进行完全分布式搭建.Hadoop分布式模式是在多台机器上分布式部署,配置非常类似于伪分布式,名称节点和数据节点都分布在不同的主机上,每台数据节点上都有相应的任务调度. 二.环境说明:       虚拟软件:VM10.0       操作系统:Cent Os 6.7       hadoop版本:hadoop-2.7.2       JDK版本:jdk1.8_77备注:基于独立模式基础上搭建,参考文章:独立模式的Hadoop环境搭建. 三.基本环境配置   

java+eclipse+selenium环境搭建

这几天在学selenium,大头虾的我.安装环境还是遇到了挺多问题,赶紧来记录下.不然下次又...(参考虫师的<Selenium2 Java自动化测试实战>),就随便写写加深下自己的印象. 1.安装java 访问java官网下载jdk http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载自己需要的版本,我现在使用的是jdk-8u101-windows-x64.exe java环境分JDK和JRE,JDK就是J

伪分布式模式的Hadoop环境搭建

一.本文说明:     本次测试在一台虚拟机系统上进行伪分布式搭建.Hadoop伪分布式模式是在单机上模拟Hadoop分布式,单机上的分布式并不是真正的伪分布式,而是使 用线程模拟分布式.Hadoop本身是无法区分伪分布式和分布式的,两种配置也很相似.唯一不同的地方是伪分布式是在单机器上配置,数据节点和名字节点均 是一个机器. 二.环境说明:      操作系统:Cent Os 6.7      hadoop版本:hadoop-2.7.2      JDK版本:jdk1.8_77     备注:

hadoop环境搭建之关于NAT模式静态IP的设置 ---VMware12+CentOs7

很久没有更新了,主要是没有时间,今天挤出时间验证了一下,果然还是有些问题的,不过已经解决了,就发上来吧. PS:小豆腐看仔细了哦~ 关于hadoop环境搭建,从单机模式,到伪分布式,再到完全分布式,我们这里就讨论完全分布式,关于搭建工具,有hadoop+CentOs+VMware,感觉各个版本还是有一点差异的. 随后可能会整理出一个常用版本,今天先说说VM的静态IP的设置吧: 关于VM,大家可能不陌生,目前也是windows系统搭建模拟hadoop环境的必要软件之一. 但是,由于有些人会经常改变

Nutch+hadoop环境搭建

以前搭建环境或是配置软件从来都没有留Tips的习惯,但实践证明这是错误的--做过不等于记得怎么做,遇到过的错误也不等于今后就不是错误了.Nutch跟Hadoop的搭建困扰了我很久,但回头看看又觉得真正有些问题的其实就几个关键点,所以觉得花些时间写个简单流程,缅怀一下最近的探索,也希望能给想要搭建Nutch或hadoop的同学提供一些帮助.欢迎大家指正. 想要说明一下的是,虽然说hadoop诞生于nutch,但现在hadoop已经完全独立为一个分布式框架,我们可以简 单地理解为nutch只是跑在h

Hadoop HA + HBase环境搭建(一)————zookeeper和hadoop环境搭建

版本信息: Hadoop 2.6.3 HBase 1.0.3 JDK 1.8 Zookeeper 3.4.9 集群信息: RDFMaster 192.168.0.41 (Hadoop主节点,zk节点,HBase主节点) RDFSlave01 192.168.0.42 (Hadoop备份主节点,从节点,zk节点,HBase的RegionServer) RDFSlave02 192.168.0.43 (从节点,zk节点,HBase的RegionServer) RDFSlave03 192.168.0

Python基础(1)python+Eclipse+pydev环境搭建

编辑器:Python 自带的 IDLEPython基础(1)python+Eclipse+pydev环境搭建

NS3系列——eclipse + NS3环境搭建

1. 安装NS3 (1)在 ubuntu12.04 中安装 ns3.20,首先要安装一下各种依赖软件: sudo apt-get install gcc g++ pythonsudo apt-get install python-devsudo apt-get install mercurialsudo apt-get install bzrsudo apt-get install gdb valgrindsudo apt-get install gsl-bin libgsl0-dev libg

Android自动化第一篇:Mac下的Eclipse+Pydev 环境搭建

开始了我的自动化之路 首先安装环境,参考下文 转自 http://www.51testing.com/html/46/n-848346.html http://www.51testing.com/html/46/n-848346-2.html 安装时出现问题解决: Mac环境下eclipse插件pydev安装失败的解决办法 1. 打开eclipse2. 选择install new software3. 输入pydev, http://pydev.org/updates/4. 根据向导安装5. 重