win系统下的eclipse连接和使用linux上的hadoop集群

准备工作

先在win系统的hosts文件中加入下面内容

10.61.6.164master     //hadoop集群的master节点

一、首先在eclipse上安装hadoop插件

下载hadoop-eclipse-plugin-1.1.2.jar。将其复制到eclipse 安装文件夹下的plugins,再启动eclispe。这时在eclipse的File/New/other下会看到一下的内容,证明插件成功安装

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZGh0eF93emds/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" style="border:none; max-width:100%">

二、在Window/show view/other里打开Map/Reduce Locations

打开后会有下图所看到的的窗体。点击右側的紫色小象

会弹出下图所看到的的窗体

然后配置你的连接信息:

Location name:自己能够定义为不论什么名字

Host:是你的hadoop集群的master节点的ip地址

Port:必需按上图配置,当然假设你配置hadoop集群时将默认port换了,此处则为你自己改动的port号

配置完以后会在左側文件夹栏里看到

三、配置程序执行參数(你的项目必需是mapreduce项目,而且已经加入hadoop里的全部jar包)

先在你的项目下建立一个in文件夹,并将data数据文件复制到当中,再将你的项目导出问jar文件。然后在你的项目的main函数里加入下面代码

conf.set("mapred.jar", "E://FreqItemSet.jar");//mapred.jar不能更改

右击你的项目。选择Run as/Run Configurations

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvZGh0eF93emds/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" style="border:none; max-width:100%">

点击Arguments

在里面加入上图中的内容

Lee 文件在HDFS上的存储路径<dfs_path>

in/data 输入文件(本地路径)<input>

3 项集的大小k

1 支持度阈值<spt_dg>

out 输出文件<本地路径><output>

点击ok你的项目就可以连接和使用你的hadoop集群了

时间: 2024-08-09 06:32:24

win系统下的eclipse连接和使用linux上的hadoop集群的相关文章

Win系统下用Eclipse中运行远程hadoop MapReduce程序常见错误及解决方法

一.Permission denied 1.Win系统下用Eclipse中运行远程hadoop MapReduce程序出现报错 org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=xxx, access=WRITE, inode="xxx":xxx:supergroup:rwxr-xr-x

通过win下的eclipse连接虚拟机中伪分布的hadoop进行调试

VMware虚拟机配置Ubuntu桥接方式(Bridged)使虚拟机和宿主机能互相ping通, 1.设置Bridged上网方式 Vmware菜单栏VM->settings->Network Adapter或者Ctrl+D 2.查看Bridged状态 Vmware菜单栏Edit->Virtual Network Editor 要设置成以上bridged模式,先关闭虚拟机,不关闭设置会提示只有虚拟机在power off状态才能设置,选择VMnet0,点击左下角的Restore Default

Win系统下使用命令连接MySQL数据库

方法一: 1:打开[开始]->[运行]输入[cmd]单击[确定]后出现CMD命令黑色窗口,这就是我们说的CMD命令行 2:默认进入C盘,于是我们可以进入E盘,点击回车.因为我的数据库是存放在E盘的.以我的电脑为例,方法如下:输入E:进入E盘,如下图所示: 3:在CMD命令窗口敲入命令 mysql -h localhost -u root -p 后按回车(注意这里的"-h"."-u"."-p"不能省略) 进入mysql数据库,其中"

Eclipse远程提交hadoop集群任务

文章概览: 1.前言 2.Eclipse查看远程hadoop集群文件 3.Eclipse提交远程hadoop集群任务 4.小结 1 前言 Hadoop高可用品台搭建完备后,参见<Hadoop高可用平台搭建>,下一步是在集群上跑任务,本文主要讲述Eclipse远程提交hadoop集群任务. 2 Eclipse查看远程hadoop集群文件 2.1 编译hadoop eclipse 插件 Hadoop集群文件查看可以通过webUI或hadoop Cmd,为了在Eclipse上方便增删改查集群文件,我

为什么总连不上--之在Linux系统下使用CLI连接Microsoft Azure 21V版本

前天,写了一篇在Windows系统下使用CLI连接世纪互联版Azure,好像受到了一些好评.哈哈哈,楼主作为一个不怎么会Linux的人遇到了就爱用Linux的客户,没招只能自己研究. 参考了世纪互联给的官方建议步骤,网页链接: https://www.azure.cn/documentation/articles/xplat-cli-connect 但是由于步骤太过简单我自己试了好几次才连接上. 第一种是交互式的登陆方法,到目前为止我都没登陆上过. 一直报一种错误,见截图:CERT_UNTRUS

Ubuntu系统下运行Eclipse出现找不到jre的问题的解决方法

在Ubuntu的某些版本下,比如10.10,会出现以下奇怪问题:1. 安装jdk我下载的jdk是bin格式的,直接运行解压,得到一个文件夹.这个文件夹作为jdk的安装目录,可以拷贝到任意目录.然后配置环境变量~/.bashrc,在最后添加:export JAVA_HOME=<jdk install dir>export JRE_HOME=$JAVA_HOME/jreexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH重启机器.2. 安装eclipse直接

windows系统下安装Eclipse for PHP

第一步: 如果机器上没有java运行环境,请先安装 第二步: 下载eclipse,下载地址: http://www.eclipse.org/downloads/ 选择对应版本,本人选择的是64位版本,根据机器配置下载相应版本的eclipse 解压你想要安装的目录下(然后可以做个快捷方式) 第三步: 下载PDT,下载地址:http://www.eclipse.org/pdt/downloads/ 本人下载的是All-In-One package including Eclipse 3.7.2 an

解决Ubuntu系统下 mysql 远程连接失败的问题 ERROR 2003 (HY000): Can&#39;t connect to MySQL server on &#39;xxx.xxx.xx.xx&#39; (110)

如果远程连不上mysql.cnf 里面也修改了:bind注销掉了127.0.0.1 等所有的 但是telnet xxx.xxx.xx.xx 3306 端口 不通:那么 就是防火墙的问题了 1.修改Ubuntu系统防火墙规则 [[email protected] ubuntu]#vim /etc/iptables.rules 解决Ubuntu系统下 mysql 远程连接失败的问题 ERROR 2003 (HY000): Can't connect to MySQL server on 'xxx.x

windows下在eclipse上远程连接hadoop集群调试mapreduce错误记录

第一次跑mapreduce,记录遇到的几个问题,hadoop集群是CDH版本的,但我windows本地的jar包是直接用hadoop2.6.0的版本,并没有特意找CDH版本的 1.Exception in thread "main" java.lang.NullPointerException atjava.lang.ProcessBuilder.start 下载Hadoop2以上版本时,在Hadoop2的bin目录下没有winutils.exe和hadoop.dll,网上找到对应版本