Linux中的MyEclipse配置Hadoop

一.所需软件

  注意:安装MyEclipse后,我再已安装软件里找不到MyEclipse,所以我在root权限下用命令行启动MyEclipse,貌似避免了很多权限问题。

sudo su
输入密码
cd usr/myeclipse
./myeclipse

二.步骤

  1.先把hadoop-eclipse-plugin-1.2.1.jar复制到ubuntu桌面(我的不能直接复制到MyEclipse的dropins目录下,我同学的能,真是奇怪啊),然后在进入桌面。

还是先进入root
cd
cd ..//回到根目录
cd home/hxsyl/DeskTop//找到真正的桌面
//移动文件需要在该文件的目录下
//放在dropins目录下,并不是plugins目录下,原来我以为没有plugins目录呢,才放在dropins,并不是这样
sudo mv hadoop-eclipse-plugin-1.2.1.jar /usr/myeclipse/dropins

  注意:左面有两个文件夹下的Places下直接有个桌面,但是却找不到刚复制过来的hadoop-eclipse-plugin-1.2.1.jar,Devices下有computer,然后home,然后DeskTop看到了插件,记住这个路径吧,以后少不了还要复制东西。

  2.进入与dropins同目录下的configuration,删除org.eclipse.update(这是个文件夹,不过我并没删除)。

  3. 重启MyEclipse4. 添加Mapreduce视图“windows”-> "open perspective" -> "other",会看到一只小象map/reduce,如无,请勾上“show all”,就可以打开该视图(普通工程在Java视图下,该步骤就是多打开一个试图,方面写代码)。此时,MyEclipse的左侧的工程浏览器里会显示DFS Locations,下面有个MyHadoopServer(我的Hadoop服务器名字),这样就想咱平时jsp的服务器。

  4. 配置Hadoop服务器“widows” -> "show views" ->"mapReduce tool" -> "Map/Reduce locations",打开后,(在下面Console附近有Map/Reduce locations),空白处右键,选择新建服务“New Hadoop Location,进入General选项卡。

  1) “location name” : 填入新hadoop服务名,我写的是MyHadoopServer
  2) "Map/Reduce Master":这个对应hadoop服务器的jobtracker
    A) Host:对用hadoop的jobtracker所在的IP,单机就是localhost,可更改
    B) Port:对应jobtracker的端口,在mapred-site.xml配置的端口,一般为9001,默认的是50400
  3) “DFS Master”: 这个对应hdfs的端口,对应在core-site.xml
    A) Host: 对用hadoop的hdfs所在的IP,就是localhost,这个不可更改
    B) Port: 对应hdfs的端口,在mapred-site.xml配置的端口,一般为9000,默认的是50400

  注意:下边还有个用户名,默认root我没改动。

  注意:open  perspective打开的东西,在MyEclipse右边,算是编辑视图;show views打开的东西在MyEclipse下边,和Console在一起。

  5.打开和General选项卡同级的Advanced Parameters选项卡,找到hadoop.tmp.dir(很好找,按字典序排序的),然后在core-site.xml找到对应的内容,我的是home/hxsyl/tmp。

  6.此时可以看到左侧的工程浏览器下的DFS Locations下的MyHadoopServer的两个文件夹,一个叫home/hxsyl/tmp,这个就是第5步配置的那个文件夹;另一个是user/root/In和Out。

  这个root应该是第4步下的那个用户名,In和Out分别是赞运行WordCount的输入输出文件,运行WordCount需要命令行传参数,具体就是邮件run-as、run configurations、parameters,然后输入(注意:必须先运行WordCount.java,然后提示少参数的错误,然后再run-as、run configurations、parameters,直接的话不显示parameters,这是奇怪)

hdfs://localhost:9000/user/root/In
hdfs://localhost:9000/user/root/Out

  注意:需要先把In文件上传到hdfs上,具体就是:我在根目录(和usr同级)贱了testHadoop文件夹

sudo mkdir testHadoop

  然后进入到该文件夹

//test1和2会自动在testHadoop文件夹下生成
echo “hello world” >test1
echo "hello hadoop" >test2

  然后把文件上传到hdfs

//此时在testHadoop所在文件夹,不过咱需要进入到Hadoop文件夹,主要是要用到hadoop这个命令
//不过不需要cd,切不可进入hadoop文件夹,因为上传那个文件就要在那个文件的目录下
//因为咱直接./testHadoop,没写绝对路径(自己理解的)。
usr/hadoop1.2.1file/hadoop-1.2.1/bin/hadoop fs -put ./testHadoop In
//注意:./testHadoop,如果按tab只能生成./testHadoop的话 ,他后面会多个/,一定要删除,In就是上传到的hdfs上对应的文件夹
//想查看In内容,两种方法,一种是用下面的命令
usr/hadoop1.2.1file/hadoop-1.2.1/bin/hadoop fs -ls ./testHadoop
//另一种方法是(此时已经上传了hdfs),运行代码*(不管有没有错误都行,个人理解就是简历和hdfs的链接,然后就看到hdfs里的内容了),刷新DFS Locations,在user/root/In下会看到

  7.配置好后,运行,结果就在DFS Locations 的 user/root/Out下part-r-0000文件下,结果如下。

hadoop	1
hello	2
world	1

  注意:如果在命令行下运行WordCount需要(此时已上传到hdfs),需要先进入hadoop

cd usr/hadoop1.2.1file/hadoop-1.2.1

  然后运行代码如下

//没试过WordCount,莫非命令行不区分大小写
bin/hadoop jar hadoop-examples-1.2.1.jar wordcount In Out

  注意:此处的问题是,必须不能进入bin目录,我试过,进入的话就运行不了了,真是奇怪了。

然后查看运行结果。

bin/hadoop fs -cat ./Out/part-r-00000

三.结束语及遗留问题

3.1 遗留问题

  1.如何直接从win复制到linux对应的文件夹,不用先复制到左面,在mv

  2.xml类文件,有时候可以直接打开,编辑,保存,但有时后这样的话,那个save不可用,真是奇怪了,必须

//这个是jdk的环境变量
sudo gedit /etc/profile

  莫非是因为命令行终端不是root,应该不是这个问题,我每次进入ubuntu,就先打开终端,然后进入root。

3.2 结束语

  对照命令行和DFS Locations,这样理解很方便。

3.3 CodeForFuture

  CodeForFuture,DotaForFun......本群专注于互联网、电子商务及数据挖掘, 群内成员来自各大高校的研究生和本科生(比如清华大学、北京大学、中山大学 、北京联合大学、华南理工大学、中科院计算所、上冻理工、山东大学、平顶山 学院、南阳理工,上海大学、网络研究所......不再一一列举)以及各大公司的员工(比如百度、新浪、金山、乐逗游戏等等),还有猎头偶......期待您的加入,让我们一起从优秀走向卓越......\

  群号:163354117,左侧可以直接少苗二维码加群。

时间: 2024-10-11 00:02:59

Linux中的MyEclipse配置Hadoop的相关文章

在Eclipse中运行、配置Hadoop

版权所有: [email protected]  严禁转载! 1.安装插件 准备程序: eclipse-3.3.2(这个版本的插件只能用这个版本的eclipse) hadoop-0.20.2-eclipse-plugin.jar (在hadoop-0.20.2/contrib/eclipse-plugin目录下) 将hadoop-0.20.2-eclipse-plugin.jar 复制到eclipse/plugins目录下,重启eclipse. 2.打开MapReduce视图 Window ->

在Eclipse中执行、配置Hadoop

版权全部: [email protected]  严禁转载! 1.安装插件 准备程序: eclipse-3.3.2(这个版本号的插件仅仅能用这个版本号的eclipse) hadoop-0.20.2-eclipse-plugin.jar (在hadoop-0.20.2/contrib/eclipse-plugin文件夹下) 将hadoop-0.20.2-eclipse-plugin.jar 拷贝到eclipse/plugins文件夹下,重新启动eclipse. 2.打开MapReduce视图 Wi

Linux中邮件报警配置

linux中邮件报警机制 在linux中报警机制是运维管理关键部分.我们一般是通过监控来发现问题,常见的监控软件如:zabbix是现在大家都在使用和准备使用的.如果不通过第三方软件做监控报警,我们就需要linux中自带的邮件发送功能. 以下报警配置为工作中,小心得体会.向大家分享下: 1.检查mailx 的版本信息大于12.*即可,否则需要另外更新安装 2.# vim /etc/mail.rc  中添加修改内容如下: set [email protected]             指定外部代

linux中的目录配置

一.权限对文件的重要性 1.r(read):可读取此文件的实际内容,读取文本文件的文字内容等. 2.w(write):可以编辑,新增或者是修改该文件的内容. 3.x(execute):该文件具有可以被系统执行的权限. **在linux中,一个文件是否能被执行是由是否具有"x"这个权限来决定的,与文件名没有绝对的关系. 二.权限对目录的重要性 *文件是存放实际数据的所在,目录主要的内容是记录文件名列表,文件名与目录有前列的关联. 1.r:表示具有读取目录结构列表的权限,当你具有读取(r)

Linux中vsftpd服务配置(匿名,用户,虚拟用户)

vsftpd概述 vsftpd 是"very secure FTP daemon"的缩写,安全性是它的一个最大的特点.vsftpd 是一个 UNIX 类操作系统上运行的服务器的名字,它可以运行在诸如 Linux.BSD.Solaris. HP-UNIX等系统上面,是一个完全免费的.开放源代码的ftp服务器软件,支持很多其他的 FTP 服务器所不支持的特征. 特点 非常高的安全性需求.带宽限制.良好的可伸缩性.可创建虚拟用户.支持IPv6.速率高 小巧轻快,安全易用. ftp.sftp.

Hadoop的学习前奏(一)——在Linux上安装与配置Hadoop

前言 笔者眼下是在做Android开发,又是在一个信息安全的公司.公司的主要是做在虚拟机上运行的产品,又涉猎云计算,心想是要去搞一下云计算.自我感觉移动互联网 + 云计算 + 信息安全会是一个非常好的方向,于是投身当中. 由于是Java出身.所以自然而然选择了Hadoop. 笔者系统环境 Linux:  CentOS release 6.5 (Final)JDK:    java version "1.7.0_75"        OpenJDK Runtime Environment

Hadoop的学习前奏——在Linux上安装与配置Hadoop

前言: 笔者目前是在做Android开发,又是在一个信息安全的公司.公司的主要是做在虚拟机上运行的产品,又涉猎云计算,心想是要去搞一下云计算.自我感觉移动互联网 + 云计算 + 信息安全会是一个很好的方向,于是投身其中.因为是Java出身,所以自然而然选择了Hadoop. 笔者系统环境: Linux:  CentOS release 6.5 (Final) JDK:    java version "1.7.0_75" OpenJDK Runtime Environment (rhel

myeclipse配置hadoop开发环境

本文所用软件版本:myeclipe2014    hadoop1.2.1 1.安装Hadoop开发插件 下载hadoop-eclipse-plugin-1.2.1.jar,拷贝到myeclipse根目录下/dropins目录下. 2. 启动myeclipse,打开Perspective: [Window]->[Open Perspective]->[Other...]->[Map/Reduce]->[OK] 3. 打开一个View: [Window]->[Show View]

linux中安装和配置 jdk

01.去官网下载指定的jdk 02.使用xftp把下载好的文件 传递到 linux指定文件夹中03.进入指定的文件夹输入tar -zxvf 文件名称04.发现文件 05.进入文件cd jdk1.8.0_121 06.进入bin目录cd bin保存当前的路径,以备等会配置环境变量时使用! /software/jdk1.8.0_121/bin 07.找到配置环境变量的文件  ~/.bash_profile 或者 /etc/profile   文件 08.vim 开始编辑文件 或者 /etc/prof