Linux下执行Hadoop WordCount.jar

Linux执行 Hadoop WordCount

ubuntu 终端进入快捷键 ：ctrl + Alt +t

hadoop启动命令：start-all.sh

正常执行效果如下：

[email protected]:~$ start-all.sh

Warning: $HADOOP_HOME is deprecated.

starting namenode, logging to /home/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-hadoop-namenode-HADOOP.MAIN.out

HADOOP.MAIN: starting datanode, logging to/home/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-hadoop-datanode-HADOOP.MAIN.out

HADOOP.MAIN: starting secondarynamenode,logging to/home/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-hadoop-secondarynamenode-HADOOP.MAIN.out

starting jobtracker, logging to/home/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-hadoop-jobtracker-HADOOP.MAIN.out

HADOOP.MAIN: starting tasktracker, loggingto /home/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-hadoop-tasktracker-HADOOP.MAIN.out

jps命令查看启动的hadoop服务

[email protected]:~$ jps

3615 Jps

2699 NameNode

3461 TaskTracker

2922 DataNode

3137 SecondaryNameNode

3231 JobTracker

本地创建一个文件夹

[email protected]:~$ mkdir ~/file

在file文件创建两个txt文件

[email protected]:~$ cd file

[email protected]:~/file$ echo "Hello World" > file1.txt

[email protected]:~/file$ echo "Hello Hadoop" > file2.txt

[email protected]:~/file$ ls

file1.txt file2.txt

[email protected]:~/file$

在HDFS上创建一个输入文件夹

[email protected]:~/file$ hadoop fs -mkdir input

查看创建的input文件夹路径

[email protected]:~$ hadoop fs -ls

Warning: $HADOOP_HOME is deprecated.

Found 5 items

-rw-r--r--  3 Administrator supergroup   6296230 2014-09-03 10:38 /user/hadoop/cloud.txt

drwxr-xr-x  - hadoop        supergroup          0 2014-09-02 16:31/user/hadoop/hadi_curbm

drwxr-xr-x  - hadoop        supergroup          0 2014-09-04 09:59 /user/hadoop/input

drwxr-xr-x  - hadoop        supergroup          0 2014-09-02 16:31/user/hadoop/pegasus

[email protected]:~$

可以看到目录被创建到 /user/hadoop/input 目录

上传本地file文件到input目录

[email protected]:~$hadoop fs put ~/file/*.txt  /user/hadoop/input

找到hadoop目录下的examples.jar 程序包

[email protected]:~$ cd hadoop-1.1.2

[email protected]:~/hadoop-1.1.2$ ls

bin         docs                          hadoop-test-1.1.2.jar   LICENSE.txt src

build.xml   hadoop-ant-1.1.2.jar         hadoop-tools-1.1.2.jar  logs         webapps

c++         hadoop-client-1.1.2.jar      ivy                    NOTICE.txt   wordcount.jar

CHANGES.txt hadoop-core-1.1.2.jar        ivy.xml                 README.txt

conf        hadoop-examples-1.1.2.jar     lib                     sbin

contrib     hadoop-minicluster-1.1.2.jar libexec                 share

[email protected]:~/hadoop-1.1.2$

执行jar程序代码 统计input目录下文件的Wordcount

[email protected]:~$ hadoop jar /home/hadoop/hadoop-1.1.2/hadoop-examples-1.1.2.jar wordcount  /user/hadoop/input output

Warning: $HADOOP_HOME is deprecated.

14/09/04 10:10:44 INFOinput.FileInputFormat: Total input paths to process : 0

14/09/04 10:10:45 INFO mapred.JobClient:Running job: job_201409040943_0001

14/09/04 10:10:46 INFOmapred.JobClient:  map 0% reduce 0%

14/09/04 10:10:54 INFOmapred.JobClient:  map 0% reduce 100%

14/09/04 10:10:55 INFO mapred.JobClient:Job complete: job_201409040943_0001

14/09/04 10:10:55 INFO mapred.JobClient:Counters: 18

14/09/04 10:10:55 INFOmapred.JobClient:   Job Counters

14/09/04 10:10:55 INFOmapred.JobClient:     Launched reducetasks=1

14/09/04 10:10:55 INFOmapred.JobClient:    SLOTS_MILLIS_MAPS=4087

14/09/04 10:10:55 INFOmapred.JobClient:     Total time spent byall reduces waiting after reserving slots (ms)=0

14/09/04 10:10:55 INFOmapred.JobClient:     Total time spent byall maps waiting after reserving slots (ms)=0

14/09/04 10:10:55 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=4068

14/09/04 10:10:55 INFOmapred.JobClient:   File Output FormatCounters

14/09/04 10:10:55 INFOmapred.JobClient:     Bytes Written=0

14/09/04 10:10:55 INFOmapred.JobClient:   FileSystemCounters

14/09/04 10:10:55 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=55309

14/09/04 10:10:55 INFOmapred.JobClient:   Map-Reduce Framework

14/09/04 10:10:55 INFOmapred.JobClient:     Reduce inputgroups=0

14/09/04 10:10:55 INFOmapred.JobClient:     Combine outputrecords=0

14/09/04 10:10:55 INFOmapred.JobClient:     Reduce shufflebytes=0

14/09/04 10:10:55 INFOmapred.JobClient:     Physical memory(bytes) snapshot=35037184

14/09/04 10:10:55 INFOmapred.JobClient:     Reduce outputrecords=0

14/09/04 10:10:55 INFO mapred.JobClient:     Spilled Records=0

14/09/04 10:10:55 INFOmapred.JobClient:     CPU time spent(ms)=120

14/09/04 10:10:55 INFOmapred.JobClient:     Total committedheap usage (bytes)=15925248

14/09/04 10:10:55 INFOmapred.JobClient:     Virtual memory(bytes) snapshot=377499648

14/09/04 10:10:55 INFOmapred.JobClient:     Combine inputrecords=0

14/09/04 10:10:55 INFOmapred.JobClient:     Reduce inputrecords=0

[email protected]:~$

显示结果

[email protected]:~$ hadoop fs -ls output

Warning: $HADOOP_HOME is deprecated.

Found 3 items

-rw-r--r--  1 hadoop supergroup          02014-09-04 10:10 /user/hadoop/output/_SUCCESS

drwxr-xr-x  - hadoop supergroup          02014-09-04 10:10 /user/hadoop/output/_logs

-rw-r--r--  1 hadoop supergroup          02014-09-04 10:10 /user/hadoop/output/part-r-00000

[email protected]:~$

查看执行结果

[email protected]:~$ hadoop fs -cat output/part-r-00000

Hadoop 1

Hello   2

World  1

时间： 2024-10-26 03:33:36

Linux下执行Hadoop WordCount.jar的相关文章

Eclipse执行Hadoop WordCount

前期工作 我的Eclipse是安装在Windows下的,通过Eclipse执行程序连接Hadoop, 需要让虚拟机的访问地址和本机的访问地址保持在同一域内,虚拟机的地址更改前面的文章介绍过了,如果想改windows本机ip地址,打开“网络和共享中 心“,点击左侧菜单”更改适配器设置“,选择相应连接网络进行IpV4属性地址修改即可.我虚拟机地址为192.168.3.137 准备工作 地址配置好之后,在Eclipse上要安装Hadoop的插件(你可以参考源码自行修改). 打开Eclipse安装路径-

linux下命令行运行jar文件出错

我将程序打包成了jar包,在windows下执行时正确的,但是放在linux下执行就不对了.windows目录下包括jar包和一个lib文件夹,此文件夹下是需要的其他类库.linux目录是一样的结构.但是在linux下执行,可以执行main,但是找不到类.这是MANIFEST文件内容:Manifest-Version: 1.0Class-Path: lib\axis.jar lib\commons-discovery-0.2.jar lib\javax.wsdl_1.6.2.v201012040

windows与linux下执行.class(包含main方法)

一般来说,执行一个java文件采用执行jar包的方式最为方便(java -jar XXX.jar),将所需要的文件全部打到一个jar里,但是有些时候需要执行指定的.class文件才行(各种原因),这个时候就需要我们使用 -classpath 参数来指定类路径. windows: 假设要执行的文件为D:\test\Test.class 1.在cmd下进入D盘 2.执行java test.Test 或者 java test/Test 都可以 3.如果Test中关联了其它jar包,这需要通过如下方式执

Linux下执行.sh文件

Linux下执行.sh文件有两种情况: 一.直接./加上文件名.sh,如运行hello.sh为./hello.sh[hello.sh必须有x权限] 二.直接sh 加上文件名.sh,如运行hello.sh为sh hello.sh[hello.sh可以没有x权限] 举例说明: 1.执行当前目录下的sh文件: chmod u+x hello.sh ./hello.sh 或者sh hello.sh 2.执行绝对路径目录下的sh文件: ./home/test/shell/hello.sh /home/te

转载：Linux下执行SVN命令时提示错误：Valid UTF-8 data

在Linux下执行svn add *时出现如下错误: svn:  Valid UTF-8  data(hex: 4b)followed by invalid UTF-8 sequence(hex:  fc 63 68  65) 出现这个错误是因为svn库里有文件的名字不是utf-8编码的,这种情况对于中文来说很常见.比如在自己的windows上建了一个中文名字的文件,就会使这种情况. 几经周折,才找到解决办法: 首先,执行命令: ls * | file -/dev/stdin:  ISO-885

linux下执行sql脚本链接整理

linux下执行sql脚本        :http://blog.csdn.net/huoyunshen88/article/details/11556951

在Linux下执行w 时，显示70 column window is too narrow

今天在Linux下执行 w这个命令时,出现70 column window is too narrow,不知道是什么问题,后来在网上查了一下,看一个解决方案,在w后面用管道的方式进行输入,然后在执行 w就不会报错了 [[email protected] ~]# w 70 column window is too narrow [[email protected] ~]# w|cat 20:39:38 up  5:28,  5 users,  load average: 0.00, 0.00, 0

Linux下执行Java程序

在linux下编译java程序,执行javac编译生成class文件时,在centos7终端输入如,javac hello.java    会提示未找到指令,但用java -verison测试环境变量是没问题的 百度了好久,说的很复杂,重新再linux配置环境变量,输入 vi /etc/profile进入,添加以下代码: export JAVA_HOME=/usr/local/jdk1.8.0_144 export PATH=$JAVA_HOME/bin:$PATH export CLASSPA

Linux下配置Hadoop

首先要下载hadoop的包,版本选择1.2.1的,下载地址为:http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/ 这里可以下载hadoop-1.2.1-tar.gz包括源码或者hadoop-1.2.1-bin.tar.gz执行包不包括源码,两个文件大小差不多正好是一倍关系 下载之后通过tar -xzvf hadoop-1.2.1.tar.gz进行解压,解压后放到我们指定的目录中,然后进入conf目录开始配置文件 主要就是配置had