运行hadoop自带的wordcount例子程序

1.准备文件
[[email protected] ~]# cat input.txt
hello java
hello python
hello c
hello java
hello js
hello html
hello java
[[email protected] ~]# hadoop fs -mkdir /input
[[email protected] ~]# hadoop fs -put input.txt /input
[[email protected] ~]# hadoop fs -ls /input
Found 1 items
-rw-r--r-- 2 root supergroup 74 2018-11-14 21:42 /input/input.txt

2.例子程序位置
/usr/local/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar

3.运行
[[email protected] ~]# hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input/input.txt /output
[[email protected] ~]# hadoop fs -ls /output/
Found 2 items
-rw-r--r-- 2 root supergroup 0 2018-11-14 21:46 /output/_SUCCESS
-rw-r--r-- 2 root supergroup 40 2018-11-14 21:46 /output/part-r-00000

4.查看结果
[[email protected] ~]# hadoop fs -text /output/part-r-00000
c 1
hello 7
html 1
java 3
js 1
python 1

原文地址：https://www.cnblogs.com/413xiaol/p/9961028.html

时间： 2024-09-29 10:02:08

运行hadoop自带的wordcount例子程序的相关文章

运行Hadoop自带的wordcount单词统计程序

0.前言 前面一篇<Hadoop初体验:快速搭建Hadoop伪分布式环境>搭建了一个Hadoop的环境,现在就使用Hadoop自带的wordcount程序来做单词统计的案例. 1.使用示例程序实现单词统计 (1)wordcount程序 wordcount程序在hadoop的share目录下,如下: [[email protected] mapreduce]# pwd /usr/local/hadoop/share/hadoop/mapreduce [[email protected] mapr

运行hadoop自带的计算圆周率异常

运行hadoop2 自带的圆周率计算方法时,报错,找了半天,原来是在配置hadoop临时目录时,没有给权限,找到配置的hadoop临时目录文件夹,修改权限即可 Application application_1548242073562_0005 failed 2 times due to AM Container for appattempt_1548242073562_0005_000002 exited with exitCode: 1 Failing this attempt.Diagno

如何运行Hadoop自带的例子

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar wordcount /WordCount/WordCount /WCOutput 输出文件不能实现存在,比如说/WordCount这样是不行的 虽然他是第一级文件夹 但是已存在了,不可用 原来提示我,日志冲突,我美观,我以为是不是hadoop native造成的,后来吧多余的mahout的jar删了,里面也有slf4j,然后竟然运行成功了额,虽然也不

运行 Hadoop 的 MapReduce 示例卡住了【已解决】

1. 说明 在以伪分布式模式运行 Hadoop 自带的 MapReduce 示例,卡在了 Running job ,如图所示 2. 解决过程 查看日志没得到有用的信息 再次确认配置信息没有错误信息 最终修改了 hosts 添加本机的 hosts ,如下 192.168.23.101 s101 重新将 SSH 进行配置,最终修改了 SSH 远程登陆配置笔记. 再次运行示例,程序顺利运行. 原文地址:https://www.cnblogs.com/share23/p/9696070.html

利用hadoop自带程序运行wordcount

1.启动hadoop守护进程 bin/hadoop start-all.sh 2.在hadoop的bin目录下建立一个input文件夹 mkdire input 3.进入input目录之后,在input目录下新建两个文本文件,并想其写入内容 echo "hello excuse me fuck thank you">test1.txt echo "hello how do you do thank you">test2.txt 4.进入hadoop的bi

[hadoop]命令行编译并运行hadoop例子WordCount

首先保证JDK.Hadoop安装设置成功 可以参考[linux]ubuntu下安装hadoop [linux]ubutnu12.04 下安装jdk1.7 使用hadoop版本为1.2.1,jdk为1.7 在hadoop-1.2.1\src\examples\org\apache\hadoop\examples找到WordCount.java 源码如下: 1 /** 2 * Licensed under the Apache License, Version 2.0 (the "License&q

hadoop集群自带WordCount例子

默认当前位置是hadoop安装包位置 jar包:share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar 一 前置准备 $ cd share/hadoop/mapreduce/ 因为这个需要hdfs中的文件,需要掌握基本的hdfs命令 HDFS基本的文件命令: 格式: hadoop fs -cmd <args> 其中,cmd代表具体的文件命令,与unix对应的命令相同,args表示可变的参数. 如, hadoop fs --获取完整的

（二）Hadoop例子——运行example中的wordCount例子

Hadoop例子——运行example中的wordCount例子 一.   需求说明 单词计数是最简单也是最能体现MapReduce思想的程序之一,可以称为 MapReduce版"Hello World",该程序的完整代码可以在Hadoop安装包的"src/examples"目录下找到.单词计数主要完成功能是:统计一系列文本文件中每个 单词出现的次数,如下图所示. 二.   环境 VMware® Workstation 10.04 Ubuntu14.04 32位 J

[Linux][Hadoop] 运行WordCount例子

紧接上篇,完成Hadoop的安装并跑起来之后,是该运行相关例子的时候了,而最简单最直接的例子就是HelloWorld式的WordCount例子.   参照博客进行运行:http://xiejianglei163.blog.163.com/blog/static/1247276201443152533684/   首先创建一个文件夹,并创建两个文件,目录随意,为以下文件结构: examples --file1.txt --file2.txt 文件内容随意填写,我是从新闻copy下来的一段英文: 执