CDH quick start VM 中运行wordcount例子

需要注意的事情:

1. 对于wordcount1.0 ,按照http://www.cloudera.com/content/cloudera/en/documentation/HadoopTutorial/CDH4/Hadoop-Tutorial/ht_usage.html#topic_5_2 执行。

2.hadoop fs -mkdir /user/cloudera 这条语句意思是在hadoop文件系统下创建新文件夹。在终端中执行"cd /user/cloudera"是错误的,会出现找不到文件提示。我的理解是hadoop文件系统为每一个组件建立了一个文件夹,其中user是主目录,下面对应的是各个组件文件夹。如下面代码所示,cloudera,hdfs,hive都有自己对应的文件夹。

[[email protected] ~]$ hadoop fs -ls /user/cloudera
Found 1 items
drwxr-xr-x   - cloudera cloudera          0 2015-01-11 05:16 /user/cloudera/wordcount
[[email protected] ~]$ hadoop fs -ls /user/hdfs
Found 1 items
drwxr-xr-x   - hdfs supergroup          0 2015-01-10 23:45 /user/hdfs/.Trash
[[email protected] ~]$ hadoop fs -ls /user/hive
Found 1 items
drwxrwxrwx   - hive hive          0 2015-01-11 03:46 /user/hive/warehouse
[[email protected] ~]$ 

3.在进行第三部的时候“compile wordcount.java”,首先要把源代码拷贝下来,在"/home/cloudera/"下面新建文件WordCount.java,注意区分大小写。然后执行:

mkdir wordcount_classes
javac -classpath /usr/lib/hadoop/hadoop-common-2.5.0-cdh5.2.0.jar:/usr/lib/hadoop/client/hadoop-mapreduce-client-core-2.5.0-cdh5.2.0.jar -d wordcount_classes WordCount.java

注意根据自己的版本把上面的代码替换成适合自己的。

4.完成上步之后,完全按照官网(http://www.cloudera.com/content/cloudera/en/documentation/HadoopTutorial/CDH4/Hadoop-Tutorial/ht_usage.html#topic_5_2)来即可。

chuanting.zhang @ 2015-01-11 引用请注明出处 http://www.cnblogs.com/chuantingSDU/。

时间: 2024-10-12 20:15:37

CDH quick start VM 中运行wordcount例子的相关文章

(二)Hadoop例子——运行example中的wordCount例子

Hadoop例子——运行example中的wordCount例子 一.   需求说明 单词计数是最简单也是最能体现MapReduce思想的程序之一,可以称为 MapReduce版"Hello World",该程序的完整代码可以在Hadoop安装包的"src/examples"目录下找到.单词计数主要完成功能是:统计一系列文本文件中每个 单词出现的次数,如下图所示. 二.   环境 VMware® Workstation 10.04 Ubuntu14.04 32位 J

[Linux][Hadoop] 运行WordCount例子

紧接上篇,完成Hadoop的安装并跑起来之后,是该运行相关例子的时候了,而最简单最直接的例子就是HelloWorld式的WordCount例子.   参照博客进行运行:http://xiejianglei163.blog.163.com/blog/static/1247276201443152533684/   首先创建一个文件夹,并创建两个文件,目录随意,为以下文件结构: examples --file1.txt --file2.txt 文件内容随意填写,我是从新闻copy下来的一段英文: 执

(四)伪分布式下jdk1.6+Hadoop1.2.1+HBase0.94+Eclipse下运行wordCount例子

本篇先介绍HBase在伪分布式环境下的安装方式,然后将MapReduce编程和HBase结合起来使用,完成WordCount这个例子. HBase在伪分布环境下安装 一.   前提条件 已经成功地安装了jdk1.6和hadoop1.2.1. Jdk1.6+Hadoop1.2.1在伪分布环境下具体的安装方法见:Hadoop1.2.1安装——单节点方式和单机伪分布方式 二.   环境 VMware® Workstation 10.04 Ubuntu14.04 32位 Java JDK 1.6.0 h

RedHat 安装Hadoop并运行wordcount例子

1.安装 Red Hat 环境 2.安装JDK 3.下载hadoop2.8.0 http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz 4.在用户目录下新建hadoop文件夹,并解压hadoop压缩包 mkdir Hadoop tar -zxvf hadoop-2.8.0.tar.gz 5.为hadoop配置JAVA_HOME [[email protected] ~]$

Spark学习笔记——在远程机器中运行WordCount

1.通过realy机器登录relay-shell ssh [email protected] 2.登录了跳板机之后,连接可以用的机器 XXXX.bj 3.在本地的idea生成好程序的jar包(word-count_2.11-1.0.jar)之后,把jar包和需要put到远程机器的hdfs文件系统中的文件通过scp命令从开发机传到远程的机器中 scp 开发机用户名@开发机ip地址:/home/XXXXX/文件 . #最后一个.表示cd的根目录下 object WordCount { def mai

配置RHadoop与运行WordCount例子

1.安装R语言环境 su -c 'rpm -Uvh http://download.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm' su -c 'yum install foo' yum list R-\* yum install R 2.安装RStudio Desktop和Server Desktop是rpm包,双击执行 Server安装命令: yum install openssl098e # Required o

在eclipse中运行wordcount,控制台打印log4j警告

log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).log4j:WARN Please initialize the log4j system properly.log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info. 解决办法: 将/usr/local/hadoop/etc/h

Hadoop3 在eclipse中访问hadoop并运行WordCount实例

前言:       毕业两年了,之前的工作一直没有接触过大数据的东西,对hadoop等比较陌生,所以最近开始学习了.对于我这样第一次学的人,过程还是充满了很多疑惑和不解的,不过我采取的策略是还是先让环境跑起来,然后在能用的基础上在多想想为什么.       通过这三个礼拜(基本上就是周六周日,其他时间都在加班啊T T)的探索,我目前主要完成的是: 1.在Linux环境中伪分布式部署hadoop(SSH免登陆),运行WordCount实例成功. http://www.cnblogs.com/Pur

hadoop-2.6.0伪分布运行WordCount

hadoop-2.6.0伪分布运行WordCount 1.启动Hadoop:  2.创建file 文件夹:  这个是建在本地硬盘上的: 查看创建的 file 文件: 进入该目录,创建两个 txt 文件: 结果如下: 3.在HDFS上创建输入文件夹目录 input : 把本地硬盘上创建的文件传进input 里面: 查看结果: 4.Hadoop自带的运行 wordcount 例子的 jar 包: 5.开始运行 wordcount: 过程: 查看运行结果: 附完整运行过程: 附代码: import j