【Hadoop】MAC下hadoop2.6安装以及执行wordcount

首先简单介绍下博主的配置环境

  • MAC 10.10.0
  • hadoop 2.6
  • JDK 1.6（可以在shell里用jdk -version查询）

hadoop安装

安装的话推荐使用mac下面的brew，理由就是用brew安装的话，它会自动给帮你配置好相应的路径。当然也可以到官网下载，注意jdk和hadoop版本要对应。

brew install hadoop

安装好了之后，可以使用brew list hadoop 来查看。

位置应该是在：/usr/local/Cellar/hadoop/

这时候就可以直接在shell里执行hadoop命令，是不是很方便。

执行wordcount

首先说一下，现在要执行的wordcount只是简单试验下hadoop是否能工作，并不是多线程的伪分布式，因为还没有配置，这个下一节会讲。

1.首先我们先建立以下数据源
在hadoop根目录下，建立一个文件夹，叫“input”
在里面放上txt数据，我直接把”readme.txt”copy 进去了
2.这时候我们就可以执行hadoop的自带命令了
首先要找到 hadoop-mapreduce-examples-2.6.0.jar 这个文件的路径，因为自带的例子都是在这个里面的。
用 jar 命令来执行，因为都是java写的嘛。

3.执行命令

hadoop jar /usr/local/Cellar/hadoop/2.6.0/libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount input output
4.效果
这时候你会发现shell蹦出一大串东西
最终会生成一个output文件夹，里面的东西打开，就是wordcount

本文来自博客 “李博Garvin“

转载请标明出处:http://blog.csdn.net/buptgshengod

时间： 2024-10-28 21:13:06

【Hadoop】MAC下hadoop2.6安装以及执行wordcount的相关文章

Mac下CocoaPods的安装

安装需要使用Mac下自带ruby的gem命令来安装 要查看ruby的版本,打开终端,输入ruby -v即可看到 首先去GitHub上下载CocoaPods 终端输入命令:sudo gem install cocoapods 按提示输入电脑密码 初次安装提示了一个错误: ERROR:  Error installing cocoapods: cocoapods requires cocoapods-core (= 0.31.1, runtime) 然后我使用sudo gem update --sy

mac下virtualbox+vagrant安装

mac下virtualbox+vagrant安装1.安装VirtualBoxVirtualBox下载地址?免费小巧非常适用,根据自己机器系统选择下载包图1 2.安装并使用Vagrant1)Vagrant下载地址?选择下载包 图2 安装完成后,在终端输入vagrant -v提示显示vagrant版本即安装成功并可使用,如下:bogon:~ amtbhk$ vagrant -vVagrant 2.0.4 2)?box系统镜像下载地址?下载Vagrant官方封装好的系统镜像查看mac是32位还是64位

mac下mysql的安装与使用

下面记录下mac下mysql的安装及使用. 1.下载mysql的安装文件,如mysql-5.7.13-osx10.11-x86_64 2 2.下载一个mysql可视化工具mysql-workbench-community-6.3.7-osx-x86_64. 3.通过workbench创建数据库和表,如下图 4.创建成功后就可以通过代码进行增删改查了.

Mac下的mongodb安装

mac下的mongodb安装主要有两种方式,一是手工安装,需在官网下载源文件,二是通过homebrew,至于homebrew不做介绍.既然是Mac系统下,我认为直接通过homebrew安装最好,省事还简洁. 1.brew updata(前提是mac已经安装好homebrew) 2.brew install mongodb 参考1官网中还有两种安装方式,自行参考. 3.# 创建/data/db目录,默认在系统根目录下创建data/db文件夹 sudo mkdir -p /data/db # 设置/

mac下nginx的安装和配置,已经相关设置(转帖)。

mac下nginx的安装和配置: 链接:https://www.jianshu.com/p/026d67cc6cb1 前端项目中nginx 本地反向代理配置: 链接:https://www.jianshu.com/p/5c23b09d443f 原文地址:https://www.cnblogs.com/sidianok/p/12204020.html

mac 下用 brew 安装mongodb

mac 下安装mongoDB一般俩种方法. (1)下载源码,解压,编译,配置,启动 比较艰难的一种模式. (2)brew install mongodb ,然后就可以悠闲的品一口茶,顺便瞄一眼网易新闻,这是一种傻瓜模式. 但傻瓜模式也有人为干预的时候,粗略说一下使用brew 安装mongodb [email protected]:~/code$ brew install mongodb 此图说明已经安装成功,安装的目录就是 /usr/local/Cellar/mongodb/2.4.9 第一次启

Mac 下 PostgreSQL 的安装与使用

在 mac 下,可以利用 homebrew 直接安装 PostgreSQL: 1 brew install postgresql -v 稍等片刻,PostgreSQL 就安装完成.接下来就是初始数据库,在终端执行一下命令,初始配置 PostgreSQL: 1 initdb /usr/local/var/postgres -E utf8 上面指定 "/usr/local/var/postgres" 为 PostgreSQL 的配置数据存放目录,并且设置数据库数据编码是 utf8,更多配置

MAC下用homebrew安装及配置apache、php和mysql

我们用到php运行环境的时候总喜欢用集成包,其实在mac下,用homebrew也可以很快的安装这些东西,配置也很简单. homebrew homebrew是mac下的一个包安装管理工具,使用非常简单方便. 安装homebrew 在终端中执行: ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" 这样就安装好homebrew了. 安装命令行软件 如安装wget,

mac下使用brew安装并使用golang

突然想进go坑,然后就尝试在公司新发的mac上折腾下 安装 通过执行命令 brew search go 看到可用最新版是1.7,就他了 brew install [email protected] 安装好了,按网上的教程 直接在终端里执行 go,结果提示命令不存在 Orz.好吧,自己加个别名吧. 打开 .bash_profile,添加: alias go='/usr/local/Cellar/go\@1.7/1.7.6/bin/go' 执行 source .bash_profile,然后再执行