MapReduce简介以及详细配置

1.MapReduce(一个分布式运算框架)将数据分为数据块，发送到不同的节点，并行方式处理。

2.NodeManager和DataNode在一个节点上，程序与数据在一个节点。

3.内容分为两个部分

1) Map

读取文件，将数据分块，输入输出都是<key，value>

2) Reduce

输入输出都是<key，value>，输入的key是Map输出的key，输入的value是map输出的所有key一样的value

4.修改配置文件hadoop-2.6.0/etc/hadoop/mapred-site.xml

这个文件在Hadoop中没有，需要复制一份，cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

<name>mapreduce.framework.name</name>

</property>

5.修改配置文件hadoop-2.6.0/etc/hadoop/yarn-site.xml

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

6.启动集群sbin/start-all.sh

一块启动了HDFS与MapReduce，依次执行了sbin/start-dfs.sh与sbin/start-yarn.sh

7.打开jps查看进程

32033 Jps

31718 SecondaryNameNode

31528 DataNode

31852 ResourceManager

31437 NameNode

31949 NodeManager

8.HDFS与MapReduce启动成功，关闭集群：sbin/stop-all.sh

时间： 2024-10-11 05:37:28

MapReduce简介以及详细配置的相关文章

转载 - Vim 的 Python 编辑器详细配置过程 (Based on Ubuntu 12.04 LTS)

出处:http://www.cnblogs.com/ifantastic/p/3185665.html Vim 的 Python 编辑器详细配置过程 (Based on Ubuntu 12.04 LTS) 为什么要用vim编辑py文件? 因为在Linux命令行中,缺少图形界面的IDE,vim是最佳的文本编辑器,而为了更好的编辑py文本,所以配置vim. 1. 安装完整版vim vi和vim的区别? 在Linux自带有vi编辑器,而vim是指vi improved,即vi升级版.区别在于vi指令和

Vsftpd 详细配置

Vsftpd 详细配置目录 1.配置文件 2.给匿名用户的配置 3.系统用户配置 4.禁锢所有ftp系统用户在家目录中 5.禁锢或不禁锢特定的系统用户在家目录中,与上面设置互斥 6.wu-ftp日志 7.vsftpd日志 8.登录提示信息 9.目录访问提示信息 10.使用pam完成用户认证 11.是否启用控制用户登录的列表文件 12.连接限制 13.传输速率 :字节/秒 14.连接时间:秒为单位 15.优先以文本方式传输 16.其他参数 Vsftpd服务有vsftpd包

Hadoop-2.2.0中文文档——MapReduce 下一代 -——集群配置

目的这份文档描写叙述了怎样安装.配置和管理从几个节点到有数千个节点的Hadoop集群. 玩的话,你可能想先在单机上安装.(看单节点配置). 准备从Apache镜像上下载一个Hadoop的稳定版本号. 安装安装一个Hadoop集群,一般包含分发软件到全部集群中的机器上或者是安装RPMs. 一般地,集群中的一台机器被唯一地设计成NameNode,还有一台机器被设置成ResourceManager.这是master(主). 集群中剩下的机器作为DataNode 和 NodeManager.这些是

【甘道夫】Hadoop2.2.0 NN HA详细配置+Client透明性试验【完整版】

引言: 前面转载过一篇团队兄弟[伊利丹]写的NN HA实验记录,我也基于他的环境实验了NN HA对于Client的透明性. 本篇文章记录的是亲自配置NN HA的详细全过程,以及全面测试HA对客户端访问透明性的全过程,希望对大家有帮助. 实验环境: Hadoop2.2.0的4节点集群,ZK节点3个(ZK节点数最好为奇数个),hosts文件和各节点角色分配如下: hosts: 192.168.66.91 master 192.168.66.92 slave1 192.168.66.93 slave2

Nginx,Apache只允许域名访问详细配置

Nginx,Apache只允许域名访问详细配置一.nginx配置只允许域名访问 # 设置不允许Ip访问web(default_server) server { listen 80 default_server; server_name _; return 403; } # 设置www.meteor-yu.com域名访问web server { listen 80; server_name www.meteor-yu.com; location /ngx_status { stub_status

关于linux-gpg数据加密详细配置

1.创建一对密钥,公钥pub,私钥sub. 创建一对密钥密钥 2.导出公钥,发送密钥给对方(例如:fendou) 发送公钥给对方查看对方(fendou)收到的公钥 3.下面导入公钥,然后用这个公钥加密一个文件,然后传给对方.(分发者(ll),因为只有它能打开. 导入收到的公钥创建验证文件加密文件发送加密过的文件给拥有私钥的用户,即分发者,因为只有应有私钥的用户才能解密. 解密经过加密的文件欢迎大家来访我的博客!

Linux- nginx+tomcat的详细配置

一切来源于工作,先谈一下需求. 为了使测试环境尽量模仿线上环境,四台台式机搭建测试环境.nginx + tomcat + mysql + red5pro(视频直播). nginx用来做代理,通过nginx来访问后端的tomcat. nginx服务器的配置文件里简单配置(nginx.conf)的话只需要复制一下server部分就行,修改其中的listen端口以及proxy_pass后面跟的路径.如果不做负载均衡的话,可以加链接(如http://192.168.1.2:8080 ) .如果做负载均衡

转载 - Struts2 拦截器详细配置过程

出处:http://www.blogjava.net/zzzlyr/archive/2009/10/12/297998.html Struts2 拦截器详细配置过程 1:所有拦截器的超级接口Interceptor ,Action去实现这个接口; Interceptor 它其中有三个方法(init(),destroy() ,interceptor()): Init()方法:在服务器起动的时候加载一次,并且只加载一次; Destroy()方法:当拦截器销毁时执行的方法; Interceptor()方

Universal-Image-Loader解析（一）——ImageLoaderConfiguration的详细配置

本篇文章主要介绍了"Universal-Image-Loader解析(一)——ImageLoaderConfiguration的详细配置 ",主要涉及到Universal-Image-Loader解析(一)——ImageLoaderConfiguration的详细配置方面的内容,对于Universal-Image-Loader解析(一)——ImageLoaderConfiguration的详细配置感兴趣的同学可以参考一下. Universal-Image-Loader这个开源框架又