mapreduce 运行-指定各种运行参数

h2 { color: #fff; background-color: #7CCD7C; padding: 3px; margin: 10px 0px }
h3 { color: #fff; background-color: #008eb7; padding: 3px; margin: 10px 0px }

mapreduce指定参数

mapreduce在运行的时候可以指定各种参数，这样可以根据实际的应用场景做一下相关的调整

1.指定运行时cpu的个数

hadoop jar hadoop-core-0.1.0-SNAPSHOT.jar cn.hadoop.mapreduce.WordCount -D mapreduce.map.cpu.vcores=2 /home/input /home/output

-D mapreduce.map.cpu.vcores=2 ：指定这个mapreduce任务运行时cpu的个数

/home/input :指定的输入hdfs路径

/home/output:指定的输出hdfs路径

查看结果：http://kafka-test01:8088/proxy/application_1488814616605_0007

点击Configuration查看相关的配置：

2.指定运行时memory的大小

hadoop jar hadoop-core-0.1.0-SNAPSHOT.jar cn.hadoop.mapreduce.WordCount -D mapreduce.map.memory.mb=2048 /home/input/ /home/output/

mapreduce.map.memory.mb=2048 ：指定这个mapreduce任务运行时内存的大小

/home/input :指定的输入hdfs路径

/home/output:指定的输出hdfs路径

查看结果：http://kafka-test01:8088/proxy/application_1488814616605_0005

点击Configuration查看相关的配置：

时间： 2024-10-05 07:29:25

mapreduce 运行-指定各种运行参数的相关文章

windows ping 某个网段,不能运行指定的软件

:begin @echo OFF color 0a Title Net Test Tool by:HRuinger Mode con cols=109 lines=30 :START ECHO. Echo ========================================================================== ECHO. Echo 自动连网测试工具 Echo Made by HRuinger. ECHO. ECHO 此窗口操作人员禁止关闭 ECHO.

Nginx/Apache下如何禁止指定目录运行PHP脚本

转自http://www.phpchina.com/portal.php?mod=view&aid=40248, 需获取更多资料请查看原文网站程序的上传目录通常是不需要PHP执行解释权限,通过限制目录的PHP执行权限可以提网站的安全性,减少被攻击的机率. 下面和大家一起分享下如何在Apache和Nginx禁止上传目录里PHP的执行权限. Apache下禁止指定目录运行PHP脚本在虚拟主机配置文件中增加php_flag engine off指令即可,配置如下 "/website/upl

c/c++编译时，指定程序运行时查找的动态链接库路径

http://blog.csdn.net/tsxw24/article/details/10220735 c/c++编译时,指定程序运行时查找的动态链接库路径分类: c/c++ linux 2013-08-23 14:04 1117人阅读评论(0) 收藏举报 [plain] view plaincopy $ g++ -Wl,-rpath,/usr/local/lib/ -oevh libevent_http.cpp -levent -Wl,-rpath, 用于指定程序运行时查找动态链接库

在运行的时候传递参数

有人发帖问下面的程序为什么运行会出错? The method cypher(InputStream, OutputStream) in the type MyEncoderText is not applicable for the arguments (FileInputStream, FileOutputStream) package package1; import java.io.*; public class MyEncoderText { public static vo

linux用于后台监控指定程序运行状况的脚本(如果程序死了则重启程序)

#!/bin/sh while true do ps | grep "main_3g" | grep -v "grep" > /dev/null if [ "$?" -ne 0 ] then ls /root/main_3g > /dev/null if [ "$?" -eq 0 ] then chmod 777 /root/main_3g /root/main_3g & echo "main_3

ScheduledExecutorService定时周期运行指定的任务

一:简单说明 ScheduleExecutorService接口中有四个重要的方法,当中scheduleAtFixedRate和scheduleWithFixedDelay在实现定时程序时比較方便. 以下是该接口的原型定义 java.util.concurrent.ScheduleExecutorService extends ExecutorService extends Executor 接口scheduleAtFixedRate原型定义及參数说明 [java] view plaincopy

EBS查找运行请求时间，参数等

--查找运行请求时间,参数等(可以是某用户的,某个报表) select c.user_name, papf.full_name, b.user_concurrent_program_name, a.request_date, a.argument_text, (a.actual_completion_date - a.actual_start_date) * 24 * 60 minutes, a.actual_start_date, a.actual_completion_date, a.req

Linux学习笔记(三)：系统运行级与运行级的切换

1.Linux系统与其他的操作系统不同,它设有运行级别.该运行级指定操作系统所处的状态.Linux系统在任何时候都运行于某个运行级上,且在不同的运行级上运行的程序和服务都不同,所要完成的工作和所要达到的目的也都不同. 2.Linux(Red Hat 9.0)设置了7个不同的运行级,系统可以在这些运行级别之间进行切换以完成不同的工作. 3.接下来简单介绍7个系统运行级: (1).运行级0:关闭计算机. (2).运行级1:单用户模式. (3).运行级2:多用户模式(不带网络文件系统NFS支持功能).

【转】如何配置EditPlus中Java运行环境，运行Java程序

如何配置EditPlus中Java运行环境,运行Java程序 http://jingyan.baidu.com/article/86112f13725e2e2736978711.html 分步阅读 EdltPlus是一款不错的Java代码编辑器,使用EditPlus对于语言代码格式自动生成,省去了我们很多不必要的时间,且其具有小巧,省内存的优势,对于我们平时编写一些简单的Java程序很有帮助,下面小编就为大家介绍下如何配置EditPlusJava环境编辑,使其可以直接运行Java程序(怎么样在e