eclipse本地运行mapreduce控制台打印mapreduce执行进度

在本地进行mapreduce开发的过程中,发现eclipse控制台不能打印我想看的mapreduce作业的进度和一些参数,后才猜想可能是log4j的问题,而且当时确实也报了log4j的警告,后来试了一下,真的是log4j的问题

主要因为我没有配置log4j.properties,先在src目录下新建这个文件,然后加入如下代码:

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

再次运行程序,控制打印了我想要看的mapreduce的执行进度和相关参数,这里暂时不介绍log4j的配置的详细内容,我会单独拿出一篇来介绍log4j的配置

时间: 2024-10-13 20:04:13

eclipse本地运行mapreduce控制台打印mapreduce执行进度的相关文章

eclipse中运行c++控制台没输出

编译没报错,运行没输出,debug没反应,把生成的exe文件复制出来直接运行,提示"计算机中丢失libgcc_s_dw2-1.dll",这些都是因为libgcc和libstdc默认是动态link,没找到libgcc_s_dw2-1.dll文件导致的. 解决方法是: 1.添加libgcc_s_dw2-1.dll文件所在目录到环境变量里,它在MinGW\bin的安装目录下,所以添加这个环境变量即可,但是这种情况只是解决exe文件在本机运行,放到其它电脑上还是可能找不到这个文件. 2.第二种

eclipse配置log4j在控制台打印的字体颜色

1.安装插件net.mihai-nita.ansicon.plugin: 下载net.mihai-nita.ansicon.plugin.zip,解压得一个plugin目录,复制父目录到eclipse根目录下自建的MyPlugins目录下,如下:                               在eclipse根目录下建立links文件夹,写上插件路径:path=C:\\applications\\eclipse\\MyPlugins\\net.mihai-nita.ansicon.

解决 eclipse cdt 运行时控制台乱码解决

1 点击黑色 倒三角 按钮 选择 run configurations 2 2.1 点击new 添加 LANG = en_US 2.2 选择 replace native environment with specied environment

打印脚本执行进度条

#!/bin/sh echo -n radio: tput sc                                                                                                                  #保存当前光标位置 count=0 while true;     do         if [ $count -lt 10 ];then             let count++;         

Windows 使用Eclipse编译运行MapReduce --WordCount 本地调式

一 . 准备工作 操作系统:windows 10 开发工具:eclipse 4.5 java虚拟机 :jdk 1.8  (jdk-8u91-windows-x64.exe) 官网下载地址http://download.oracle.com/otn-pub/java/jdk/8u91-b14/jdk-8u91-windows-x64.exe hadoop版本:hadoop2.6 (hadoop-2.6.4.tar.gz) 官网下载地址http://apache.fayea.com/hadoop/c

使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS

文章来源:http://www.powerxing.com/hadoop-build-project-using-eclipse/ 使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS 本教程介绍的是如何在 Ubuntu/CentOS 中使用 Eclipse 来开发 MapReduce 程序,在 Hadoop 2.6.0 下验证通过.虽然我们可以使用命令行编译打包运行自己的MapReduce程序,但毕竟编写代码不方便.使用 Eclipse,我们可以

Win7下Eclipse中运行远程MapReduce程序

1.hadoop插件的参数配置 2.运行时的参数 3.运行结果 Win7下Eclipse中运行远程MapReduce程序,布布扣,bubuko.com

Win系统下用Eclipse中运行远程hadoop MapReduce程序常见错误及解决方法

一.Permission denied 1.Win系统下用Eclipse中运行远程hadoop MapReduce程序出现报错 org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=xxx, access=WRITE, inode="xxx":xxx:supergroup:rwxr-xr-x

HDFS设计思路,HDFS使用,查看集群状态,HDFS,HDFS上传文件,HDFS下载文件,yarn web管理界面信息查看,运行一个mapreduce程序,mapreduce的demo

26 集群使用初步 HDFS的设计思路 l 设计思想 分而治之:将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析: l 在大数据系统中作用: 为各类分布式运算框架(如:mapreduce,spark,tez,--)提供数据存储服务 l 重点概念:文件切块,副本存放,元数据 26.1 HDFS使用 1.查看集群状态 命令:   hdfs  dfsadmin –report 可以看出,集群共有3个datanode可用 也可打开web控制台查看HDFS集群