hive在命令行消除进度等错误信息

大家在使用shell脚本调用hive命令的时候,发现hive的中间过程竟然打印到错误输出流里面,这样在查看错误日志的时候,需要过滤这些没用的信息,那么可以使用如下的配置参数。

set hive.session.silent=true; (默认是false)

例如:

hive> select from_original,pv from tableName where rpt_date=‘2014-12-08‘ order by pv desc limit 4;
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapred.reduce.tasks=<number>
Starting Job = job_1417682027300_928652, Tracking URL = http://l-hdpm4.data.cn6.qunar.com:9981/proxy/application_1417682027300_928652/
Kill Command = /home/q/hadoop/hadoop-2.2.0/bin/hadoop job  -kill job_1417682027300_928652
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
2015-01-09 11:28:07,561 Stage-1 map = 0%,  reduce = 0%
2015-01-09 11:28:12,735 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.15 sec
2015-01-09 11:28:13,766 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.15 sec
2015-01-09 11:28:14,796 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.15 sec
2015-01-09 11:28:15,826 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.15 sec
2015-01-09 11:28:16,859 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.15 sec
2015-01-09 11:28:17,892 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 1.15 sec
2015-01-09 11:28:18,925 Stage-1 map = 100%,  reduce = 100%, Cumulative CPU 2.73 sec
2015-01-09 11:28:19,958 Stage-1 map = 100%,  reduce = 100%, Cumulative CPU 2.73 sec
MapReduce Total cumulative CPU time: 2 seconds 730 msec
Ended Job = job_1417682027300_928652
MapReduce Jobs Launched:
Job 0: Map: 1  Reduce: 1   Cumulative CPU: 2.73 sec   HDFS Read: 11815 HDFS Write: 83 SUCCESS
Total MapReduce CPU Time Spent: 2 seconds 730 msec
OK
suggest      6
ts_hotcity      5
suggest2      4
mps_remdd       3
Time taken: 18.502 seconds, Fetched: 4 row(s)

不过我们需要的信息就最后面那么几行,可以如此设置

hive> set hive.session.silent=true;
hive> select from_original,pv from tableName where rpt_date=‘2014-12-08‘ order by pv desc limit 4;
suggest      6
ts_hotcity      5
suggest2      4
mps_remdd       3
时间: 2024-10-25 02:22:12

hive在命令行消除进度等错误信息的相关文章

命令行下DEBIAN7时间错误的问题(转)

Debian下的时间设置问题 Debian系统经常会遇到时间不准的情况,以下几个步骤可让您轻松摆脱烦恼: 1.设定正确的时区编辑/etc/timezone,写入Asia/Shanghai 2.使用date命令设定系统时间# date -s 05/04/2008# date -s 11:11 3.同步系统时间到硬件时间,不做这一步重启后时间仍会错误# hwclock --systohc如果是硬件时间是正确的而系统时间不准,可以加参数--hctosys把硬件时间同步的系统时间上. #Kbs Bbs

Exchange 2013 打开EMS命令行窗口报WinRM错误

前2天有用户反映无法打开exchange 2013 EMS命令行窗口,报以下错误: 通过上图的报错一时无法确定原因,通过查看:事件查看器,发现有以下错误事件: 事件ID:2280 该错误大约15s 出现一次. 通过此错误ID大概判断出跟IIS有关,通过和客户沟通了解客户在此服务器上重新安装了exchange2013,而且安装目录和第1次时不一样. 由此判定此问题是因为客户重新安装exchange2013时修改了安装路径,而应用程序的配置文件路径并未进行修改,针对此问题处理方法如下: 1. 打开应

命令行模拟进度条

每次看到别人的黑框程序在安装什么包,或者操作某个东西的时候,都有个动态的进度条,感觉很逼真的样子. 这次咱们也模拟一个简易的进度条.运行效果图如下. 完整代码: #include<iostream> #include<Windows.h>//Sleep调用 using namespace std; void processbar(int iMaxValue, int iCurrentValue) { char chArr[] = "[...................

Win7命令行下查看无线网络信息

查看本机记录的wifi热点 C:\Users\Milton>netsh wlan show profiles Profiles on interface Wireless Network Connection: Group policy profiles (read only) --------------------------------- <None> User profiles ------------- All User Profile : newifi_207D_5G All

Java性能调优工具之Linux命令行工具

1.top命令 top命令能够实时显示系统中各个进程的资源占用状况.使用top命令输出如下: 前半部分是统计信息,后半部分是进程信息. 统计信息中: 第一行:任务队列:<=>uptime命令.左->右依次:系统当前时间.系统运行时间.当前登录用户数.load average:系统的平均负载,即任务队列的平均长度,3个值分别表示:1分钟,5分钟,15分钟登到现在的平均值. 第二行:进程统计信息:左->右依次:正在运行的进程数.睡眠进程数.停止的进程数.僵尸进程数. 第三行:CPU统计

python命令行解析工具argparse模块【1】

argpaser是python中很好用的一个命令行解析模块,使用它我们可以很方便的创建用户友好型命令行程序.而且argparse会自动生成帮助信息和错误信息. 一.示例 例如下面的例子,从命令行中获取几个整数,然后获取它们的和或者最大值. import argparse parser = argparse.ArgumentParser(description='Process some integers.') parser.add_argument('integers', metavar='N'

Android命令行工具

Android命令行工具 查看apk相关信息,例如versionCode,versionName等     $SDK_ROOT/build-tools/21.1.2/aapt.exe aapt dump badging xxxx.apk

详解Linux命令行下常用svn命令

1.Linux命令行下将文件checkout到本地目录 svn checkout path(path是服务器上的目录) 例如:svn checkout svn://192.168.1.1/pro/domain 简写:svn co 2.Linux命令行下往版本库中添加新的文件 svn add file 例如:svn add test.php(添加test.php) svn add *.php(添加当前目录下所有的php文件) 3.Linux命令行下将改动的文件提交到版本库 svn commit -

FFmpeg命令行工具和批处理脚本进行简单的音视频文件编辑

FFmpeg_Tutorial FFmpeg工具和sdk库的使用demo 一.使用FFmpeg命令行工具和批处理脚本进行简单的音视频文件编辑 1.基本介绍 对于每一个从事音视频技术开发的工程师,想必没有一个人对FFmpeg这个名称感到陌生.FFmpeg是一套非常知名的音视频处理的开源工具,它包含了开发完成的工具软件.封装好的函数库以及源代码供我们按需使用.FFmpeg提供了非常强大的功能,可以完成音视频的编码.解码.转码.视频采集.后处理(抓图.水印.封装/解封装.格式转换等),还有流媒体服务等