hive 问题收集

  1. 报错：FAILED: Error in metadata: MetaException(message:Got exception: java.lang.reflect.UndeclaredThrowableException null)
    FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

解决：dfs.permissions   设为false，否则容易报权限问题。 mysql> alter database hive character set latin1;

时间： 2024-10-14 06:57:47

hive 问题收集的相关文章

Flume-NG + HDFS + HIVE 日志收集分析

最近做了一个POC,目的是系统日志的收集和分析,此前有使用过splunk,虽然用户体验很好,但一是价格昂贵,二是不适合后期开发(splunk已经推出了SDK,后期开发已经变得非常容易).在收集TB级别的日志量上flume-ng是更好的选择,因为后面的存储是扩展性极佳的HDFS.先简要介绍一下测试环境: 5台VM机器(RHEL6.3): 1, collector01 2, namenode 3, datanode01 4, datanode02 5, datanode03 第一台机器collect

apache hive 无法收集stats问题

环境: hive: apache-hive-1.1.0 hadoop:hadoop-2.5.0-cdh5.3.2 hive元数据以及stats使用mysql进行存储. hive stats相关参数如下: hive.stats.autogather:在insert overwrite命令时自动收集统计信息,默认开启true:设置为true hive.stats.dbclass:存储hive临时统计信息的数据库,默认是jdbc:derby:设置为jdbc:mysql hive.stats.jdbcd

[No000026]365种创业、办公、和生活成长的精华资源

只需要具备以下技能,人人都可以成为企业家:经得起失败的考验,思维活跃,新点子不断,能够脚踏实地把新点子转化为产品,并在这个过程中坚持不懈,百折不挠,即使跌倒了,也要及时从失败中学习,迅速投入到下一次冒险之旅中.      ——詹姆斯·阿尔图切尔(James Altucher) 接下来这份长长的清单不仅是为企业家.创业者准备的,只要你想过上更惬意的生活,在工作中更加得心应手,这些资料就适合你.我相信这些资料总会帮助到大家甚至是读到这篇文章的每个人. 那我们就来看下能让梦想成真的免费应用/工具! 创

Flume NG 简介及配置实战

Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用.Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera.但随着 FLume 功能的扩展,Flume OG 代码工程臃肿.核心组件设计不合理.核心配置不标准等缺点暴露出来,尤其是在 Flume OG 的最后一个发行版本 0.94.0 中,日志传输不稳定的现象尤为严重,为了解决这些问题,2011 年 10 月 22 号,cloudera 完成了

Impala SQL 语言元素（翻译）[转载]

原 Impala SQL 语言元素(翻译) 本文来源于http://my.oschina.net/weiqingbin/blog/189413#OSC_h2_2 摘要 http://www.cloudera.com/content/cloudera-content/cloudera-docs/Impala/latest/Installing-and-Using-Impala/ciiu_langref_sql.html 目录[-] Impala SQL 语言元素(Elements) ALTER T

Hadoop、Pig、Hive、NOSQL 学习资源收集

(一)hadoop 相关安装部署 1.hadoop在windows cygwin下的部署: http://lib.open-open.com/view/1333428291655 http://blog.csdn.net/ruby97/article/details/7423088 http://blog.csdn.net/savechina/article/details/5656937 2.hadoop 伪分布式安装: http://www.thegeekstuff.com/2012/02/

收集hive优化解决方案

hive的优化问题1.启动一次JOB尽可能多做事,尽量减少job的数量.能重用就重用,要设计好的模型.2.合理设置reduce个数,reduce个数过多,会造成大量小文件问题.3.使用hive.exec.parallel参数控制在同一个sql中的不同的job是否可以同时运行,提高作业的并发4.注意join的使用,表小用map join,否则用普通reduce join,hive会将前面的表数据装入内存,因此可将数据少的表放在数据多的表之前,减少内存资源消耗.5.注意小文件的问题    在hive

Hadoop及HIVE学习宝典收集

Hive经常使用命令https://cwiki.apache.org/confluence/display/Hive/GettingStartedhttp://richardxu.com/hiveql-common-operations/http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2843448.html?hadoopm 原文地址:https://www.cnblogs.com/ldxsuanfa/p/10547967.html

Hive入门--4.flume-数据收集工具

Flume简介 Flume安装 1. 解压 flume安装包到 /itcast/ 目录下 tar -zxvf /*flume安装包*/ /itcast/ 2. 修改 flume配置文件: 2.1 flume-env.sh 修改文件名称: mv flume-env.sh.template flume-env.sh 添加java_home,保证flume所使用的jdk和hdfs是一样的(可以使用 echo JAVA_HOME 查看当前机器所使用的javaHome所在路径) 2.2 编写agent配置