hive常见问题

hive的常见问题

1.     org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:10000

问题:hive --service hiveserver  启动hiveserver服务

解决方法:端口被占用  ,kill 该端口进程或者重新制定端口 hive --service hiveserver -p 10001

2.     Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient

解决方法:./hive -hiveconf hive.root.logger=DEBUG,console

输出错误日志,进行修改。一般都是hive用户mysql库权限问题。

3.       Error: dl failure on line 864

Error: failed /home/app/jdk1.7.0_21/jre/lib/i386/client/libjvm.so, because /home/app/jdk1.7.0_21/jre/lib/i386/client/libjvm.so: cannot restore segment prot after reloc: Permission denied

解决方法: /usr/sbin/setenforce 0

4.       运行Hadoop程序 时,出现  Filesystem closed异常。

通过查证是设置了缓存。需要取消缓存。

通过修改配置文件core-site.xml:

<property>

<name>fs.hdfs.impl.disable.cache</name>

<value>true</value>

</property>

程序仍然出现上述问题。

在程序中,加上这条语句:JobConf  jobConf.set("fs.hdfs.impl.disable.cache", "true");

程序运行成功。

5    Failed with exception Unable to move sourcehdfs://vmtmstorm01:8020/test to destination hdfs://vmtmstorm01:8020/user/hive/warehouse/ptest/name=ww/test

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask

原因:由于hive的用户权限问题,hive在源目录或者是目的目录没有操作的权限

时间: 2024-08-21 12:47:45

hive常见问题的相关文章

Hive架构、倾斜优化、sql及常见问题

Hive架构 hive架构如图所示,client跟driver交互,通过parser.planner.optimizer,最后转为mapreduce运行,具体步骤如下 driver输入一条sql,会由parser转为抽象语法树AST,这个是没有任务元数据信息的语法树: 语法分析器再把AST转为一个一个的QueryBlock,一个QueryBlock包含输入.输出.计算逻辑,也就是说一个子程序就是QueryBlock planner遍历所有的QueryBlock,转为一个个的Operator(算子

hive metastore Server 出现异常

报错信息: 常见问题分析: 1 hive metastore 数据库中用户名或者密码出现更改,并且重启了hive,导致生效但是CDH下没有及时更改hive metastore设置密码 2 Mysql 的连接驱动" mysql-connector-java-5.1.26-bin.jar "缺失.该驱动 需要同时存在于  $JAVA_HOME/lib/目录下.$HIVE_HOME/lib/目录下. 并且设置755权限

基于MySQL元数据的Hive的安装和简单測试

引言: Hive是一种强大的数据仓库查询语言,类似SQL,本文将介绍怎样搭建Hive的开发測试环境. 1. 什么是Hive? hive是基于Hadoop的一个数据仓库工具,能够将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,能够将sql语句转换为MapReduce任务进行执行. 其长处是学习成本低,能够通过类SQL语句高速实现简单的MapReduce统计.不必开发专门的MapReduce应用,十分适合数据仓库的统计分析. 2.  依照Hive的准备条件 2.1  Hadoop集

基于MySQL元数据的Hive的安装和简单测试

引言: Hive是一种强大的数据仓库查询语言,类似SQL,本文将介绍如何搭建Hive的开发测试环境. 1. 什么是Hive? hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析. 2.  按照Hive的准备条件 2.1  Hadoop集

hive安装部署

QQ交流群:335671559 环境准备 Linux系统 hadoop安装完成,正常运行,hadoop版本为1.x或者2.x都可以 hive安装包 1.Hive安装 Hive的安装配置还是比较简单得. 首先,到Apache下载Hive,本次安装使用的Hive版本为hive-0.13.0. 其次,下载完成后,将hive解压到想要安装的目录下. tar -zxf  hive-0.13.0.tar.gz  -C  [安装路径] 解压缩完成后,配置Hive环境变量,在终端执行修改PATH.或者直接修改/

搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+MySQL+Connector)(三)

续上一篇:搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hive+Hadoop)(二) 准备工作下载最新连接器地址 https://dev.mysql.com/downloads/connector/j/ 例子:下载mysql-connector-java-5.1.41.tar 1.解压连接器connector文件 1.1.解压 [[email protected] Software]# tar xzfmysql-connector-java-5.1.41.tar.gz [[e

基于SPARK SQL 读写ORACLE 的简单案例分析常见问题

该文章出自上海harli,偷偷地把女神的东西拿出来,希望女神不要介意. 一.概述 本文主要内容包含Spark SQL读写Oracle表数据的简单案例,并针对案例中比较常见的几个问题给出解决方法. 最后从常见的java.lang.ClassNotFoundException(无法找到驱动类)的异常问题出发,分析相关的几种解决方法,以及各个解决方法之间的异同点. 二.案例中比较常见问题及其解决方法 2.1 启动 首先查看Spark 官网给出的SparkSQL的编程指南部分(http://spark.

[转载] Hadoop和Hive单机环境搭建

转载自http://blog.csdn.net/yfkiss/article/details/7715476和http://blog.csdn.net/yfkiss/article/details/7721329 下载hadoophadoop下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/core/这里下载的版本是1.0.3$ mkdir hadoop$ wget http://www.fayea.com/apache-mirror/hadoop

hive on tez配置

1.Tez简介 Tez是Hontonworks开源的支持DAG作业的计算框架,它可以将多个有依赖的作业转换为一个作业从而大幅提升MapReduce作业的性能.Tez并不直接面向最终用户--事实上它允许开发者为最终用户构建性能更快.扩展性更好的应用程序 2.编译tez 本文记录Tez 0.8.5的编译过程,之前的Tez版本都是源码包,最新的版本虽然提供了编译后的tar包,但是大部分情况下是针对特定的Hadoop版本,如果和我们的Hadoop版本不一致,可能某个时刻会出现一些未知的问题,所以为了稳定