hive问题整理（待续）

本人对hadoop生态系统的环境搭建、配置相关再熟悉不过了，周末刚测试过oozie相关的

今早使用hive，报错：

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:270)
at org.apache.hadoop.util.RunJar.main(RunJar.java:193)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf

很奇怪，之前一直使用没问题，重装也是这样，在别的机器上装也是这样

然后查了下，

解决方法是，安装Hadoop时，修改Hadoop目录下/conf/hadoop-env.sh时，添加HADOOP_CLASSPATH变量覆盖了原有的变量，改成如下的形式即可： 
HADOOP_CLASSPATH=$HADOOP_CLASSPATH:....

好使。（周末重装hadoop导致的应该）

好久没使用博客了，以后问题整理过来备忘一下。

时间： 2024-08-30 02:05:26

hive问题整理（待续）的相关文章

Hive笔记整理（一）

[TOC] Hive笔记整理(一) Hive Hive由facebook贡献给Apache,是一款建立在Hadoop之上的数据仓库的基础框架. 数据仓库 特点--关于存放在数据仓库中的数据的说明: 是能够为企业的各个级别的决策提供数据支撑的数据 其实说白了,就是一个存放数据的仓库 数据库和数据仓库之间的区别 现代数据仓库,是构建在数据库之上的,使用数据库作为载体存放数据. 数据仓库着重强调的是存放的历史数据,数据库着重强调的是存放在线的数据. 数据仓库着重强调的是OLAP的操作,数据库着重强调的

Hive笔记整理（二）

[TOC] Hive笔记整理(二) Hive中表的分类 managed_table-受控表.管理表.内部表 表中的数据的生命周期/存在与否,受到了表结构的影响,当表结构被删除的,表中的数据随之一并被删除. 默认创建的表就是这种表. 可以在cli中通过desc extended tableName来查看表的详细信息,当然也可以在MySQL中hive的元数据信息表TBLS中查看. external_table-外部表 表中的数据的生命周期/存在与否,不受到了表结构的影响,当表结构被删除的,表中对应数

Hive笔记整理（三）

[TOC] Hive笔记整理(三) Hive的函数 Hive函数分类 函数的定义和java.mysql一样,有三种. UDF(User Definition Function 用户定义函数) 一路输入,一路输出 sin(30°)=1/2 UDAF(User Definition Aggregation Function 聚合函数) 多路输入,一路输出 max min count sum avg等等 UDTF(User Definition Table Function 表函数) 一路输入,多路输

Hive基本命令整理

创建表: hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and the other a string 创建一个新表,结构与其他一样 hive> create table new_table like records; 创建分区表: hive> create table logs(ts bigi

[Link]Hive资料整理

Hive SQL的编译过程 Hive学习分享 IBM Hive

hive 常用UDF

Hive UDF整理 (可以直接在mysql上测试,hive中没有伪表,需要手动创建,反应慢)字符串函数 字符串长度函数:length 语法: length(string A) 返回值: int 说明:返回字符串A的长度 举例: hive> select length(‘abcedfg’) from dual; 7 字符串反转函数:reverse 语法: reverse(string A) 返回值: string 说明:返回字符串A的反转结果 举例: hive> select reverse(

Nginx日志导入到Hive0.13.1,同步Hbase0.96.2,设置RowKey为autoincrement(ID自增长)

目录: 一.Nginx的相关配置,以及测试数据 二.Hadoop中创建使用目录 三.Hive的日志表创建,并同步到Hbase中 1)创建自增长ID的类,并添加到Hive环境中 2)在Hive中创建日志表 3)将Nginx的日志数据导入到Hive日志表中 方法一:将本地目录中的文件导入到hive中 方法二:从HDFS导入数据 方法三:通过如Flume.Kafka一类的工具监控日志数据,自动导入 4)在Hive中创建Hbase可以识别的表 5)将Hive的日志表,使用自增长Id做为rowkey导入到

ssm aop

1.基于半配置半注解的AOP(依赖在最底下) 配置 <!--扫描的包--> <context:component-scan base-package="cn.test.service"/> <!--开启aop注解,proxy-target-class属性设置为true表示强制使用CGLIB代理--> <aop:aspectj-autoproxy/> 被切入方法 @Service("aop") public class

hive笔记（自学整理的）

第一部分:用户管理 创建用户:CREATE DATABASE XXX 查看用户:SHOW DATABASES; 关键查看用户:show databases like 'de.*' 讲解:创建一个用户就等于在物理目录下创建了一个文件,该文件是以.db结尾的, 默认的路径是:/user/hive/warehouse/zqx.db 创建用户时可以指定路径: create database XXX location '/my/preferred/directory' 讲解:为后期维护方便,可以创建用户时