Hive安装配置要点

官网下载安装包;

在Profile下面定义HIVE_HOME以及HADOOP_HOME,然后在PATH下面添加HOME/bin目录,用于在命令行直接敲beeline,hive即可执行命令;

需要在hadoop中创建:

/user/hive/warehouse

/tmp

(记得当前目录以及子目录要赋权限777,否则会爆异常,见下面的异常)

Hive有两种客户端,一种是HiveCLI已经被抛弃,现在Hive主推Beeline客户端,在启动的时候需要指定用户:

beeline -u jdbc:hive2://localhost:10000

HiveServer2的启动方式是

bin/hiveserver2

hive日志存放在/tmp/username/hive.log

show tables:展示所有的表;

describe tablename:展示指定表的列信息;

hive服务监听端口:10000

hive网页的端口:10002

Error executing SQL query "select "DB_ID" from "DBS"".(启动hiveserver2的时候)

这是因为需要将hive下面的conf里面的hive-default-site.xml.template变为hive-site.xml

datanucleus.schema.autoCreateAll节点值设为true,自动创建必要的schema

hive.metastore.schema.verification节点设置为false,不验证schema的完备

java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D(启动hiveserver2的时候)

system:java.io.tmpdir单独定义一个properyt名字就叫system:java.io.tmpdir,然后赋值value即可

User: hadoop is not allowed to impersonate anonymous(启动beeline客户端的时候)

需要配置hadoop里面的core-site.xml文件添加如下节点:

<property>

<name>hadoop.proxyuser.hadoop.hosts</name>

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.hadoop.groups</name>

<value>*</value>

</property>

粗体替换为执行bin/hiveserver2的用户即可。这是因为Hadoop的安全机制,让所有的应用通过指定的代理用户来和Hadoop交互,而不是外部应用的实际用户,避免外部应用对于hadoop的高权限访问(难道是避免外部应用模拟管理员对其进行操作);后来我看了了一下core-default.xml,里面并没有hadoop.proxyuser.*的节点,这说明默认情况下是没有指定代理用户,这就导致任何外部应用都无法访问hadoop,只有在外部的core-site.xml中进行手工指定才可以。

org.apache.hadoop.security.AccessControlException Permission denied: user=anonymous, access=WRITE, inode="/user/hive/warehouse":hadoop:supergroup:drwxrwxr-x(在beeline中执行语句的时候)

需要在:

hadoop fs -chmod -R +777 /tmp

hadoop fs -chmod -R +777 /user

java.net.URISyntaxException: Relative path in absolute URI: ${system:user.name%7D (state=,code=0),在执行show tables语句的时候;

需要在hive-site.xml添加如下节点

<property>

<name>system:user.name</name>

<value>hadoop</value>

</property>

时间: 2024-12-12 15:09:19

Hive安装配置要点的相关文章

Mac上Hive安装配置

Mac上Hive安装配置 1.安装 下载hive,地址:http://mirror.bit.edu.cn/apache/hive/ 之前我配置了集群,tjt01.tjt02.tjt03,这里hive安装在tjt01机器上. 我下载的是“apache-hive-3.0.0-bin.tar.gz”,将hive 3.0版本上传到/opt目录,并解压到/usr/local下: [[email protected] ~]# cd /opt [[email protected] opt]# tar -zxv

Hive安装配置及基本操作

Hive安装配置及基本操作 1. Hive安装及配置 (1). 上传文件到Hadoop102节点,解压到/opt/moudle (2). 修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh [[email protected] conf]$ cp hive-env.sh.template hive-env.sh (3). 配置hive-env.sh文件 ? (a). 配置HADOOP_HOME路径 : export HADO

Hadoop学习之第七章节:Hive安装配置

环境要求: mysql hadoop hive版本为:apache-hive-1.2.1-bin.tar 1.设置hive用户 进入mysql命令行,创建hive用户并赋予所有权限: mysql -uroot -proot mysql>create user 'hive' identified by 'hive'; mysql>grant all on *.* TO 'hive'@'%' with grant option; mysql>flush privileges; 2.创建hiv

hive安装配置+与hbase整合

一.hive介绍hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析. 二.安装hive安装前提是hadoop集群已经安装好,并且采用cdh的yum源,hadoop.hdfs.hbase等已经就绪. yum -y install hive

hive安装配置

前提: 安装好mysql ,新建数据库hive,新建用户hive:hive ,并且允许远程登录和访问 GRANT ALL PRIVILEGES ON *.* TO 'hive'@'master' IDENTIFIED BY 'hive' WITH GRANT OPTION; flush privileges; 开始:  1.. Hive下载:http://archive.cloudera.com/cdh5/cdh/5/ wget http://archive.cloudera.com/cdh5/

hive 安装配置部署与测试

系统初始化 mysql5.6 的安装配置 hive 的安装配置处理 一: 系统环境初始化 1.1 系统环境: CentOS6.4x64 安装好的hadoop伪分布环境 所需软件包: apache-hive-0.3.1.tar.gz mysql-connector-java-5.1.27.tar.gz mysql-server-5.6.24-1.el6x86_64 mysql-client-5.6.24-1.el6x86_64 上传到/home/hadoop/yangyang/ 二: 安装mysq

Hive 安装配置

系统:Ubuntu 64 bit系统 step1:创建hive文件目录,并在hive目录下创建tmp,warehouse 和 log目录: Step2:解压hive安装包: Step3:创建配置文件: Step4:修改hive-site.xml: Step5:修改hive-log4j.properties: Step 6:使用Hadoop来创建相应的文件路径,并且要为它们设定权限: Step 7: 编辑hive-env.sh: Step8:在MySQL中创建metadata数据库 Step9:复

Hive安装与配置

Hive安装配置详解 本文主要是在Hadoop单机模式中演示Hive默认(嵌入式Derby模式)安装配置过程. 1.下载安装包 到官方网站下载最新的安装包,这里以Hive-0.12.0为例: $ tar -zxf hive-0.12.0-bin.tar.gz -C /home/ubuntu/hive-0.12.0 在这里,HIVE_HOME=" /home/ubuntu/hive-0.12.0". 2.设置环境变量 gedit /etc/profile,添加如下内容: export H

Hive-0.13.1安装配置

Hive安装配置 参考网址 http://blog.yidooo.net/archives/apache-hive-installation.html http://www.cnblogs.com/linjiqin/archive/2013/03/04/2942402.html Hbase In Action(HBase实战)和Hbase:The Definitive Guide(HBase权威指南)两本书中,有很多入门级的代码,可以选择自己感兴趣的check out.地址分别为 https:/