hive安装以及hive on spark

spark由于一些链式的操作，spark 2.1目前只支持hive1.2.1

hive 1.2安装

到http://mirror.bit.edu.cn/apache/hive/hive-1.2.1/ 网址下载hive1.2.1的部署包

2.配置系统环境变量/etc/profile

export HIVE_HOME=/opt/hive-1.2.1

export PATH=$PATH:$HIVE_HOME/bin

source /etc/profile 使刚刚的配置生效

3. 解压

tar -xvf apache-hive-1.2.1-bin.tar
mv apache-hive-1.2.1-bin /opt/hive-1.2.1

4.修改配置文件

可不做任何修改hive也能运行，默认的配置元数据是存放在Derby数据库里面的，大多数人都不怎么熟悉，我们得改用mysql来存储我们的元数据，以及修改数据存放位置和日志存放位置等使得我们必须配置自己的环境，下面介绍如何配置。

cp $HIVE_HOME/conf/hive-default.xml.template $HIVE_HOME/conf/hive-site.xml
cp $HIVE_HOME/conf/hive-env.sh.template $HIVE_HOME/conf/hive-env.sh
cp $HIVE_HOME/conf/hive-exec-log4j.properties.template $HIVE_HOME/conf/hive-exec-log4j.properties
cp $HIVE_HOME/conf/hive-log4j.properties.template $HIVE_HOME/conf/hive-log4j.properties

修改 hive-env.sh

vi $HIVE_HOME/conf/hive-env.sh

export HADOOP_HOME=/root/hadoop

export HIVE_CONF_DIR=/opt/hive-1.2.1/conf

修改 hive-log4j.properties

mkdir $HIVE_HOME/logs
vi $HIVE_HOME/conf/hive-log4j.properties修改log.dir的目录
hive.log.dir=/opt/hive-1.2.1/logs

修改 hive-site.xml

cp mysql-connector-java-5.1.17.jar $HIVE_HOME/lib //复制mysql驱动包

时间： 2024-11-05 12:16:00

hive安装以及hive on spark的相关文章

hive安装运行hive报错通解

参考博文:https://blog.csdn.net/lsxy117/article/details/47703155 大部分问题还是hadoop的配置文件的问题: 修改配置文件hadoop/conf/ hadoop-env.sh,将HADOOP_CLASSPATH原来的值改为如下,重启hadoop集群,然后启动hive,启动成功.export HADOOP_CLASSPATH=.:$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin 原文地址:https:

Spark、Hadoop、Hive安装学习

1.Hive安装 http://blog.csdn.net/an342647823/article/details/46048403 2.Hadoop安装 http://www.itnose.net/detail/6182168.html 3.Spark安装 http://stark-summer.iteye.com/blog/2173219 http://ju.outofmemory.cn/entry/177769

spark 2.0.0集群安装与hive on spark配置

1. 环境准备: JDK1.8 hive 2.3.4 hadoop 2.7.3 hbase 1.3.3 scala 2.11.12 mysql5.7 2. 下载spark2.0.0 cd /home/worksapce/software wget https://archive.apache.org/dist/spark/spark-2.0.0/spark-2.0.0-bin-hadoop2.7.tgz tar -xzvf spark-2.0.0-bin-hadoop2.7.tgz mv spa

Hive学习之路（二）Hive安装

Hive的下载下载地址http://mirrors.hust.edu.cn/apache/ 选择合适的Hive版本进行下载,进到stable-2文件夹可以看到稳定的2.x的版本是2.3.3 Hive的安装 1.本人使用MySQL做为Hive的元数据库,所以先安装MySQL. MySql安装过程http://www.cnblogs.com/qingyunzong/p/8294876.html 2.上传Hive安装包 3.解压安装包 [[email protected] ~]$ tar -zxvf

Hive安装与应用过程

1. 参考说明参考文档: https://cwiki.apache.org/confluence/display/Hive/GettingStarted 2. 安装环境说明 2.1. 环境说明 CentOS7.4+ Hadoop2.7.5的伪分布式环境主机名 NameNode SecondaryNameNode DataNodes centoshadoop.smartmap.com 192.168.1.80 192.168.1.80 192.168.1.80 Hadoop的安装目录为:

大数据技术之_08_Hive学习_01_Hive入门+Hive安装、配置和使用+Hive数据类型

第1章 Hive入门1.1 什么是Hive1.2 Hive的优缺点1.2.1 优点1.2.2 缺点1.3 Hive架构原理1.4 Hive和数据库比较1.4.1 查询语言1.4.2 数据存储位置1.4.3 数据更新1.4.4 索引1.4.5 执行1.4.6 执行延迟1.4.7 可扩展性1.4.8 数据规模第2章 Hive安装.配置和使用2.1 Hive安装地址2.2 Hive安装部署2.3 将本地文件导入Hive案例2.4 MySql安装2.4.1 安装包准备2.4.2 安装MySql服务器2.

hive 安装教程

1. 下载hadoop-1.2.1-bin.tar.gz 解压,修改名称为hive mv 到 /opt/hive 2.配置hive cp hive-default.xml.template hive-site.xml 修改hive-site.xml cp hive-log4j.properties.template hive-log4j.properties 修改hive-env.sh,配置环境变量 3.安装mysql sudo yum install mysql-server 修改root 密

Hive安装（一）之环境配置

Hive Web Interface(HWI)简介:Hive自带了一个Web-GUI,功能不多,可用于效果展示,如果没有安装Hue的话,是个不错的选择. 由于hive-bin包中没有包含HWI的页面,只有Java代码编译好的jar包:hive-hwi-1.0.1.jar 因此需要下载源码从中提取jsp文件并打包成war文件到hive-lib目录中: cd apache-hive-1.0.1-src/hwi jar cfM hive-hwi-1.0.1.war -C web . 最后将hive-h

Hive安装与配置

Hive安装配置详解本文主要是在Hadoop单机模式中演示Hive默认(嵌入式Derby模式)安装配置过程. 1.下载安装包到官方网站下载最新的安装包,这里以Hive-0.12.0为例: $ tar -zxf hive-0.12.0-bin.tar.gz -C /home/ubuntu/hive-0.12.0 在这里,HIVE_HOME=" /home/ubuntu/hive-0.12.0". 2.设置环境变量 gedit /etc/profile,添加如下内容: export H