Hive安装-windows(转载)

1.安装hadoop

2.从maven中下载mysql-connector-java-5.1.26-bin.jar(或其他jar版本)放在hive目录下的lib文件夹

3.配置hive环境变量,HIVE_HOME=F:\hadoop\apache-hive-2.1.1-bin

4.hive配置

hive的配置文件放在$HIVE_HOME/conf下,里面有4个默认的配置文件模板

hive-default.xml.template                           默认模板

hive-env.sh.template                hive-env.sh默认配置

hive-exec-log4j.properties.template    exec默认配置

hive-log4j.properties.template               log默认配置

可不做任何修改hive也能运行,默认的配置元数据是存放在Derby数据库里面的,大多数人都不怎么熟悉,我们得改用mysql来存储我们的元数据,以及修改数据存放位置和日志存放位置等使得我们必须配置自己的环境,下面介绍如何配置。

(1)创建配置文件

$HIVE_HOME/conf/hive-default.xml.template  -> $HIVE_HOME/conf/hive-site.xml

$HIVE_HOME/conf/hive-env.sh.template  -> $HIVE_HOME/conf/hive-env.sh

$HIVE_HOME/conf/hive-exec-log4j.properties.template ->  $HIVE_HOME/conf/hive-exec-log4j.properties

$HIVE_HOME/conf/hive-log4j.properties.template  -> $HIVE_HOME/conf/hive-log4j.properties

(2)修改 hive-env.sh

export HADOOP_HOME=F:\hadoop\hadoop-2.7.2
export HIVE_CONF_DIR=F:\hadoop\apache-hive-2.1.1-bin\conf
export HIVE_AUX_JARS_PATH=F:\hadoop\apache-hive-2.1.1-bin\lib

(3)修改 hive-site.xml

  1  <!--修改的配置-->
  2
  3 <property>
  4
  5 <name>hive.metastore.warehouse.dir</name>
  6
  7 <!--hive的数据存储目录,指定的位置在hdfs上的目录-->
  8
  9 <value>/user/hive/warehouse</value>
 10
 11 <description>location of default database for the warehouse</description>
 12
 13 </property>
 14
 15 <property>
 16
 17 <name>hive.exec.scratchdir</name>
 18
 19 <!--hive的临时数据目录,指定的位置在hdfs上的目录-->
 20
 21 <value>/tmp/hive</value>
 22
 23 <description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/<username> is created, with ${hive.scratch.dir.permission}.</description>
 24
 25 </property>
 26
 27 <property>
 28
 29 <name>hive.exec.local.scratchdir</name>
 30
 31 <!--本地目录-->
 32
 33 <value>F:/hadoop/apache-hive-2.1.1-bin/hive/iotmp</value>
 34
 35 <description>Local scratch space for Hive jobs</description>
 36
 37 </property>
 38
 39 <property>
 40
 41 <name>hive.downloaded.resources.dir</name>
 42
 43 <!--本地目录-->
 44
 45 <value>F:/hadoop/apache-hive-2.1.1-bin/hive/iotmp</value>
 46
 47 <description>Temporary local directory for added resources in the remote file system.</description>
 48
 49 </property>
 50
 51 <property>
 52
 53 <name>hive.querylog.location</name>
 54
 55 <!--本地目录-->
 56
 57 <value>F:/hadoop/apache-hive-2.1.1-bin/hive/iotmp</value>
 58
 59 <description>Location of Hive run time structured log file</description>
 60
 61 </property>
 62
 63 <property>
 64
 65 <name>hive.server2.logging.operation.log.location</name>
 66
 67 <value>F:/hadoop/apache-hive-2.1.1-bin/hive/iotmp/operation_logs</value>
 68
 69 <description>Top level directory where operation logs are stored if logging functionality is enabled</description>
 70
 71 </property>
 72
 73 <!--新增的配置-->
 74
 75 <property>
 76
 77 <name>javax.jdo.option.ConnectionURL</name>
 78
 79 <value>jdbc:mysql://localhost:3306/hive?characterEncoding=UTF-8</value>
 80
 81 </property>
 82
 83 <property>
 84
 85 <name>javax.jdo.option.ConnectionDriverName</name>
 86
 87 <value>com.mysql.jdbc.Driver</value>
 88
 89 </property>
 90
 91 <property>
 92
 93 <name>javax.jdo.option.ConnectionUserName</name>
 94
 95 <value>root</value>
 96
 97 </property>
 98
 99 <property>
100
101 <name>javax.jdo.option.ConnectionPassword</name>
102
103 <value>root</value>
104
105 </property>
106
107 <!-- 解决 Required table missing : "`VERSION`" in Catalog "" Schema "". DataNucleus requires this table to perform its persistence operations. Either your MetaData is incorrect, or you need to enable "datanucleus.autoCreateTables"  -->
108
109 <property>
110
111 <name>datanucleus.autoCreateSchema</name>
112
113 <value>true</value>
114
115 </property>
116
117 <property>
118
119 <name>datanucleus.autoCreateTables</name>
120
121 <value>true</value>
122
123 </property>
124
125 <property>
126
127 <name>datanucleus.autoCreateColumns</name>
128
129 <value>true</value>
130
131 </property>
132
133 <!-- 解决 Caused by: MetaException(message:Version information not found in metastore. )  -->
134
135 <property>
136
137 <name>hive.metastore.schema.verification</name>
138
139 <value>false</value>
140
141 <description>
142
143     Enforce metastore schema version consistency.
144
145     True: Verify that version information stored in metastore matches with one from Hive jars.  Also disable automatic
146
147           schema migration attempt. Users are required to manully migrate schema after Hive upgrade which ensures
148
149           proper metastore schema migration. (Default)
150
151     False: Warn if the version information stored in metastore doesn‘t match with one from in Hive jars.
152
153 </description>
154
155 </property>   

注:需要事先在hadoop上创建hdfs目录

(4)日志文件配置 略

5.MySQL设置

(1)创建hive数据库: create database hive default character set latin1;

(2)grant all on hive.* to [email protected]‘localhost‘  identified by ‘hive‘;

flush privileges;

--本人用的是root用户,所以这步省略

6.
(1)启动hadoop:start-all.cmd
(2)启动metastore服务:hive --service metastore
(3)启动Hive:hive
 若Hive成功启动,Hive本地模式安装完成。

7、查看mysql数据库
use hive; show tables;

8.在hive下建一张表:CREATE TABLE xp(id INT,name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t‘;

9.在MySQL中查看:select * from TBLS

安装过程中遇到的问题

(1)hive启动时报错Required table missing : "`VERSION`" in Catalog "" Schema "". DataNucleus requires this table to perform its persistence operations 
参考 http://宋亚飞.中国/post/98 
(2)Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
参考http://blog.csdn.net/freedomboy319/article/details/44828337
(3)Caused by: MetaException(message:Version information not found in metastore. )
参考 http://blog.csdn.net/youngqj/article/details/19987727
(4)Hive 创建表报"Specified key was too long; max key length is 767 bytes" 错误
参考 http://blog.csdn.net/niityzu/article/details/46606581

其他参考文章:
http://www.cnblogs.com/hbwxcw/p/5960551.html hive-1.2.1安装步骤
http://blog.csdn.net/jdplus/article/details/46493553 Hive本地模式安装及遇到的问题和解决方案
http://www.coin163.com/it/x8681464370981050716/spark-Hive CentOS7伪分布式下 hive安装过程中遇到的问题及解决办法
http://www.bogotobogo.com/Hadoop/BigData_hadoop_Hive_Install_On_Ubuntu_16_04.php APACHE HADOOP : HIVE 2.1.0 INSTALL ON UBUNTU 16.04

原文地址:https://www.cnblogs.com/yifengjianbai/p/8260064.html

时间: 2024-11-02 19:13:32

Hive安装-windows(转载)的相关文章

Hive安装与部署集成mysql

前提条件: 1.一台配置好hadoop环境的虚拟机.hadoop环境搭建教程:稍后补充 2.存在hadoop账户.不存在的可以新建hadoop账户安装配置hadoop. 安装教程: 一.Mysql安装 1.安装mysql命令:Yum install mysql-server -y (-y参数作用为所有需要输入yes的地方默认yes) 2.打开mysql服务:Service mysqld start 3.设置mysql服务开机自启动(也可以不设置,开机手动启动):chkconfig –add my

VS2010 Boost编译安装(转载)

把项目从VS2008搬到VS2010的时候,导入原来的编译好的boost库居然连接失败, 提示:LINK : fatal error LNK1104: 无法打开文件“libboost_system-vc100-mt-1_47.lib”  错误 网上找答案,才知道不同的编译器所使用的boost库编译命令是不同的: 输入bjam --toolset=msvc-10.0 --build-type=complete stage 开始编译(VS2010的) (如果是VS2005, 则为msvc-8.0:如

计算机意外地重新启动或遇到错误。Windows 安装无法继续。若要安装Windows,请单击“确定”重新启动计算机,然后重新启动安装”。

问题现场 安装的系统:Windows7 64位 服务器:Dell poweredge r210 SATA Controller设置为ATA Mode 安装方式:使用大白菜PE,将Windows7的安装文件复制到硬盘上,通过Windows通用安装程序安装的. 快安装完系统时遇到提示:计算机意外地重新启动或遇到错误.Windows 安装无法继续.若要安装Windows,请单击"确定"重新启动计算机,然后重新启动安装".如下图所示: 不知道是什么原因,安装系统的过程中需要重启启动,

安装 Windows 功能角色

安装 Windows 功能角色,这谁不会啊,用控制面板,如果是服务器版本,就用服务器管理器,还有必要写吗?如果真是这样,就是浪费大家时间了.我们想要介绍的是如何安装在当前 Windows 版本中没有的功能. 首先要声明一下,本文不是严谨的学术文章,概念不够准确,而且许多地方仅仅是猜测,就算是分享一点操作层面的经验吧. 我们知道,同一个版本号(version)的Windows,有不同的版本类型(edition),比如,标准版.专业版.企业版,以及对应的服务器版本类型(到底有多少类型的版本,可以看看

【hadoop】15、hive安装

Hive的介绍和安装 Hive是什么 Hive是一个数据仓库,使用sql脚本就可以了 Hive包含几个引擎 解释器,编译器,优化器等 接触hive 首先我们进入到相应的官方文档中,接触hive的命令使用https://cwiki.apache.org/confluence/display/Hive/LanguageManual 然后我们打开命令行的模式 usage: hive -d,--define <key=value> Variable substitution to apply to h

Hive安装与配置详解

既然是详解,那么我们就不能只知道怎么安装hive了,下面从hive的基本说起,如果你了解了,那么请直接移步安装与配置 hive是什么 hive安装和配置 hive的测试 hive 这里简单说明一下,好对大家配置hive有点帮助.hive是建立在hadoop上的,当然,你如果只搭建hive也没用什么错.说简单一点,hadoop中的mapreduce调用如果面向DBA的时候,那么问题也就显现了,因为不是每个DBA都能明白mapreduce的工作原理,如果为了管理数据而需要学习一门新的技术,从现实生活

win10系统64位MatlabR2014a从安装Windows SDK7.1 到配置libsvm

我的环境:win10(64位).MatlabR2014a.Windows SDK7.1.VC-Compiler-KB2519277 1.卸载Visual c++ 2010 x86 redistributable.Visual c++ 2010 x64 redistributable(64位windows)不卸载则SDK安装不成功!安装时有可能会关于RTE.NET报错,不必理会,继续安装. 2.下载并安装windows SDK7.1 (下载地址见最后) 3.下载并运行VC-Compiler-KB2

Spark、Hadoop、Hive安装学习

1.Hive安装 http://blog.csdn.net/an342647823/article/details/46048403 2.Hadoop安装 http://www.itnose.net/detail/6182168.html 3.Spark安装 http://stark-summer.iteye.com/blog/2173219 http://ju.outofmemory.cn/entry/177769

整理齐全 - Vultr VPS自定义安装Windows ISO(2003/2012/2008/WIN7)

最近公司有几个项目是需要在Windows VPS服务器中运行调试的,但是公司给予的成本有限,所以只能在Linux VPS中考虑,毕竟Linux服务器相比Windows系统便宜很多.开始我们运维部门考虑的是安装VNC远程桌面,安装是可以的,但是链接后很慢,而且打开相当的慢.然后我们考虑在KVM VPS服务器中DD安装Windows系统,后来看到Vultr VPS有支持自定义安装Windows系统,可以自己挂载ISO系统后安装. 1.可以自定义ISO系统 这里我们需要先找到Windows系统的ISO