mac OSX 上 brew install hive

本文介绍brew install hive并修改默认的metastore存储方案,改Derby数据库为mysql的方法以及可能遇到的问题的解决方案。

1. 通过homebrew安装hive


1

brew install hive

2. 添加hadoop和hive的环境变量


1

2

3

4

5

6

sudo vim ~/.bash_profile

export HADOOP_HOME=/usr/local/Cellar/hadoop/hadoop.version.no

export HIVE_HOME=/usr/local/Cellar/hive/hive.version.no/libexec

source ~/.bash_profile

3. 下载mysql connector


1

2

3

curl -L http://www.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.22.tar.gz/from/http://mysql.he.net/ | tar xz

sudo cp mysql-connector-java-5.1.15/mysql-connector-java-5.1.22-bin.jar /usr/local/Cellar/hive/hive.version.no/libexec/lib/

4. 创建mysql metastore


1

2

3

4

mysql> CREATE DATABASE metastore;

mysql> USE metastore;

mysql> CREATE USER ‘hiveuser‘@‘localhost‘ IDENTIFIED BY ‘password‘;

mysql> GRANT SELECT,INSERT,UPDATE,DELETE,ALTER,CREATE ON metastore.* TO ‘hiveuser‘@‘localhost‘;

5. 配置hive的配置文件


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

cd /usr/local/Cellar/hive/hive.version.no/libexec/conf

cp hive-default.xml.template hive-site.xml

#添加或者编辑如下内容

<property>

  <name>javax.jdo.option.ConnectionURL</name>

  <value>jdbc:mysql://localhost/metastore</value>

</property>

<property>

  <name>javax.jdo.option.ConnectionDriverName</name>

  <value>com.mysql.jdbc.Driver</value>

</property>

<property>

  <name>javax.jdo.option.ConnectionUserName</name>

  <value>hiveuser</value>

</property>

<property>

  <name>javax.jdo.option.ConnectionPassword</name>

  <value>password</value>

</property>

<property>

  <name>datanucleus.fixedDatastore</name>

  <value>false</value>

</property>

6. 测试hive是否工作


1

2

3

$ hive;

hive > show tables;

hive> create table temp_table temp_col string;

7. Revoke few permissions on the mysql metastore


1

2

$ mysql

mysql> REVOKE ALTER,CREATE ON metastore.* FROM ‘hiveuser‘@‘localhost‘;

9. Further troubleshooting : 
(a) If you get a bin log error saying statement format is not support. Login to your mysql console as root

$ mysql -uroot
mysql > SET GLOBAL binlog_format = ‘ROW‘;

(b) You could also try reading the logs as follows. Logs can be emitted to the bash prompt while running hive by setting hive.root.logger to INFO,console.

$ hive -hiveconf hive.root.logger=INFO,console

(c)You could also read the raw hive logs which is usually located at /tmp/user_name/hive.log

(d)If you still have any errors, feel free to comment.

在配置完成后,可能遇到的问题解决方案

一,Reference error

解决方案:

使用sequel pro, 修改hive用户的权限,添加Reference的global权限。

二,启动hive时遇到的" Caused by: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D "

解决方案:

修改hive-site.xml 配置中的以下key value即可:

<name>hive.exec.scratchdir</name>

<value>/tmp/hive-${user.name}</value>

<name>hive.exec.local.scratchdir</name>

<value>/tmp/${user.name}</value>

<name>hive.downloaded.resources.dir</name>

<value>/tmp/${user.name}_resources</value>

<name>hive.scratch.dir.permission</name>

<value>733</value>

restart hive metastore and hiveserver2

时间: 2024-10-14 04:55:30

mac OSX 上 brew install hive的相关文章

mac osx 系统 brew install hadoop 安装指南

mac osx 系统 brew  install hadoop 安装指南 brew install hadoop 配置 core-site.xml:配置hdfs文件地址(记得chmod 对应文件夹,否则无法正常启动hdfs)和namenode的rpc通行端口 配置mapred-site.xml  中的map reduce通信端口 配置hdfs-site.xml 中的datanode 副本数. 格式化hdfs文件系统 启动Hadoop 和 yarn  namenode  datanode  map

Mac OSX上的软件包管理工具,brew 即 Homebrew

brew 即 Homebrew,是Mac OSX上的软件包管理工具,能在Mac中方便的安装软件或者卸载软件, 只需要一个命令, 非常方便. brew类似ubuntu系统下的apt-get的功能. 安装brew: curl -LsSf http://github.com/mxcl/homebrew/tarball/master | sudo tar xvz -C/usr/local --strip 1 安装软件:brew install cgdb 卸载软件:brew uninstall cgdb

如何在Mac OSX上安装xgboost

听说xgboost效果很不错,于是准备学习下,但是发现大多数资料都是在讲如何在windows或linux下安装xgboost,而且照着官方文档也没有正确的安装好多线程的xgboost.最后还是从there找到了方法. 1. Mac OSX系统一般自带python,打开终端输入python即可写python代码,所以python环境已经具备了. 2.安装 Homebrew , 类似于ubuntu中的apt-get和centos中的yum,是OSX里面的一个非常有用软件安装工具. /usr/bin/

在Mac OSX 上配置Appium+Android自动化测试环境

前提准备 开始正文之前,你需要准备好一些基本条件: 安装好Mac OSX 操作系统的设备 能够访问中国局域网以外资源的方法(没有也行,但很痛苦) 已经安装好 homebrew 已经安装好 Python3.x 已经安装好 Java Runtime Environment 安装 Android Studio / SDK 本文主要为了测试安卓应用,那么这里我们就需要安装Android Studio或者Android SDK. Android Studio - 完整的开发以及测试工具,需要梯子 Andr

在Mac OSX上安装ffmpeg &amp;&amp; ffmpeg命令行将h264封装为mp4

ffmpeg功能强大,可以通过命令行来对音视频进行处理.为了使用其功能,我在Mac上对其进行了安装. 我的Mac OS X 系统版本:OS X Yosemite, 10.10.14 关于ffmpeg在Mac OS X上的编译,FFmpeg上有官方文档说明:https://trac.ffmpeg.org/wiki/CompilationGuide/MacOSX.该文档给出了3种方法: ffmpeg through Homebrew Compiling FFmpeg yourself Manual

Mac OSX上卸载Anaconda

由于学习python方便的原因下载了Anaconda,它提供了大量的Python工具包,但是出于某种原因需要卸载. 1.在Mac OS上,卸载的过程即是删除软件包的过程.找到Anaconda的安装路径,直接拖入回收站. 2.打开终端,输入 vi ~/.bash_profile ,进入当前用户的变量信息,找到Anaconda设置的变量信息(如下),删除,vi输入:wq(保存退出). # added by Anaconda2 4.2.0 installer export PATH="/Applica

在 Mac OSX 上安装 nginx

今天在使用 brew 安装 nginx 时,提示错误,安装不上去: brew install nginx, 提示:/usr/local is not writable. 这个是需要修改 /usr/local 目录的权限: sudo chown -R $(whoami) /usr/local 执行此命令后, 再执行 brew install nginx 即可安装.

在Mac OSX上运行Windows应用程序

在Mac OSX中,借助wine,不需要安装虚拟机也可以运行Window应用程序. wine是一个在Linux和UNIX之上的,WIndows3.x和Windows APIs的实现.是运用API转换技术实现出Linux对应到Windows相应的函数来调用DLL以运行Windows程序.Wine可以工作在绝大多数的UNIX版本下,包括Linux, FreeBSD和Solaris.另外,也有适用于Mac OSX的Wine程序. 注意,wine并非是一个模拟器. 官网:https://www.wine

Mac/OSX上安装xshell

xshell没有mac版,且不愿意仅为一个程序运行一个虚拟机.怎么办?装上wine个来跑shell吧! 1.安装 WineBottler 过程略(制作.管理windows程序,类似CrossOver).2.下载 xshell 安装包,亲测 xshell 4可以正常安装使用,xshell 5的C++运行库安装失败.3.打开 WineBottler ,官方带了一些程序可以一键安装使用.4.xshell 需要手动做,简单配置一下即可.如图:5.安装过程有弹窗,手动点下一步咯(CrossOver会卡在弹