Hive学习(四)hive安装记录

本篇为安装篇较简单:

前提:

1: 安装了hadoop-1.0.4(1.0.3也可以)正常运行

2:安装了hbase-0.94.3, 正常运行

接下来,安装Hive,基于已经安装好的hadoop,步骤如下:

1:下载

http://hive.apache.org/下载hive-0.9.0/

创建目录

/hive

将文件hive-0.9.0保存在/hive下

2:解压缩

[[email protected] download]# cd /hive

[[email protected] hive]# ls

hive-0.9.0.tar.gz

[[email protected] hive]# tar xfz hive-0.9.0.tar.gz

[[email protected] hive-0.9.0]# ls

bin  conf  docs  examples  lib  LICENSE  NOTICE  README.txt  RELEASE_NOTES.txt  scripts  src

[[email protected] hive-0.9.0]#

3:配置

进入conf目录

[[email protected] hive-0.9.0]# cd conf

[[email protected] conf]# ls

hive-default.xml.template  hive-env.sh.template  hive-exec-log4j.properties.template  hive-log4j.properties.template

[[email protected] conf]#

做如下配置:

首先复制几个template文件

[[email protected] conf]# cp hive-default.xml.template hive-default.xml

[[email protected] conf]# cp hive-env.sh.template hive-env.sh

[[email protected] conf]# cp hive-log4j.properties.template hive-log4j.properties

[[email protected] conf]# cp hive-exec-log4j.properties.template hive-exec-log4j.properties

然后配置对应的配置文件

a: hive-default.xml

缺省先不修改

b:hive-env.sh

缺省的为256M,此处暂时不调整

# export HADOOP_HEAPSIZE=1024

# Set HADOOP_HOME to point to a specific hadoop install directory

HADOOP_HOME=/hadoop/hadoop-1.0.4

# Hive Configuration Directory can be controlled by:

export HIVE_CONF_DIR=/hive/hive-0.9.0/conf

4:启动

进入/hive/hive-0.9.0/bin

[[email protected] conf]# cd ../bin

[[email protected] bin]# ls

ext  hive  hive-config.sh

[[email protected] bin]# ./hive

WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter
in all the log4j.properties files.

Logging initialized using configuration in file:/hive/hive-0.9.0/conf/hive-log4j.properties

Hive history file=/tmp/root/hive_job_log_root_201301032313_932376477.txt

hive>

hive> show tables;

OK

Time taken: 21.874 seconds

hive>

hive安装可能会遇到的问题

1.hive报Invalid
maximum heap size: -Xmx4096m错误解决方法

[email protected]:~/hive-0.6.0$ bin/hive

Invalid maximum heap size: -Xmx4096m

The specified size exceeds the maximum representable size.

Could not create the Java virtual machine.

解决方法:

~/hive-0.6.0/bin/ext/util$ vim execHiveCmd.sh

修改

HADOOP_HEAPSIZE=4096

HADOOP_HEAPSIZE=256

时间: 2024-11-01 11:18:18

Hive学习(四)hive安装记录的相关文章

Hive学习心得&Hive的UDF

一:Hive基本介绍 Hive是建立在Hadoop上的数据仓库基础构架,它提供了一系列工具可以用来进行数据提取.转化.加载,这是一种可以存储.查询和分析存储在Hadoop中的大规模的数据机制. 使用语言:QL语言(类SQL查询语言).能处理内建的mapper和reducer无法完成的复杂分析工作. 1.Hive是SQL解析引擎,它将SQL语句转译成M/R Job然后再Hadoop执行. 2.Hive的表其实是HDFS的目录(/文件夹),按表名把文件夹区分开.如果是分区表,则分区值是子文件夹,可以

[hive学习翻译]Hive - Introduction

术语"大数据"用于大数据集的集合,包括大量,高速度和各种日益增加的数据.使用传统的数据管理系统,很难处理大数据.因此,Apache Software Foundation引入了一个称为Hadoop的框架来解决大数据管理和处理难题. HadoopHadoop是一个开放源代码框架,用于在分布式环境中存储和处理大数据.它包含两个模块,一个是MapReduce,另一个是Hadoop分布式文件系统(HDFS). MapReduce:它是一个并行编程模型,用于在大型商品硬件集群上处理大量的结构化,

Hive学习路线图

Hive学习路线图 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等. 从2011年开始,中国进入大数据风起云涌的时代,以Hadoop为代表的家族软件,占据了大数据处

Hive学习路线图--张丹老师

前言 Hive是Hadoop家族中一款数据仓库产品,Hive最大的特点就是提供了类SQL的语法,封装了底层的MapReduce过程,让有SQL基础的业务人员,也可以直接利用Hadoop进行大数据的操作.就是这一个点,解决了原数据分析人员对于大数据分析的瓶颈. 让我们把Hive的环境构建起来,帮助非开发人员也能更好地了解大数据. 目录 Hive介绍 Hive学习路线图 我的使用经历 Hive的使用案例 1. Hive介绍 Hive起源于Facebook,它使得针对Hadoop进行SQL查询成为可能

Hive学习路线图(转)

Hadoophivehqlroadmap学习路线图 1 Comment Hive学习路线图 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等. 从2011年开始,中国

hive学习

大数据的仓库Hive学习 10期-崔晓光 2016-06-20  大数据   hadoop   10原文链接 我们接着之前学习的大数据来学习.之前说到了NoSql的HBase数据库以及Hadoop中的HDFS存储系统,可是我们发现这跟我们平时常用的关系型数据库有很大区别,为了使用方便,产生了针对大数据存储的数据仓库Hive. 一.是什么 1.概念 Hive 是一个基于 Hadoop 的开源数据仓库工具,用于存储和处理海量结构化数据. 它把海量数据存储于 hadoop 文件系统,而不是数据库,但提

hive安装记录

hive独立模式安装--jared 该部署笔记是在2014年年初记录,现在放在51cto上. 有关hadoop基础环境的搭建请参考如下链接: http://ganlanqing.blog.51cto.com/6967482/1387210 JDK版本:jdk-7u51-linux-x64.rpmhadoop版本:hadoop-0.20.2.tar.gzhive版本:hive-0.12.0.tar.gzmysql驱动包版本:mysql-connector-java-5.1.7-bin.jar 1.

hive学习系列2——环境安装

1.hive的安装  (1)解压缩.重命名.设置环境变量,参考hadoop1学习系列2 (2)在目录$HIVE_HOME/conf/下,执行命令mv hive-default.xml.template  hive-site.xml重命名     在目录$HIVE_HOME/conf/下,执行命令mv hive-env.sh.template  hive-env.sh重命名 (3)修改hadoop的配置文件hadoop-env.sh,修改内容如下:     export HADOOP_CLASSP

hive学习系列1——Mysql安装

安装mysql (1)执行命令 rpm -qa |grep mysql 查看mysql是否安装     删除linux上已经安装的mysql相关库信息. rpm  -e  xxxxxxx(查看的库名,可使用右键复制)   --nodeps     执行命令 rpm -qa |grep mysql 检查是否删除干净 (2)执行命令  rpm -i   mysql-server-********  安装mysql服务端 (3)启动mysql 服务端,执行命令  后台运行 mysqld_safe &