一、hive安装(内置数据库derby)

hive是一个数据仓库工具,建立在hadoop之上,它的存在是为了让大数据的查询和分析更加的方便。hive提供简单的sql查询功能,并最终转换为mapreduce任务执行。

一、环境

  • JDK1.8+官方推荐新版JDK,否则可能存在不同版本不兼容问题
  • hadoop采用2.0+版本,否则hive2.0+将不支持hadoop1.0+
  • Linux环境和window皆可作为生产环境,但是macos的话一般作为开发环境

本文采用centos7系统,JDk1.8,和hadoop2.9

JDK安装参考:https://www.cnblogs.com/lay2017/p/7442217.html

hadoop单节点安装参考:https://www.cnblogs.com/lay2017/p/9912381.html

hdfs单节点安装配置:https://www.cnblogs.com/lay2017/p/9919905.html

以上,我们构建了JDK,hadoop以及配置了hadoop中的hdfs。hive将基于jdk和hadoop环境,将数据存储在hdfs中。

同时,为了简单,我们只进行单节点安装配置,并只配置了hdfs,没有mapreduce和yarn的配置。

以及,元数据存储我们也不使用独立的mysql或者derby,直接采用默认的内置数据库derby,使用内置数据库只会允许有一个connection,所以如果是生产环境通常是会使用独立的数据库mysql。

这样,我们就构建了hive的基本环境,接下来我们进行hive的安装配置

二、hive安装配置

我们先建立一个Hive目录,然后进入该目录

mkdirs /usr/local/hadoop/hive
cd /usr/local/hadoop/hive

本文采用1.2.2版本的hive,下载该tar包,这里要等待一段时间

wget http://mirrors.hust.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz

然后解压

tar apache-hive-1.2.2-bin.tar.gz

你可以看到解压后的文件

接下来我们需要给hive配置环境变量

当然,请确保你之前安装的hadoop和jdk是可用的配置

使用命令,使得配置生效

source /etc/profile

我们进入hive目录

cd /usr/local/hadoop/hive/apache-hive-1.2.2-bin

进入hive shell看看(请记得要先启动hdfs:start-dfs.sh)

这样就说明我们已经配置成功hive了,退出hive

我们看到该目录下创建了metastore

这就意味着在apache-hive-1.2.2-bin目录下存放着你的元数据,而下次你也得在这个目录去启动hive,如果在其他位置启动Hive,你会找不到这些表而觉得奇怪。

以上,我们就简单安装配置了hive,并成功启动hive shell同时自动创建了元数据数据库(metastore_db);

原文地址:https://www.cnblogs.com/lay2017/p/9973298.html

时间: 2024-11-08 10:39:52

一、hive安装(内置数据库derby)的相关文章

windows内置数据库删除方法

安装微软自带一些应用的时候会使用到一种数据库,WID(windows internal database),中文名称是windows内置数据库. 通常会使用到该数据库的应用如下列几种: Active Directory 权限管理服务 (AD RMS) Microsoft Windows 服务器更新服务 Windows 系统资源管理器 这些应用以及服务使用数据库的单个实例 1 安装 Windows 内部数据库 通常不需要安装 Windows 内部数据库.由第一个需要它的应用程序或服务安装,如果非要

VMWare Hyperic 和 Dell Foglight 已将内置数据库定为PostgreSQL

最新发布的Dell Foglight 5.8.5应用性能管理(APM)产品,已经将内置数据库从MySQL迁移到PostgreSQL,分析其中的原因可能有多种:一个是许可证问题,MySQL被Oracle收购后,商业许可证一直是个问题,遮遮掩掩,躲躲藏藏,限制了MySQL的采用:另一个是产品本身的稳定性,安全性,性能和功能,虽然各有千秋,不过对于技术人员,PostgreSQL的操控性要好一些. VMware公司收购的另一款开源APM产品 Hyperic,已经在几年前就放弃了对MySQL的支持,全面支

Android 学习心得(2)——Android内置数据库SQLite

一.简介: Android有一个内置数据库SQLite,它是一种轻型数据库,它有五种数据类型:NULL(空型).BLOB(二进制).INTEGER(整型).REAL(浮点型).TEXT(字符串文本),虽然有着五种数据之分,但是在内部SQLite存储数据是无类型的,也就是说你可以在integer中存入char数据之类的.  二.要点: INTEGER PRIMARY KEY中只能存放64位整数 在编写CREATE TABLE时候可以省略字段后面的数据类型 SQLite中可以解析大部分标准SQL语句

Hive基础(4)---Hive的内置服务

版权声明:<—— 本文为作者呕心沥血打造,若要转载,请注明出处@http://blog.csdn.net/gamer_gyt <—— 目录(?)[+] 一:Hive的几种内置服务 执行bin/hive --service help  如下: [html] view plain copy [[email protected] hive]$ bin/hive --service help ls: 无法访问/opt/spark/lib/spark-assembly-*.jar: 没有那个文件或目录

IDEA内置数据库调试的一些问题

今天使用IDEA内置的database调试功能,一开始连mysql死活连不上,无奈换了(面向弱智的)h2数据库,没设置用户名和密码时能够连上,后来设置后又连不上了,会报[28000/200]的错误. 解决方案:删除配置数据库路径下的mv.db和trace.db文件,重启数据库,使用其默认的用户名和密码:sa/123.我怀疑mysql也是这样的...记下来以备今后不时之需. 原文地址:https://www.cnblogs.com/eddywei/p/12303051.html

DBA:MySQL内置数据库说明和管理

环境:源码安装MySQL 一.检查数据库服务状态 [[email protected] ~]# netstat -tunlp |grep mysqld tcp6 0 0 :::3306 :::* LISTEN 13347/mysqld [[email protected] ~]# ps -ef |grep mysqld root 12829 1 0 12:35 pts/0 00:00:00 /bin/sh /usr/local/mysql/bin/mysqld_safe --datadir=/u

Hive常见内置函数及其使用

函数分类 HIVE CLI命令 显示当前会话有多少函数可用 SHOW FUNCTIONS; 显示函数的描述信息 DESC FUNCTION concat; 显示函数的扩展描述信息 DESC FUNCTION EXTENDED concat; 简单函数 函数的计算粒度为单条记录. 关系运算 数学运算 逻辑运算 数值计算 类型转换 日期函数 条件函数 字符串函数 统计函数 聚合函数 函数处理的数据粒度为多条记录. sum()-求和 count()-求数据量 avg()-求平均直 distinct-求

Hadoop Hive安装,配置mysql元数据库

由于Hive依赖于Hadoop,安装Hive之前必须确认Hadoop可用,关于Hadoop的安装可以参考集群分布式 Hadoop安装详细步骤,这里不再叙述. 1.下载Hive安装包 下载地址为:http://www.apache.org/dyn/closer.cgi/hive(或点击下面链接),选择一个稳定版本,假设下载的版本为:apache-hive-1.0.1-bin.tar.gz,解压: tar -zxvf apache-hive-1.0.1-bin.tar.gz 在apache的下载列表

MongoDB的内置角色 Built-In Roles

关于芒果的权限控制说白了就是定义 Role(角色) 来控制对数据库进行的操作(调用的方法比如查询方法find). 系统内置的Role分为 以下几大类: Database User Roles 这个是针对非系统数据库和部分系统表的角色组 Database Administration Roles 可以操作所有数据库 Cluster Administration Roles 管理员族 针对整个系统进行管理 Backup and Restoration Roles 备份还原角色组 All-Databa