云计算系列——HIVE1.2.1 环境搭建

      hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

  声明                                                                   

         安装hive的机器上存在hadoop,否则hive不能使用

         安装hive的机器是否有“hadoop服务”无影响,但是需要有hadoop可执行程序和jar包

         注:“hadoop服务”是指 jps命令输出的那些 namenode datanode.. 等等

         下文中使用的 hc9.spads 为hadoop集群中的某一节点

         Hadoop 版本为 2.5.1

  一、准备软件包                                                    

将 apache-hive-1.2.1-bin.tar.gz 和 mysql-connector-java-5.1.32.tar.gz 上传到Hadoop集群中节点hc9.spads,分别解压。

  二、检查 hadoop的环境变量,如果不存在则需要配置 

 HADOOP_HOME

验证:printenv - 输出环境变量

  三、检查 hadoop集群运行,如果未运行则需要运行    

   NameNode 和 ResourceManager 的Http监控页面

  四、检查hive 的环境变量,如果不存在则需要配置      

HIVE_HOME

验证:

  五、替换低版本jar                                                 

Hadoop下jline...jar 版本太低,需要更换为hive/lib下的 jline...jar

未替换会抛出异常(略),操作如下:

注; 仅替换 hive所在机器即可,且不需要重启hadoop服务。

  六、准备DBMS  - MySQL                                       

1、安装MySQL,其中会有提示输入 ,通常输入 y

2、启动MySQL

3、初始用户名密码 

4、登录MySQL

5、 建立hive数据库

注:使用latin字符集,若设置为utf8,hive连接时会出错。    

6、授予权限

  七、拷贝JDBC Driver 到hive下的lib                         

  八、配置hive-site.xml 中                                       

1、 HIVE - DBMS 配置

>Driver

>URL

>UserName

>Password

2、更改hive-site.xml 中的变量为真实变量

注:此二变量配置文件中存在多个,均需修改。

可将system:java.io.tmpdir 更改为/usr/local/hive

可将system:user.name 更改为 root,如下

否则会报出以下异常:

  九、安装完成,启动Hive                                         

  十、测试Hive QL 脚本                                            

1、建表

2、加载数据

>Linux机器上 新建数据文件

内容如下:

>通过hive上传到hdfs

>通过hive,查询表内容和表行数

时间: 2024-10-08 20:04:46

云计算系列——HIVE1.2.1 环境搭建的相关文章

[Android系列—] 1. Android 开发环境搭建与Hello World

前言 開始之前先熟悉几个名词: SDK -- Software Development Kit, 软件开发工具包.这个词并不陌生, JDK,就是Jave Development Kit,相同对于Android 来说也有Android SDK. Android SDK 提供了构建,測试和调试安卓应用的API 库和开发人员工具. ADT- Android Developer Tools.安卓开发人员工具, 事实上这里就是Eclipse 用于Android 开发的插件. 高速开发环境搭建 在搭建And

大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)

引言 在大数据学习系列之一 ----- Hadoop环境搭建(单机) 成功的搭建了Hadoop的环境,在大数据学习系列之二 ----- HBase环境搭建(单机)成功搭建了HBase的环境以及相关使用介绍.本文主要讲解如何搭建Hadoop+Hive的环境. 一.环境准备 1,服务器选择 本地虚拟机 操作系统:linux CentOS 7 Cpu:2核 内存:2G 硬盘:40G 说明:因为使用阿里云服务器每次都要重新配置,而且还要考虑网络传输问题,于是自己在本地便搭建了一个虚拟机,方便文件的传输以

大数据学习系列之六 ----- Hadoop+Spark环境搭建

引言 在上一篇中 大数据学习系列之五 ----- Hive整合HBase图文详解 : http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合HBase,并且测试成功了.在之前的大数据学习系列之一 ----- Hadoop环境搭建(单机) : http://www.panchengming.com/2017/11/26/pancm55/ 中成功的搭建了Hadoop的环境,本文主要讲的是Hadoop+Spark 的环境.虽然搭建的是单机版,

windows下开发cocos2d-x系列(1)—环境搭建

前言 相信每个程序猿都是喜欢玩游戏的,什么kof,dota,lol陪伴我们渡过多少快乐的时光,我也不例外.同事送了一本<cocos2d-x 3.x游戏开发之旅行>,引起了我对游戏开发的兴趣,也想在此写下自己学习的过程,激励自己坚持下去,分享成果.(本屌目前从事金融软件的开发,想学游戏开发也是出于自己的兴趣.在此也提倡大家平时搞点投资理财,祝愿早日买房买车,迎娶白富美)好了,言归正传,我们开始cocos2d-x的学习吧. 开发工具 cocos2d-x可以在windows平台上学习,也可以在mac

.Net Core 系列:1、环境搭建

前言: 2016年6月28日微软宣布发布 .NET Core 1.0.ASP.NET Core 1.0 和 Entity Framework Core 1.0. .NET Core是微软在两年前发起的开源跨平台.NET框架项目,支持Windows.OS X和Linux平台,可用于开发各种类型的应用.此次发布包括了 .NET Core运行时.库和工具,以及  ASP.NET Core库.微软还释出了Visual Studio和Visual Studio Code扩展,允许开发者创建 .NET Co

【java系列】java开发环境搭建

描述 本篇文章主要讲解基于windows 10系统搭建java开发环境,主要内容包括如下: (1)安装资料准备 (2)安装过程讲解 (3)测试是否安装成功 (4)Hello Word测试 1   安装材料准备 java开发环境搭建前,需要准备JDK和Eclipse. 1.1  JDK 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 1.2  Eclipse 下载地址:http://www.eclips

2.ionic系列之ionic开发环境搭建(一)

工欲善其事,必先利其器.本文将介绍在windows平台及mac ox平台搭建ionic开发环境的过程. 1.安装Node.js 打开Node.js官网:https://nodejs.org/官网有两个版本的node.js一个是LTS(长期支持版本),一个是Current当前版本,建议使用LTS版本下载使用.安装时,windows平台安装时一直下一步下一步就OK,mac ox平台直接安装就行.安装完成后windows打开命令行,而mac ox打开终端,输入: node –v 后回车,若出现node

大数据学习系列之二 ----- HBase环境搭建(单机)

引言 在上一篇中搭建了Hadoop的单机环境,这一篇则搭建HBase的单机环境 环境准备 1,服务器选择 阿里云服务器:入门型(按量付费) 操作系统:linux CentOS 6.8 Cpu:1核 内存:1G 硬盘:40G 2,配置选择 JDK:1.8 (jdk-8u144-linux-x64.tar.gz) Hadoop:2.8.2 (hadoop-2.8.2.tar.gz) HBase:1.6.2 (hbase-1.2.6-bin.tar.gz) 3,下载地址 官网地址: JDK: http

【Python3.6+Django2.0+Xadmin2.0系列教程一】环境搭建及项目创建

由于工作需要,接触了大半年时间的Django+xadmin框架,一直没空对这块对进行相关的梳理.最近在同事的怂恿下,就在这分享下笔者的学习及工作经验吧. 好了,话不多说,下面开始进入正题: 环境需求: 笔者的工作系统环境:Mac 10.13.4+Python3.6.x+Django2.0.x+Xadmin2.0 因此本系列教程均是以此组合为基础展开讲解.其他系统版本也基本适用,有小部分不兼容之处请自行测试. 一.Django及xadmin安装 可以使用pip命令进行安装,或者直接下载安装包用py