hadoop+hive+spark搭建(二)

上传hive软件包到任意节点

一、安装hive软件

  解压缩hive软件包到/usr/local/hadoop/目录下

     

  重命名hive文件夹

     

  在/etc/profile文件中添加环境变量

      export HIVE_HOME=/usr/local/hadoop/hive

      export PATH=$HIVE_HOME/bin:$PATH

  运行命令source /etc/profile

 

   使用mysql作为数据库时需要安装mysql

   在mysql中创建hive用户,数据库等

     create user ‘hive‘ identified by ‘hive‘;

     create database hive;

     grant all on hive.* to [email protected]‘%‘  identified by ‘hive‘;

     grant all on hive.* to [email protected]‘localhost‘  identified by ‘hive‘;

     flush privileges;

   退出mysql

   拷贝mysql-connector-java.jar到hive目录下lib/中

二、修改配置文件

   修改hive目录中conf/hive-default.xml.template文件为conf/hive-site.xml

    在conf目录中修改配置文件hive-site.xml

      (使用默认数据库)

     

      <property>
        <name>hive.exec.local.scratchdir</name>
        <value>/home/hive/${system:user.name}</value>
        <description>Local scratch space for Hive jobs</description>
      </property>
      <property>
        <name>hive.downloaded.resources.dir</name>
        <value>/home/hive/${hive.session.id}_resources</value>
        <description>Temporary local directory for added resources in the remote file system.</description>
      </property>
      <property>
        <name>hive.querylog.location</name>
        <value>/home/hivee/${system:user.name}</value>
        <description>Location of Hive run time structured log file</description>
      </property>

      <property>
        <name>hive.exec.local.scratchdir</name>
        <value>/home/hive/${system:user.name}</value>
        <description>Local scratch space for Hive jobs</description>
      </property>

     (mysql数据库)

     

      <property>

         <name>javax.jdo.option.ConnectionURL </name>

         <value>jdbc:mysql://localhost:3306/hive </value>

      </property>

      <property>

         <name>javax.jdo.option.ConnectionDriverName </name>

         <value>com.mysql.jdbc.Driver </value>

      </property>

      <property>

         <name>javax.jdo.option.ConnectionPassword </name>

         <value>hive </value>

      </property>

      <property>
        <name>hive.exec.local.scratchdir</name>
        <value>/home/hive/${system:user.name}</value>
        <description>Local scratch space for Hive jobs</description>
      </property>
      

      <property>
        <name>hive.downloaded.resources.dir</name>
        <value>/home/hive/${hive.session.id}_resources</value>
        <description>Temporary local directory for added resources in the remote file system.</description>
      </property>
      <property>
        <name>hive.querylog.location</name>
        <value>/home/hivee/${system:user.name}</value>
        <description>Location of Hive run time structured log file</description>
      </property>

      <property>
        <name>hive.exec.local.scratchdir</name>
        <value>/home/hive/${system:user.name}</value>
        <description>Local scratch space for Hive jobs</description>
      </property>

 

三、运行hive

  输入命令格式化数据库

    默认数据库  schematool -initSchema -dbType derby

    mysql数据库 schematool -initSchema -dbType mysql

  启动hive

      输入命令hive

      

hive安装完毕

  

时间: 2024-10-13 12:08:08

hadoop+hive+spark搭建(二)的相关文章

hadoop+hive+spark搭建(三)

一.spark安装   因为之前安装过hadoop,所以,在“Choose a package type”后面需要选择“Pre-build with user-provided Hadoop [can use with most Hadoop distributions]”,然后,点击“Download Spark”后面的“spark-2.1.0-bin-without-hadoop.tgz”下载即可.Pre-build with user-provided Hadoop: 属于“Hadoop

大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)

引言 在大数据学习系列之一 ----- Hadoop环境搭建(单机) 成功的搭建了Hadoop的环境,在大数据学习系列之二 ----- HBase环境搭建(单机)成功搭建了HBase的环境以及相关使用介绍.本文主要讲解如何搭建Hadoop+Hive的环境. 一.环境准备 1,服务器选择 本地虚拟机 操作系统:linux CentOS 7 Cpu:2核 内存:2G 硬盘:40G 说明:因为使用阿里云服务器每次都要重新配置,而且还要考虑网络传输问题,于是自己在本地便搭建了一个虚拟机,方便文件的传输以

看懂大数据的技术生态圈 Hadoop,hive,spark(转载)

先给出原文链接: 原文链接 大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的.你可以把它比作一个厨房所以需要的各种工具.锅碗瓢盆,各有各的用处,互相之间又有重合.你可以用汤锅直接当碗吃饭喝汤,你可以用小刀或者刨子去皮.但是每个工具有自己的特性,虽然奇怪的组合也能工作,但是未必是最佳选择. 大数据,首先你要能存的下大数据. 传统的文件系统是单机的,不能横跨不同的机器.HDFS(Hadoop Distributed File System

了解大数据的技术生态系统 Hadoop,hive,spark(转载)

首先给出原文链接: 原文链接 大数据本身是一个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的.你能够把它比作一个厨房所以须要的各种工具. 锅碗瓢盆,各有各的用处.互相之间又有重合.你能够用汤锅直接当碗吃饭喝汤,你能够用小刀或者刨子去皮. 可是每一个工具有自己的特性,尽管奇怪的组合也能工作,可是未必是最佳选择. 大数据,首先你要能存的下大数据. 传统的文件系统是单机的,不能横跨不同的机器. HDFS(Hadoop Distributed File

服务器Hadoop+Hive搭建

出于安全稳定考虑很多业务都需要服务器服务器Hadoop+Hive搭建,但经常有人问我,怎么去选择自己的配置最好,今天天气不错,我们一起来聊一下这个话题. Hadoop+Hive环境搭建 1虚拟机和系统安装+JDK环境 JDK安装采用二进制包压缩方式(解压之后就是直接可用了,但需要修改环境变量,使其任何路径下都可行) 修改/etc/profile,~/.bashrc 配置文件,修改环境变量. 2 Hadoop安装 Hadoop安装采用二进制文件压缩方式 三种方式 1 单机:修改 环境变量使得Had

Spark集群框架搭建【VM15+CentOS7+Hadoop+Scala+Spark+Zookeeper+HBase+Hive】

目录 1 目的 2 准备工作 3 安装过程 3.1 在虚拟机中安装CentOS7 3.1.1 虚拟机设置 3.1.2 安装Linux系统 3.2 JAVA环境 3.2.1 卸载Linux自带的jdk 3.2.2 下载并安装最新版本的jdk 3.2.3 环境变量设置 3.3 SSH免密登陆 3.3.1 准备工作 3.3.2 设置免密登陆 3.4 Hadoop2.7.2安装及集群配置 3.4.1 Hadoop安装 3.4.2 伪分布式集群配置 3.4.3 启动hadoop 3.5 Spark安装及环

通过hadoop + hive搭建离线式的分析系统之快速搭建一览

最近有个需求,需要整合所有店铺的数据做一个离线式分析系统,曾经都是按照店铺分库分表来给各自商家通过highchart多维度展示自家的店铺经营 状况,我们知道这是一个以店铺为维度的切分,非常适合目前的在线业务,这回老板提需求了,曾经也是一位数据分析师,sql自然就溜溜的,所以就来了 一个以买家维度展示用户画像,从而更好的做数据推送和用户行为分析,因为是离线式分析,目前还没研究spark,impala,drill了. 一:搭建hadoop集群     hadoop的搭建是一个比较繁琐的过程,采用3台

Mapreduce+Hive+Spark+Scala平台搭建

Mapreduce+Hive+Spark+Scala平台搭建 说明 平台搭建成功后,使用Java语言进行算法设计和应用的开发.文末有使用java设计的逻辑回归(Logistics Regression)做小数据集的二分类问题. 一.搭建准备 VMWare Workstation Ubuntu 14.04 Server.iso Xshell--远程连接主机终端 Server 版安装配置 新建三台虚拟机,安装时选择OpenSHH Server预安装环境 一台作为master 另两台作为slave,命

伪分布式Spark + Hive on Spark搭建

Spark大数据平台有使用一段时间了,但大部分都是用于实验而搭建起来用的,搭建过Spark完全分布式,也搭建过用于测试的伪分布式.现在是写一遍随笔,记录一下曾经搭建过的环境,免得以后自己忘记了.也给和初学者以及曾经挖过坑的人用作参考. Hive on Spark是Hive跑在Spark上,用的是Spark执行引擎,而不是默认的MapReduce. 可以查阅官网的资源Hive on Spark: Getting Started. 一 .安装基础环境 1.1 Java1.8环境搭建 1) 下载jdk