hive的使用01

1.安装mysql数据库

  1.1 查看本机是否安装了mysql数据库(rpm -qa | grep mysql)

    

  1.2 删除系统自带的mysql数据库(rpm -e --nodeps mysql-libs-5.1.66-2.el6_3.x86_64)

    

  1.3 解压mysql.zip文件,并添加执行权限(使用unzip命令进行解压.zip文件,)

    

    

  1.4 安装mysql服务端(使用rpm -ivh 安装.rpm文件)

    

    当安装完之后会有以下提示,有个随机的密码放入了/root/.mysql_secret文件中

    

    启动mysql服务端

    

  1.4 安装mysql客户端并修改root用户的密码

    

    连接到mysql服务器

    

    

    修改root用户的密码为root,并退出后重新使用root的新密码登录

  1.5 修改mysql运行登录的主机

    

    

    

    

    刷新mysql的权限策略

    

2.安装hive,并将元素数放在mysql数据库中

  2.1 将mysql驱动jar放到hive安装目录下的lib目录中

    

  2.2 修改/opt/modules/hive-0.13.1-bin/conf/hive-env.sh文件,设置hadoop安装目录和hive配置目录

    

  2.3 配置hive元数据所在的数据库,修改/opt/modules/hive-0.13.1-bin/conf/hive-site.xml(如果不存在,则进行创建)

    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>

    <!---mysql连接-->
        <property>
            <name>javax.jdo.option.ConnectionURL</name>
            <value>jdbc:mysql://life-hadoop.life.com:3306/metastore?createDatabaseIfNotExist=true</value>
        </property>

    <!--mysql驱动-->
        <property>
            <name>javax.jdo.option.ConnectionDriverName</name>
            <value>com.mysql.jdbc.Driver</value>
        </property>

    <!--连接mysql的用户名-->
        <property>
            <name>javax.jdo.option.ConnectionUserName</name>
            <value>root</value>
        </property>

    <!--连接mysql的密码-->
        <property>
            <name>javax.jdo.option.ConnectionPassword</name>
            <value>root</value>
        </property>

     <!--命令行客户端打印时是否显示列头信息-->
        <property>
          <name>hive.cli.print.header</name>
          <value>true</value>
        </property>

   <!--命令行客户端打印时是否显示数据库名信息-->
         <property>
          <name>hive.cli.print.current.db</name>
          <value>true</value>
         </property>

    </configuration>

  2.4 修改hive的日志文件所在的目录,修改/opt/modules/hive-0.13.1-bin/hive-log4j.properties文件

    

  2.5 创建hive表数据所在的文件夹

    在hdfs上创建 /tmp 和 /user/hive/warehouse目录,并赋予g+w的权限

  2.6 查看是否配置成功

    启动hive客户端

      

    查看mysql数据库

      

3.hive操作

  3.1 基本操作

    3.1.1 创建数据库 create databases hive

      

    3.1.2 创建表 create table hive.student (id int,name string,age int,sex string,address string) row format delimited fields terminated by ‘\t‘;

      

    3.1.3 加载数据到表中 load data local inpath ‘/opt/data/student.txt‘ overwrite into table hive.student;

      

    3.1.4 查看表的描述信息 desc formatted hive.student;

      

    3.1.5 查看表的详细信息 desc formatted hive.student;

      

    3.1.6 查看hive中自带的函数 show functions;

    

        

      

    

    

    

      

    

时间: 2024-11-04 05:40:16

hive的使用01的相关文章

[hadoop读书笔记] 第十五章 sqoop1.4.6小实验 - 将mysq数据导入hive

安装hive 1.下载hive-2.1.1(搭配hadoop版本为2.7.3) 2.解压到文件夹下 /wdcloud/app/hive-2.1.1 3.配置环境变量 4.在mysql上创建元数据库hive_metastore编码选latin,并授权 grant all on hive_metastore.* to 'root'@'%' IDENTIFIED BY 'weidong' with grant option; flush privileges; 5.新建hive-site.xml,内容

sqoop Mysql 导入到hdfs、hive

sqoop是一个用于在Hadoop和关系型数据库(Oracle,Mysql...)间数据传递的开源工具.下面以mysql.sqlserver为例,介绍使用sqoop将数据从mysql.sqlserver导入到Hadoop中(HDFS.Hive) #导入命令及参数介绍 通用参数 参数名 参数说明 --connect <jdbc-uri> JDBC连接字符串 --username <username> 数据库用户名 --password <password> 数据库密码 -

我喜欢减肥我们来减肥吧

http://www.ebay.com/cln/honus.jyw4mvptb/cars/158313278016/2015.01.28.html http://www.ebay.com/cln/honus.jyw4mvptb/cars/158313282016/2015.01.28.html http://www.ebay.com/cln/honus.jyw4mvptb/cars/158313289016/2015.01.28.html http://www.ebay.com/cln/usli

百度回家看沙发沙发是减肥了卡斯加积分卡拉是减肥

http://www.ebay.com/cln/hpryu-caw8ke/cars/158056866019/2015.01.31 http://www.ebay.com/cln/xub.50x2l7cj/cars/158445650015/2015.01.31 http://www.ebay.com/cln/xub.50x2l7cj/cars/158445674015/2015.01.31 http://www.ebay.com/cln/xub.50x2l7cj/cars/1584456790

巢哑偕倥乇椭煞谙暗逞帕俸

IEEE Spectrum 杂志发布了一年一度的编程语言排行榜,这也是他们发布的第四届编程语言 Top 榜. 据介绍,IEEE Spectrum 的排序是来自 10 个重要线上数据源的综合,例如 Stack Overflow.Twitter.Reddit.IEEE Xplore.GitHub.CareerBuilder 等,对 48 种语言进行排行. 与其他排行榜不同的是,IEEE Spectrum 可以让读者自己选择参数组合时的权重,得到不同的排序结果.考虑到典型的 Spectrum 读者需求

我国第三代移动通信研究开发进展-尤肖虎200106

众所周知,数据科学是这几年才火起来的概念,而应运而生的数据科学家(data scientist)明显缺乏清晰的录取标准和工作内容.此次课程以<星际争霸II>回放文件分析为例,集中在IBM Cloud相关数据分析服务的应用.面对星际游戏爱好者希望提升技能的要求,我们使用IBM Data Science Experience中的jJupyter Notebooks来实现数据的可视化以及对数据进行深度分析,并最终存储到IBM Cloudant中.这是个介绍+动手实践的教程,参会者不仅将和讲师一起在线

pl/sql学习1——标量变量psahnh6S

为类型.不能用于表列的数据类型.范围为的子类型.自然数.为的子类型.具有约束为单精度浮点数.为变量赋值时.后面要加为双精度浮点数.为变量赋值时.后面要加.为数字总位数.为小数位数是的子类型.最大精度位是的子类型.最大精度位单精度浮点型是的子类型.最大精度位双精度浮点型定义精度为位的实数..定义为位的整数.变长字符串.最长测试变量数据!.定长字符串.最长测试变长二进制字符串物理存储的为类型...固定长度.个字节使用定义数据类型那个最小值:最大值:最小值:最大值:最小值:最大值:最小值:最大值:最小

Hive编程指南_学习笔记01

第四章: HQl的数据定义 1:创建数据库 create database financials; create database  if not exists financials; 2: 查看数据库 show databases; 模糊查询数据库 show databases like 'h.*' ; 3:创建数据库改动数据库的默认位置 create database financials localtion '/my/preferred/directory' 4:添加数据库的描写叙述信息

Hive入门到剖析(一)

1 Hive简介 1.1 Hive定义 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能. 本质是将SQL转换为MapReduce程序. 1.2 为什么使用Hive 1.面临的问题 人员学习成本太高 项目周期要求太短 我只是需要一个简单的环境 MapReduce  如何搞定 复杂查询好难 Join如何实现 2.为什么要使用Hive 操作接口采用类SQL语法,提供快速开发的能力 避免了去写MapReduce,减少开发人员的学习成本 扩展