向Hive中传入变量的方式

Hive向程序中传递变量的方式

  • 暴力替换

    • 字符串替换
    • 正则替换
    • 模板引擎
  • 系统环境变量
    • shell环境变量:${env:varname}
    • system系统变量:${system:varname}
  • hive 命令参数
    • hivevar方式:${hivevar:varname}
    • hiveconf方式:${hiveconf:varname}

hive接收外部变量方式详解

  • 使用Hive编写程序最常用的方法是将Hive语句写到文件中,然后使用hive -f filename.hql来批量执行查询语句。经常需要将外部参数传入到hql语句中替换其中的变量来动态执行任务,比如动态设定数据库名、表名、时间值、字段序列等变量,以达到脚本泛化执行的目的。
  • 在使用hive开发数据分析代码时,经常会遇到需要改变运行参数的情况,比如select语句中对日期字段值的设定,可能不同时间想要看不同日期的数据,这就需要能动态改变日期的值。如果开发量较大、参数多的话,使用变量来替代原来的字面值非常有必要,对传入的方式进行总结。

数据准备

  • hive 表中创建数据
use test;

---学生信息表
create table IF NOT EXISTS student(
sno bigint comment ‘学号‘ ,
sname string comment ‘姓名‘ ,
sage bigint comment ‘年龄‘ ,
pdate string comment ‘入学日期‘
)
COMMENT ‘学生信息表‘
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ‘\t‘
LINES TERMINATED BY ‘\n‘
STORED AS TEXTFILE;

LOAD DATA LOCAL INPATH
‘/home/users/root/testdata_student‘
INTO TABLE student;
  • 测试数据
1 name1 21 20130901
2 name2 22 20130901
3 name3 23 20130901
4 name4 24 20130901
5 name5 25 20130902
6 name6 26 20130902
7 name7 27 20130902
8 name8 28 20130902
9 name9 29 20130903
10 name10 30 20130903
11 name11 31 20130903
12 name12 32 20130904
13 name13 33 20130904

1-shell中设置变量,hive -e中直接使用

  • 测试脚本
#!/bin/bash
tablename="student"
limitcount="8"
hive -S -e "use test; select * from ${tablename} limit ${limitcount};"
  • 可以正常运行
  • 由于hive自身是类SQL语言,缺乏shell的灵活性和对过程的控制能力,所以采用shell+hive的开发模式非常常见,在shell中直接定义变量,在hive -e语句中就可以直接引用;

注意

  • 注意:使用 hiveconf 定义,在hive -e中是不能使用的
  • 修改一下刚才的shell文件,采用-hiveconf的方法定义日期参数:
#!/bin/bash
tablename="student"
limitcount="8"

hive -S     -hiveconf enter_school_date="20130902"     -hiveconf min_age="26"     -e     "    use test;         select * from ${tablename}         where             pdate=‘${hiveconf:enter_school_date}‘             and             sage>‘${hiveconf:min_age}‘         limit ${limitcount};"
  • 运行会失败,因为该脚本在shell环境中运行的,于是shell试图去解析{hiveconf:enter_school_date}和${hiveconf:min_age}变量,但是这两个SHELL变量并没有定义,所以会以空字符串放在这个位置。

方法2:使用-hiveconf定义,在SQL文件中使用

  • 因为换行什么的很不方便,hive -e只适合写少量的SQL代码,所以一般都会写很多hql文件,然后使用hive –f 的方法来调用,这时候可以通过-hiveconf定义一些变量,然后在SQL中直接使用。
  • 先编写shell文件
#!/bin/bash

hive -hiveconf enter_school_date="20130902" -hiveconf min_ag="26" -f testvar.sql
  • 被调用脚本
use test;
select * from student
where
pdate=‘${hiveconf:enter_school_date}‘
and
sage > ‘${hiveconf:min_ag}‘
limit 8;

方法3:使用hivevar,再sql文件中使用

  • 再hql脚本中写使用set hivevar:varname的方式
  • 定义脚本
#!/bin/bash
hive -f testvar.sql
  • sql脚本
use test;
set hivevar:center_school_date="20130920";
set hivevar:min_age="26";
select * from student
where
pdate=‘${hivevar:enter_school_date}‘
and
sage > ‘${hivevar:min_ag}‘
limit 8;

原文地址:https://www.cnblogs.com/sx66/p/12039577.html

时间: 2024-11-06 09:43:38

向Hive中传入变量的方式的相关文章

[DB][mybatis]MyBatis mapper文件中的变量引用方式#{}与${}的差别

MyBatis mapper文件中的变量引用方式#{}与${}的差别 默认情况下,使用#{}语法,MyBatis会产生PreparedStatement语句中,并且安全的设置PreparedStatement参数,这个过程中MyBatis会进行必要的安全检查和转义. 示例1: 执行SQL:Select * from emp where name = #{employeeName} 参数:employeeName=>Smith 解析后执行的SQL:Select * from emp where n

MyBatis mapper文件中的变量引用方式#{}与${}的差别

MyBatis mapper文件中的变量引用方式#{}与${}的差别 默认情况下,使用#{}语法,MyBatis会产生PreparedStatement语句中,并且安全的设置PreparedStatement参数,这个过程中MyBatis会进行必要的安全检查和转义.示例1:执行SQL:Select * from emp where name = #{employeeName}参数:employeeName=>Smith解析后执行的SQL:Select * from emp where name

Spring中使用变量${}的方式进行参数配置

在使用Spring时,有些情况下,在配置文件中,需要使用变量的方式来配置bean相关属性信息,比如下面的数据库的连接使用了${}的方式进行配置,如下所示: <bean id="dataSource" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close"> <property name="driverClassName" v

javaz中向方法中传入变量,数据有的发生改变有的没有改变的原因

//在栈里面的数据不具备内存地址,方法运行创建,方法结束销毁.变量----也就是在栈中的基本数据 方法中的变量:    基本数据类型----变量==基本数据(8大类型)    引用数据类型----变量==内存地址                在方法中定义的变量,方法结束后都会销毁.(基本数据(8大类型)和内存地址被销毁)    in (Object    obj){        }        out(    ){        //进入的时候会创建一个与变量相同的变量(局部/成员/静态)

[转载]MyBatis mapper文件中的变量引用方式#{}与${}的差别

转载自:http://blog.csdn.net/szwangdf/article/details/26714603 默认情况下,使用#{}语法,MyBatis会产生PreparedStatement语句中,并且安全的设置PreparedStatement参数,这个过程中MyBatis会进行必要的安全检查和转义.示例1:执行SQL:Select * from emp where name = #{employeeName}参数:employeeName=>Smith解析后执行的SQL:Selec

JavaScript 中 申明变量的方式--let 语句

let 语句 - 声明一个块范围变量. 语法 1 let 变量名 = 初始化值; 例子 1 "use strict"; 2 let name = '赵敏'; 3 (function opt(){ 4 let name = '张无忌'; 5 console.log(name); 6 })(); 7 console.log(name+'1a'); 案例结果 1 张无忌 2 赵敏1a 总结 - let 语句创建的变量,作用域在于声明它的块中. - let 语句声明的变量,在声明之前不能使用.

hive中的表、外部表、分区和桶的理解

一.概念介绍 Hive 没有专门的数据存储格式,也没有为数据建立索引,用户可以非常自由的组织 Hive 中的表,只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符,Hive 就可以解析数据 Hive 中的 Table 和数据库中的 Table 在概念上是类似的,每一个 Table 在 Hive 中都有一个相应的目录存储数据.例如,一个表 pvs,它在 HDFS 中的路径为:/wh/pvs,其中,wh 是在 hive-site.xml 中由 ${hive.metastore.wareh

Ansible系列(六):各种变量定义方式和变量引用

本文目录:1.1 ansible facts1.2 变量引用json数据的方式 1.2.1 引用json字典数据的方式 1.2.2 引用json数组数据的方式 1.2.3 引用facts数据1.3 设置本地facts1.4 输出和引用变量1.5 注册和定义变量的各种方式 1.5.1 register注册变量 1.5.2 set_fact定义变量 1.5.3 vars定义变量 1.5.4 vars_files定义变量 1.5.5 roles中的变量 1.5.6 命令行传递变量 1.5.7 inve

Hive中变量的使用

1.Hive配置属性 (1)命令行方式 Hive配置属性存储于 hiveconf 命名空间中,该命名空间中的属性是可读写的.在查询语句中插入 '${hiveconf:变量名}',就可以通过 hive -hiveconf来替换变量.例如,查询语句和执行方式如下: [root]$cat test.sql #查看该文件 SELECT * FROM ${hiveconf:tablename} limit ${hiveconf:var_rows}; [root]$hive -hiveconf tablen