sqoop从关系库导出数据到hive

[Author]: kwu

sqoop从关系库导出数据到hive，sqoop支持条件查询关系库中的数到hive数据仓库中，并且字段无须与hive表中的字段一致。

具体实现的脚本：

#!/bin/sh
# upload logs to hdfs  

today=`date --date='0 days ago' +%Y-%m-%d`

sqoop import --connect jdbc:mysql://10.130.2.6:3306/bdc_test --username lvwenjuan --password Abcd1234  --table sh_compsite_index --where "V1='${today}'" --columns "V1,V2,V3,V4,V5,V6,V7" --fields-terminated-by '\001' --hive-import --hive-
drop-import-delims --hive-table stage.sh_comp_index -m 1

year=`date +%Y`  

hive -e "
insert overwrite table ods.sh_comp_index partition(year='${year}')
select distinct
trans_date ,
open_price ,
ceil_price  ,
close_price ,
bottom_price ,
volume_of_business ,
trans_amount
from
stage.sh_comp_index
where year(trans_date)=${year};
"

说明：

1、条件语句，需要加上双引号： "" ，如下：

 --where "V1='${today}'"

2、注意，sqoop的语句需要写成一行执行。

3、-m 1说明是一个map执行。

版权声明：本文为博主原创文章，未经博主允许不得转载。