sqoop导出数据到关系数据库export_fact_bi_browser_t_job.sh

#!/bin/bash

###################################
# code review [email protected] 20170504
# System Name : 大数据智慧分析平台
# Author : heguoxiu
# Description : sqoop导出数据到oracle
##################################

#引用公共变量配置文件
source /parse/opt/shell/public/public_time.cfg

#####oracle配置文件######
source /parse/opt/shell/public/public_db.cfg

#导出到oracle关系数据库对应表及字段
v_name="BI_BROWSER"
v_columns="ID,BI_TYPE,BR_NAME,BI_VALUE,BI_DATETIME,BI_CHANNEL"

#把hive目标表对应的表目录赋值变量
hdfs_dir="/RESULT/PARSEDB/FACT_${v_name}_T/year=${year}/month=${month}/day=${day}"

echo "###开始导出${v_name}: `date +"%Y-%m-%d %H:%M:%S"`"
sudo -u hdfs sqoop eval --connect ${v_host}:${v_port}:${v_database} --username ${v_username} --password ${v_password} --query "truncate table ${v_name}" &&
sudo -u hdfs sqoop export --connect ${v_host}:${v_port}:${v_database} --username ${v_username} --password ${v_password} --table ${v_name} \
--export-dir ${hdfs_dir} --fields-terminated-by ‘\001‘ --input-null-string ‘\\N‘ \
--input-null-non-string ‘\\N‘ --columns ${v_columns} -m 3

echo "###导出结束${v_name}: `date +"%Y-%m-%d %H:%M:%S"`"

原文地址：https://www.cnblogs.com/heguoxiu/p/10120553.html

时间： 2024-10-17 00:37:36

sqoop导出数据到关系数据库export_fact_bi_browser_t_job.sh的相关文章

1.131.15 Sqoop导出数据Export使用

一.export 1.export概述 export工具将一组文件从HDFS导入到RDBMS.目标表必须已经存在于数据库中.根据用户指定的分隔符读取输入文件并将其解析为一组记录, 只有map: [[email protected] sqoop-1.4.5-cdh5.3.6]# bin/sqoop help export sqoop-export有三种模式: 默认模式:将它们转换为一组将INSERT语句注入数据库的语句. 更新模式:Sqoop将生成UPDATE替换数据库中现有记录的语句. 调用模式

sqoop关系型数据迁移原理以及map端内存为何不会爆掉窥探

序:map客户端使用jdbc向数据库发送查询语句,将会拿到所有数据到map的客户端,安装jdbc的原理,数据全部缓存在内存中,但是内存没有出现爆掉情况,这是因为1.3以后,对jdbc进行了优化,改进jdbc内部原理,将数据写入磁盘存储了. 原文和作者一起讨论: http://www.cnblogs.com/intsmaze/p/6775034.html 微信:intsmaze Sqoop是apache旗下一款"Hadoop和关系数据库服务器之间传送数据"的工具.Sqoop架构非常简单,

sqoop从关系库导出数据到hive

[Author]: kwu sqoop从关系库导出数据到hive,sqoop支持条件查询关系库中的数到hive数据仓库中,并且字段无须与hive表中的字段一致. 具体实现的脚本: #!/bin/sh # upload logs to hdfs today=`date --date='0 days ago' +%Y-%m-%d` sqoop import --connect jdbc:mysql://10.130.2.6:3306/bdc_test --username lvwenjuan --p

Sqooop- 使用Sqoop进行数据的导入导出

Sqoop是Apache旗下的一个开源框架,专门用来做数据的导入和导出. 官网:https://sqoop.apache.org/ Sqoop的安装非常简单,只需要把下载下来的tar包解压设置两个环境变量就可以了 1.安装部署 下载版本:sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 官网:http://mirror.bit.edu.cn/apache/sqoop/1.4.6/ 1.1把tar包解压到/usr/sqoop tar -xvzf sqoop-1.

Oracle通过sqlplus spool导入导出数据

第一部分(实例,主要分两步),第二部分(参数小总结),第三部分(完全参数总结) 第一部分 第一步 :这是我的导出数据的脚本call.sqlconn scott/tigerset echo offset term offset line 1000 pages 0set feedback offset heading offset trimspool on spool /temp/test/ldr_test.csvselect a.empno||',"'||a.ename||'",'||t

mysql命令行导入和导出数据

MySQL中导出CSV格式数据的SQL语句样本如下: Sql代码   select * from test_info into outfile '/tmp/test.csv' fields terminated by ',' optionally enclosed by '"' escaped by '"' lines terminated by '\r\n'; [sql] view plain copy print? select * from test_info into outf

使用shell从DB2数据库导出数据

使用shell脚本根据输入的用户名,数据库名,密码从DB2数据库导出数据 (1)a.sh脚本如下 #!/usr/bin/bash read -p "please input your DBNAME: " DBNAME read -p "please input your username: " username read -p "please input your password: " password db2 connect to $DBNA

POI导出数据内存溢出问题

POI之前的版本不支持大数据量处理,如果数据过多则经常报OOM错误,有时候调整JVM大小效果也不是太好.3.8版本的POI新出来了SXSSFWorkbook,可以支持大数据量的操作,只是SXSSFWorkbook只支持.xlsx格式,不支持.xls格式. 3.8版本的POI对excel的导出操作,一般只使用HSSFWorkbook以及SXSSFWorkbook,HSSFWorkbook用来处理较少的数据量,SXSSFWorkbook用来处理大数据量以及超大数据量的导出. HSSFWorkbook

sqoop 导入数据到HDFS注意事项

今天碰到不少问题,记录一下. 分割符的方向问题 首先sqoop的参数要小心, 从数据库导出数据,写到HDFS的文件中的时候,字段分割符号和行分割符号必须要用 --fields-terminated-by 而不能是 --input-fields-terminated-by --input前缀的使用于读文件的分割符号,便于解析文件,所以用于从HDFS文件导出到某个数据库的场景. 两个方向不一样. 参数必须用单引号括起来 官方文档的例子是错的: The octal representation of