oracle数据接入clickhouse
11选5平台租用搭建(企 娥:217 1793 408)
oracle数据接入包括两个方面:一是CDC,基于日志做数据变化的捕捉,包括增删改;二是增量数据的准实时导入,依赖于自增id或时间字段,相对于CDC而言部署较为简单,适用场景也仅适用于增量数据。在此仅介绍增量数据的接入。
一、clickhouse单机安装
升级OpenSSL
rpm -Uvh openssl-1.0.2k-12.el7.x86_64.rpm
安装Unixodbc
rpm -ivh unixODBC-2.3.1-11.el7.x86_64.rpm
安装clickhouse
rpm -ivh clickhouse*
二、oracle–>flume–>kafka
尝试使用kafka connect 中的jdbc source 连接oracle,一直连接失败。但是连接mysql是可以的,暂时未找到问题所在。
flume安装
(略)使用hdp中 Flume 1.5.2
kafka安装
(略)使用hdp中kafka 0.10.1
flume-ng-sql-source
编译:
为clickhouse写入方便,将默认分隔符由‘,’改为‘\t’;
以后可考虑增加json格式。
把flume-ng-sql-source-1.4.3.jar放到flume的lib目录下
oracle
建表
create table flume_ng_sql_source (
id varchar2(32) primary key,
msg varchar2(32),
createTime date not null
);
原文地址:http://blog.51cto.com/13866266/2140910
时间: 2024-11-10 06:44:51