sql中使用TIMESTAMP增量抽取数据

最近的项目中需要对上百万级的数据进行增量抽取操作,因此了解了一下TIMESTAMP的应用,特此记录

timestamp -- 时间戳:数据库中自动生成的唯一二进制数字,与时间和日期无关的, 通常用作给表行加版本戳的机制。存储大小为 8个字节

每个数据库都有一个计数器,当对数据库中包含 timestamp 列的表执行插入或更新操作时,该计数器值就会增加。该计数器是数据库时间戳。这 可以跟踪数据库内的相对时间,而不是时钟相关联的实际时间。一个表只能有一个 timestamp 列。每次修改或插入包含 timestamp 列的行 时,就会在 timestamp 列中插入增量数据库时间戳值。这一属性使 timestamp 列不适合作为键使用,尤其是不能作为主键使用。对行的任 何更新都会更改 timestamp 值,从而更改键值。如果该列属于主键,那么旧的键值将无效,进而引用该旧值的外键也将不再有效。如果该表在动态游标 中引用,则所有更新均会更改游标中行的位置。如果该列属于索引键,则对数据行的所有更新还将导致索引更新。

使用某一行中的 timestamp 列可以很容易地确定该行中的任何值自上次读取以后是否发生了更改。如果对行进行了更改,就会更新该时间戳值。如果没有对行进行更改,则该时间戳值将与以前读取该行时的时间戳值一致。

使用记录:

现有源表tmp_a和目标表tmp_b,需要每天都将tmp_a中的修改的数据同步到tmp_b中

--创建源表tmp_a
create table tmp_a(a varchar(10),b TIMESTAMP)
insert into tmp_a(a) values( ‘abc‘)
insert into tmp_a(a) values( ‘123‘)

--创建目标表tmp_b
create table tmp_b(a varchar(10),b TIMESTAMP)

 查询tmp_a和tmp_b数据

--查询tmp_a
SELECT * FROM tmp_a
SELECT * FROM tmp_b

  结果,最大的值为 0x00000000000084FD

将tmp_a的数据到如tmp_b中

--导入表tmp_b
INSERT INTO tmp_b (a,b)
SELECT a,b FROM tmp_a

 执行后会发现会报错误:

消息 273,级别 16,状态 1,第 2 行
不能将显式值插入时间戳列。请对列列表使用 INSERT 来排除时间戳列,或将 DEFAULT 插入时间戳列。

查询资料后得知:timestamp这个值一般都是数据库自动添加和修改的,相当于自动增长标识一样(而且执行update修改语句这个字段也会自动更新),所以一般这个字段我们只做查询操作。如果要更新这个字段则会提示这个错误信息:不能更新时间戳列。但是这个字段是可以手动添加的,不过也只能使用DEFALUT字段(default字段为SQL Service数据库的一个默认值),如果传入其他值则会提示错误信息:不能将显式值插入时间戳列。请对列列表使用 INSERT 来排除时间戳列,或将 DEFAULT 插入时间戳列

因此需要将timestamp数据进行转化

修改tmp_b的结构为:

--创建目标表tmp_b
create table tmp_b(a varchar(10),b VARBINARY(8))

 然后将tmp_a中列b的值转化为 十六进制字符串

--导入表tmp_b
INSERT INTO tmp_b (a,b)
SELECT a,CAST(b AS VARBINARY(8)) FROM tmp_a

 执行成功,这样tmp_a和tmp_b数据相同

修改tmp_a中的数据,会发现tmp_a中的列值为‘abc’的列b已修改

UPDATE tmp_a
SET a=‘def‘ WHERE a=‘abc‘

SELECT * FROM tmp_a

--结果
a	b
def	0x0000000000008502
123	0x0000000000008501

  对比两个表的数据,不同的b列数据,则进行更新操作

SELECT * FROM tmp_a ta WHERE ta.b>0x00000000000084FD

  

时间: 2024-11-08 04:07:10

sql中使用TIMESTAMP增量抽取数据的相关文章

kettle 6.1 按时间循环增量抽取数据

场景:假设有一张表数据量很大,需要按一个时间来循环增量抽取 方法:主要是通过JOB自身调用,实现循环调用,类似于 函数自调用 的循环. 1.JOB全图: 2.获取增量时间,并设置增量时间环境变量 3.通过增量环境变更,获取本次 增量数据 4.判断增量时间是否大于当前时间,判断是否继续执行一次的增量 5.调用总JOB自身,实现循环调用

sql中对查询出来的数据进行分页

当sql中存储的数据量比较大时,在web中 数据显示时都会对数据进行分页,分页不会在客户端进行分页,而是在数据库查询过程中进行了分页. sql代码: DECLARE @pageindex INT; --页码 DECLARE @pagesize INT; --每页显示的记录数量 SET @pageindex=; SET @pagesize=5; SELECT * FROM (SELECT ROW_NUMBER() OVER(ORDER BY UserName) AS rownumber,* FRO

SQL中CRUD C——create 添加数据 R——read 读取数据 U——update 修改数据 D——delete 删除数据

在SQL server中对数据库的操作: 删除表:drop table 表名修改表:alter table 表名 添加列add 列名 列类型alter table 表名 drop column 列名 删除数据库drop database 数据库名 CRUD操作C——create 添加数据 R——read 读取数据 U——update 修改数据 D——delete 删除数据 1.添加数据insert into 表名 values('第一列值','第二列值')——数据库中用单引号 每一列都要添加 第

SQL中的float类型的数据

问题1.  如何在SQL中默认的使用float类型的数据 SQL中想要通过计算的方式最快的得到一个float类型的数据,只需要运算的其中一个值后面加上小数点就ok. 比如 :9/2=4 但是 :9/2.0=4.50000 问题2.  如何截取字段,只保留小数点两位 convert(float,4.50000,2) 原文地址:https://www.cnblogs.com/wangjinya/p/9900939.html

SQL老司机,在SQL中计算 array & map & json数据

摘要: 场景 通常,我们处理数据,一列数据类型要么是字符串,要么是数字,这些都是primitive类型的数据. 场景 通常,我们处理数据,一列数据类型要么是字符串,要么是数字,这些都是primitive类型的数据.在某些比较复杂的业务场景下,我们会在一列中使用复杂的格式,例如数组array, 对象(map),json等格式来表示复杂的数据,例如: array_column 是数组类型.假如,我们希望统计array_column中所有数值的汇总值,那么我们得遍历每一行的数组中的每一个元素. unn

SSIS+CDC 增量抽取数据

一 .建立cdc记录表用于每次增量的时间节点 create table dbo.cdc_capture_log (     cdc_capture_log_id int identity not null    , capture_instance nvarchar(50) not null    , start_time datetime not null    , min_lsn binary(10) not null    , max_lsn binary(10) not null   

PL/SQL中LOOP循环控制语句

在PL/SQL中可以使用LOOP语句对数据进行循环处理,利用该语句可以循环执行指定的语句序列.常用的LOOP循环语句包含3种形式:基本的LOOP.WHILE...LOOP和FOR...LOOP. LOOP语句的基本语法结构如下: [<<label_name>>] LOOP statement... END LOOP [label_name] [语法说明] <<label_name>>:LOOP结构的标签,是可选项. LOOP:LOOP循环开始标志. stat

一次SQL查询优化原理分析(900W+数据,从17s到300ms)

一次SQL查询优化原理分析(900W+数据,从17s到300ms) Muscleape关注 132019.12.09 00:48:52字数 1,163阅读 2,730 有一张财务流水表,未分库分表,目前的数据量为9555695,分页查询使用到了limit,优化之前的查询耗时16 s 938 ms (execution: 16 s 831 ms, fetching: 107 ms),按照下文的方式调整SQL后,耗时347 ms (execution: 163 ms, fetching: 184 m

ETL中的数据增量抽取机制

ETL中的数据增量抽取机制 (     增量抽取是数据仓库ETL(extraction,transformation,loading,数据的抽取.转换和装载)实施过程中需要重点考虑的问 题.在ETL过程中,增量更新的效率和可行性是决定ETL实施成败的关键问题之一,ETL中的增量更新机制比较复杂,采用何种机制往往取决于源数据系统的 类型以及对增量更新性能的要求. 1 ETL概述 ETL包括数据的抽取.转换.加载.①数据抽取:从源数据源系统抽取目的数据源系统需要的数据:②数据转换:将从源数据源获取的