多终端数据同步机制设计

多终端数据同步机制设计(一)

Intro

因为项目需要,需要设计一个多终端数据同步的机制, 需要满足以下条件: 1. 多个终端数据操作及同步 2. 每次同步的时候只拉取需要同步的数据,且数据不能存在丢失 3. 尽可能少的调用服务器端接口

同步流程

整体同步流程

我想仿照Git数据同步的方式来进行数据同步,于是放着Git同步的流程来进行设计,首先每次提交会有一个版本号,另外每次提交之前应尽可能先从服务器端拉取数据, 保证客户端的数据是最新的情况下再进行提交本地的修改。按照Git的方式来进行数据同步时,可能会存在数据冲突,如果存在数据冲突需要客户端解决冲突。
也就是总体来说,操作有两个大的操作,一个是从服务器端拉取数据,一个是向服务器端推送数据更新。
在数据库层面有一个数据版本表来存储每一次提交,每一次更新会在更新结束之后将在版本表中加上一条记录,更新一个版本,并将版本号返回给客户端,
每次从服务器端拉取更新的时候不仅会将更新的数据返回给客户端,也会将最新的版本号返回到客户端,用以客户端下一次同步数据。

最后服务器端提供了三个接口

  1. GetCurrentVersion() 查询用户数据的最新版本号,
  2. PullData() 从服务器端拉取更新数据,
  3. PushData() 向服务器端推送本地数据更新

思虑再三之后最终产出了下面的流程图:

从服务器端获取用户数据的最新版本号

客户端调用 GetCurrentVersion() 接口,需要传递一个标识用户账号的参数,这样才能查询到某一个用户的数据信息。
根据用户账号信息查询数据的最新版本号,返回到客户端,客户端根据服务器端的版本号和本地进行比较,如果一致则说明是最新版本之后判断本地是否有修改有修改则直接提交即可,如果不一致一定不是最新版本则进行服务器端拉取数据更新数据和版本号后再提交本地修改(如果有修改)。

从服务器端拉取数据流程

从服务器端拉取更新有些麻烦,如果在一台设备上有几个版本没有更新的话,需要考虑将几个版本的数据合并,具体问题以及流程在后文中会提及。

从服务器端拉取数据基本流程如下:

客户端拉取数据后更新本地数据流程

客户端调用 PullData 接口 从服务器拉取本地需要修改的数据同时每一条数据都对应一个操作状态来更新本地数据,从服务器端返回数据的同时返回数据对应的操作状态,客户端根据返回的操作状态对数据进行相应的处理,返回数据时也需要将最新数据的版本号也返回用以客户端更新本地数据版本。

客户端向服务器推送更新

客户端调用 PushData 接口向服务器端推送更新,将需要提交的修改提交到服务器端,服务器端返回客户端每一个需要进行修改的数据的操作状态,是否修改成功。

被我踩到的那些坑

Pull 数据版本合并

从服务器端拉取数据的时候需要考虑到多个版本的提交数据合并问题,我们的数据比较简单是直接更新原来的数据,因此不会涉及到文本分块再合并这一类太复杂的操作,但是也需要将几个版本的修改进行合并,例如新增数据,两个版本各新增两条数据则应返回四条数据才对,一个版本新增另一个版本删除掉的数据就不应该返回给客户端。
这就需要考虑如何高效并且准确的返回客户端需要更新的数据,这里需要提及一下我的版本表的涉及,版本表里除了版本号之外有更新人,更新时间和每次调用 PushData 接口时的请求参数和返回给客户端的操作状态集合的响应的转换为json字符串存储在数据库中,每次更新完数据之后在版本表中插入一条新的版本数据。

解决方案一:

第一种方式,首先我考虑从版本表里取出每次修改成功的数据,再将多个版本的修改进行合并到一个List,再去重,如果遇到两条相同的数据需要进行去重操作,需要根据每条数据的操作类型来判断该如何具体的去重,大致分四种情况:

  1. 先新增后修改 --> Add
  2. 先新增最后删除 --> null 不需要返回给客户端
  3. 先修改之后还是修改 --> Update
  4. 先修改最后删除 --> Delete

这里不仅操作类型需要修改,数据内容也是需要进行合并的,需要最新的数据返回。

解决方案二:

第二种方式,按照版本的更新时间和数据的创建时间和更新时间的关系来进行筛选数据和判断数据的操作类型,如果数据删除的话只是修改数据的状态并不真正的删除数据。

首先将更新时间大于本地版本对应的版本更新时间的数据查询出来,这些数据是在本地版本更新之后的所有数据,
之后筛选数据,按操作类型可分四种情况:

  1. 创建时间 >= 版本更新时间 && IsDeleted = 0 --> Add
  2. 创建时间 >= 版本更新时间 && IsDeleted = 1 --> null 先创建后删除,不需要返回到客户端
  3. 创建时间 < 版本更新时间 && IsDeleted = 0 --> Update
  4. 创建时间 < 版本更新时间 && IsDeleted = 1 --> Delete

筛选并判断操作类型之后将数据返回给客户端

综合比较,确定版本合并方案

经过分析,第一种方案数据操作起来非常麻烦,相对的第二种解决方案数据操作会很少,可以在数据库层面进行判断筛选,至于数据准确度方面两者差不多,
考虑并发问题的话可以在 调用 Push 接口时根据用户账号进行加锁,综合一下,最终采用第二种解决方案。

Push接口

调用Push接口的时候原本没有判断本地的版本号,如果出现客户端没有按照设定的顺序来调用接口可能就会出现不可想象的数据灾难,而且作为接口本身是没办法控制客户端的调用顺序的。
所以,修改后的 Push 接口需要客户端传递一个客户端版本号的参数,如果不是最新版本的数据拒绝提交,并提示客户端先更新数据到最新版本后再提交数据。

时间不统一

这个问题算是自己给自己挖的坑,在更新数据的时候时间取的都是网站服务器端时间,但是在新增版本的时候新增的参数里的更新时间用的却是数据库服务器的时间,由于数据库服务器和网站服务器不在一台服务器上,
数据库服务器的时间比网站服务器上的时间慢了几秒,这导致我在从服务器端拉取数据时出现有的数据没有拉取出来的情况,后来debug从数据库中查询数据确实更新了而且版本也正确插入了,最后一一记录每一条数据的更新时间和每个版本的更新时间,
这才发现时间有点不太对,再检查下自己的sql语句,发现新增版本的sql的更新时间用的是GETDATE(),而更新数据的sql都是参数,用的是网站服务器的时间。。发现问题的我顿时想抽死自己...(

In the end

最后,这个设计一定还存在着不足,希望大神看到能给出自己的看法和意见,有不正确的地方还希望能够告知。

时间: 2024-12-26 17:04:43

多终端数据同步机制设计的相关文章

多终端数据同步机制设计(二)

多终端数据同步机制设计(二) Intro 如果您没有看上一篇文章,建议您先移步到这里查看第一部分 上一次主要解决了基本的数据增量同步的问题,但仍然存在一些问题. 可能存在的主要问题: 大数据量传输时,数据在传输过程出现部分丢失,数据不完整 超大数据量需要同步,导致响应时间过长而导致连接超时 针对以上可能出现的这两个问题,需要对数据进行校验并且数据量超过一定量时进行分批量传输, 本文将着手解决 数据校验 和 数据分批次传输 这两个问题. 同步流程概览 结合之前的同步流程,加上数据校验和分批次传输数

Android 建立手机与手表数据同步机制总结

Android Wear 数据同步机制总结 当手机与手表建立蓝牙连接之后,数据就可以通过Google Play Service进行传输. 同步数据对象Data Item DataItem提供手机与手表数据存储的自动同步,一个DataItem对象由其创建者与路径组成的URI所确定.一个DataItem对象为手机和手表提供了一个数据通路,开发者通过改变指定的DataItem实现手机和手表的数据自动同步. 访问数据层API DataItem可以提供手机和手表数据的保存,改变该对象的操作则依赖数据层AP

基于OAuth2.0协议 第三方登录与数据同步验证设计

前段时间,公司跟别的公司签订合作伙伴,搞了一个第三方登录与数据共享同步,是基于OAuth2.0协议,现在空闲了,做一下笔记. 到github下载一个OAuth2.0的PHP类库(当然,你也可以自己写一个^-^,但个人觉得没必要造轮子),有写好Mysql与Mongodb的Demo,参考一下,然后嵌套自己的业务代码,下面是客户端与服务端的交互流程: +-----------+ +-----------+| | 带client_id的URL请求获取code | || | ---------------

[android数据库同步]【架构】一种Android界面数据同步刷新机制

我们来谈谈客户端界面的数据同步问题. 界面数据同步的需求 比如,下面的AB两个界面中都显示了学生Leslie的信息,当我们在A界面修改学生学号时,我们希望回到B界面时,学生的信息也能跟着改变,才能保证业务数据的正确和一致性. 这就涉及到数据的同步和刷新问题. 主界面显示了学生和老师的信息 另一个界面也显示了学生的信息 刷新数据时都要从数据源再次请求数据吗? 如今手机应用的数据几乎都来自网络(或者本地数据库).假如我们在A界面上修改了学生的信息并同步到网络,若回到B界面需要刷新该学生的信息,再次调

游戏开发手记:游戏逻辑模块组织及数据同步

这周工作主要分两部分,一是服务器这边的基础模块搭建,二是服务器与客户端通信模式以及数据同步等方案的协定和验证.总体来说进展不错. 服务器采用actor模式来构建,目前暂时把服务器上运行着的actor叫做service,每个service维护一个请求队列.一个goroutine不断取出请求并进行处理.一组负责处理消息的逻辑模块.游戏服务器里的每个玩家都是一个service,不隶属玩家的功能模块也作为service运行(如排行榜.聊天.公会),还有其他全局模块也作为独立的service运行(如玩家i

利用触发器实现kettle数据同步

2016年8月17日 一.目的 通过触发器实现数据同步二.思路 1.在数据库需要同步的源表中建立一个insert触发器,当有新数据插入时,会自动将新插入数据的主键记录到临时表temp中.(当然也可以记录多个字段) 2.比较临时表temp和源表中的数据,匹配两个表中的主键值是否一致(也可以匹配多个字段),将符合条件的源表数据筛选出来,同步到目标表. 3.当同步完数据之后,清空temp表中的数据,进行下一轮同步.三.优缺点 1.优点 避免对相同数据的扫描,减少同步时间. 2.缺点 只在本地测试,未能

《华油能源OA系统数据同步和扩展的设计与实现_张宇峰》阅读笔记

为什么我会找到这篇论文? 华油能源集团拥有多套信息化软件系统,每个用户需要登录操作多个软件系统,记住多个系统的用户名.密码,需要不停的切换到每个系统,查看是否有需要进行的工作:管理员更是疲于每天对各个软件后台进行部门.人员.密码等信息的维护操作.基于此,华油能源集团有必要对这些系统进行关联整合:各个系统之间的数据同步:各个系统之间的数据的发送扩展:基于一套系统可以登录多套系统的单点登录操作. 我现在项目中遇到的问题就是,如何去整合不同系统中的密码和账号.我需要一个同步机制. 然后,我现在有的系统

Java中的闪光点:ThreadLocal是线程Thead的局部变量,可替代同步机制的设计,值得学习和研究

线程局部变量ThreadLocal,是Java支持的一种线程安全机制,目的是解决多线程的并发问题. 具体来讲,就是多个线程访问该实例对象的变量时,该实例对象将其存储为键值对的形式,保证各个线程(键)分别对应一份该变量值(值),从而保证多线程变量值得安全访问. ThreadLocal与同步机制比较 同步机制:用锁机制保证同一时间只有一个线程访问变量(用时间换空间),变量是多线程共享的,设计时要缜密分析什么时候读写?什么时候锁定?什么时候释放? ThreadLocal:提供每个线程一个独立的变量副本

计算机底层知识拾遗(七)页缓存数据同步和页回收机制

这篇说说Linux的页缓存数据同步和页回收机制.数据同步和页回收是两个独立的概念,数据同步处理的是内存/缓存的数据和后备设备的数据一致问题,页回收处理的是在内存空间不足时如何回收已分配的物理内存页,来获得足够空间分配干净页,支持优先级更高的工作.数据同步在任意时刻都有可能触发,页回收则是在物理内存使用达到一定阀值的时候触发. 数据同步就是把物理内存和页缓存中的脏页写回到后备设备的文件中去.有两种方式可以调用数据同步 1. 周期性的调用,主要是pdflush机制 2. 强制调用,比如调用sync,