石墨文档的云端表格实时压缩策略

多人实时协作是石墨文档吸引人的一大特性之一。使用石墨文档,你可以和同事、朋友同时编写一篇文档或表格,每个人的修改都会实时的同步给其他人。你可以看到每个人光标的跳动,每一个键入的文字。一篇篇运营文案、一份份产品头脑风暴,伴着一杯杯茶与咖啡,就这样在石墨文档上诞生了。

美好的事物背后总是充满艰辛。在技术实现上,多人实时编写会造成许多的冲突,拿表格来说,当用户 Bob 在 B2 单元格编写内容的时候,他的朋友 Jeff 在 B 列的前面又插入了一列,如果两个操作同时发给服务器就会产生冲突。在石墨文档,我们维护了一个数据计算集群通过一套算法计算分析来帮助用户解决冲突。如上面提的例子,最终 Bob 在 B2 单元格编写内容的操作经过服务端的计算会被 transform 成在 C2 单元格的操作发给 Jeff。

为了尽可能地降低多人实时编写的时延,我们付出了非常多的努力来使得这套算法能够在符合语义地解决编写冲突的前提下尽可能地高效。数据统计表明,在石墨文档有将近 90% 的冲突数据计算可以在几毫秒的时间内运算完成。成就这瞬息时间的功臣之一,就是我们这套算法的一个基本原则:运算耗时仅和操作本身相关,与文档(或表格)原始内容大小无关,换句话来讲,就是算法的时间复杂度不能和原始内容大小正相关。

这个基本原则来源于我们对用户体验的直觉感知:随着用户在一篇文档或表格中不断地编写,数据同步的速度不应该随着内容的增多而不断变慢,否则使用者对写作体验的好感会逐渐降低,最终导致用户慢慢倾向于尽量少地在石墨文档上编写内容。

去年 12 月,石墨文档正式对外发布了表格公测版。在上线了一段时间后,表格的性能问题逐渐引起我们的重视。当在表格选择一个范围后,设置表格属性(如对齐方式、字号等)后,程序会为范围内的每个单元格创建一个数据对象来记录这些数据。如果选择的范围很大,数据对象就会变得非常多,影响了网络传输和算法计算的速度。

为了解决这个问题,我们决定引入 Range 的概念来将这些拥有同样属性的邻近单元格通过一个范围矩形来表示。如为 B2-C4 单元格设置了文本右对齐格式,之前的表示方法为:

{  B2: { attributes: { align: ‘right‘ } },  B3: { attributes: { align: ‘right‘ } },  B4: { attributes: { align: ‘right‘ } },  C2: { attributes: { align: ‘right‘ } },  C3: { attributes: { align: ‘right‘ } },  C4: { attributes: { align: ‘right‘ } }}

而通过 Range 来表示则为:

{  RANGE: {    start: ‘B2‘,    end: ‘C4‘,    attributes: { align: ‘right‘ }  }}

可见使用 Range 来表示表格内容能够使数据的存储更为精简,这样既降低了网络带宽开销,也相应地提高了计算的性能。

确定目标后,问题就被归结为“寻找一个矩阵中的最大公共属性子矩阵”这样清晰的算法逻辑了。

由经验可知,实现寻找最大公共矩阵的目标算法的最佳时间复杂度应该是 O(M*N),因为无论漏掉矩阵中的哪一个元素,都无法确保找到的矩阵是最佳方案。另一方面,与这个问题非常接近的经典算法 Largest Rectangle in Histogram,其时间复杂度为 O(N)。所以我们这里可以进一步地将算法归结成寻找 M 次直方图中的最大矩形,如下图所示。

以 A1-D5 为矩阵边界,我们从 D 列开始开始对每一列计算直方图的最大矩阵,其中图中的“upper”为直方图的上部方向。对于每一列,我们使用一个长度为 N (如果使用 Sentinel 来避免边界计算的话则为 N+1)的 cache 数组来存储当前列的直方图高度,即其右侧连续公共属性矩阵的长度。拿 B 列举例,其对应的直方图为:

可以看出,B 列最大的矩阵是由第三行和第四行组成的面积为 4 的方形。实际计算时可以通过维护一个堆栈来存储递增的直方柱高度,y遍历一次找出最大的矩形,具体细节可以参考相关的算法资料。对每列进行同样的计算,我们最终可以得出最终的结果。

然而这种算法虽然能够在功能上解决我们的需求,但是其却违背了我们上述提到的算法的基本原则——每次用户的修改,即使只更改了一个单元格,因为有可能会把得到的最大矩形破坏掉,所以我们也不得不对整个表格进行重新运算。

为了能够解决这个问题,我们支持了一个表格存在多个 Range 的结构。在上述算法的基础上,我们定义了一个候选矩阵阈值,每当发现一个矩阵得分超过阈值时,就将其加入一个列表中。阈值的大小取值与表格本身的大小(因为表格数据结构本身缓存了自身的大小,所以这里并不违反“基本原则”)相关,基于我们根据生产环境中的数据计算出的经验公式呈正相关关系。加入列表的时候,因为当前的矩形可能和列表中已经存在的矩形重合,重合的面积就是当同时保留这两个矩形时所浪费的面积,我们称之为冗余面积。我们同样给出了一个经验公式来根据这个冗余面积对新加入(或已存在)的候选矩形进行取舍,宏观来讲即是当候选矩形面积越大、冗余面积越小时就更倾向于保留两个候选矩形,反之则倾向于舍弃一个候选矩形。

接下来,当用户对表格做了修改时,我们不再对整个表格进行重新计算了,只需要对 Range 列表进行一些更新。根据修改位置和原先存在的 Range 中的每个矩形的关系,分为如下几种情况:

  1. 与原先 Range 中的矩形不相连
  2. 与原先 Range 中的矩形相连
  3. 在原先 Range 中的矩形内

如下图所示:

对于第一种情况,则判断用户修改的矩形是否达到了候选矩阵阈值,如果达到了则加入 Range 列表中,否则就以单元格的形式存储。

对于第二种情况,则判断有没有新形成一个更大的矩形(根据坐标进行简单运算即可,是一个 O(1) 操作),如果有则更新原矩形,否则就以单元格形式存储用户的修改。

对于第三种情况,用户的修改会将原来的矩形打散成几个部分,这时会具体分析打散后的每个矩形是否达到候选矩阵阈值,如果达到则放入 Range 中,否则就将改矩形转存成单元格的形式。

可想而知,随着用户修改的增多,原有 Range 中的矩形会不断地被打散,导致越来越趋近于候选矩阵阈值;同时多次增加小的矩形即使最终组成了符合阈值的矩形,也因为没有全局遍历导致无法识别。以上两种情况共同导致了 Range 的碎片化。

针对碎片化的问题,我们为每个表格增加了 fragment 参数记录了当前表格的碎片化程度。每次有针对单元格的操作和行列变换时,就会更新 fragment 的值(实际上,单元格操作和行列变换对 fragment 值的影响并不相同,行列变换时如果命中 Range 中的很多矩形,我们会将 fragment 值进行更大幅度的提升)。当 fragment 达到临界值时,我们会重新跑一次算法来对表格数据进行一次全盘压缩,并重置 fragment。

现在,我们只剩最后一个问题了。那就是尽管我们对表格压缩算法做了精细的优化,实际压缩起来,面对有几万个单元格的大表格来说,压缩一次也要消耗十几毫秒左右。而且一般来说,越大的表格,其协作频率越高,即 fragment 越容易达到临界值,也导致了压缩的频率会更高,从而对服务器的压力也更大。

当多个人编写同一份表格时,每个人拿到的表格数据都是完整且最终一致(约几十毫秒的时延)的。根据这个背景,我们在工程层面对大表格的碎片问题进行了进一步地解决:多个人同时编写表格时,每一个用户都会内置一个碎片计数器并以固定的相位差来定时在浏览器端计算候选矩阵列表,然后和当前服务器版本的结果比较,并在下次向服务器发送本地修改时附带比较的结果。服务器端会根据这个结果相应地调整表格的 fragment 值。对于大表格而言,用户操作的频率虽然会相对更高,但是因为往往都是在已经规范好格式的表格中进行编写的,所以导致的碎片程度反而会比较低。使用这种方法使得服务器只需要在必要的时候才重新计算 Range;并且由于在浏览器端使用了 Web Worker 进行计算,用户实际的表格编写体验并不会受到影响,反而降低碎片整理频率最终能给用户带来更好的编写体验。

我们正在招聘!

石墨文档技术部是一个有趣的团队,我们热衷于尝试新技术,思考新方向,探索一切可以为目之可及的世界增添色彩的方法。欢迎加入我们来一起改进身边人的文档编写体验,经历人生中的下一场波澜!

[北京/武汉] 石墨文档 做最美产品 - 寻找中国最有才华的工程师加入

时间: 2024-10-05 17:32:00

石墨文档的云端表格实时压缩策略的相关文章

Zine和石墨文档竞品分析

市场环境 (1)该类产品的市场生成状况如何,收益比例如何然后再决定是否加入 属于工具类产品,笔记类的工具产品在市场上很多:印象笔记.为知笔记.石墨文档.Zine等等. 这些产品基本上已经覆盖了笔记这一类工具所衍生出来的各种需求 但是工具类产品的通病就是留存率低,用完即走,用户更换成本低,不好用马上换掉 所以就必需:1.功能上做到极致,2.想办法做用户沉淀或者内容沉淀,3.深度挖掘用户需求 而做沉淀跟文字.记录.图片等元素是分不开的,所以笔记类产品具备先天优势 (2)该类产品的主要传播渠道.盈利手

使用Java POI来选择提取Word文档中的表格信息

通过使用Java POI来提取Word(1992)文档中的表格信息,其中POI支持不同的ms文档类型,在具体操作中需要注意.本文主要是通过POI来提取微软2003文档中的表格信息,具体code如下(事先需要导入POI的jar包): public static void testWord2() { try { FileInputStream in = new FileInputStream("july 2005 1.doc");// 载入文档 // FileInputStream in

自制桌面小工具——石墨文档自动索引

现在线上协作大多需要使用诸如石墨文档或云协作这样的协同工具. 进行社群运营工作时,由于文档太多,各人建立文件夹的方式又难以统一,因而产生文件多而乱的问题. 为了快速地找到文件,除了使用石墨本身自带的搜索功能外,还可以对某一个目录下的全部文件生成索引. 索引的格式如: 目录一 链接一 子目录A 链接A 文件1 链接1 文件2 链接2 子目录B 链接B 文件3 链接3 文件4 链接4 如需使用该产品,请评论回复你的邮箱. 现有git源码版及win版exe可提供. 原文地址:https://www.c

沫沫金提供:word文档批量选择表格【启用宏】

上百上千表格,需要全部设置大小.手动就废了 记录这个word批量选择表格的方法 ALT+F8,打开宏对话框,创建名为SelectAllTables的宏 Sub SelectAllTables()    Dim tempTable As Table        Application.ScreenUpdating = False        '判断文档是否被保护    If ActiveDocument.ProtectionType = wdAllowOnlyFormFields Then  

C# 在word文档中复制表格并粘帖到下一页中

object oMissing = System.Reflection.Missing.Value;            Microsoft.Office.Interop.Word._Application oWord;            Microsoft.Office.Interop.Word._Document oDoc;            oWord = new Microsoft.Office.Interop.Word.Application();            //

Struts2利用iText导出word文档(包含表格)以提供下载

J2EE ExcelStrutsXML 在公司实习期间,带我的老师让我实现一功能——在显示课表的页面上上点击“导出文件“时能以word文档形式下载课表.将课表导出到excel里的功能他们已经实现了,用的是Struts2+poi实现的.poi对excel表格操作能力很强,但是对word文档的支持一直没有更新,操作能力有限. iText是著名的开放源码的站点sourceforge一个项目,是用于生成PDF文档的一个java类库.通过iText不仅可以生成PDF或rtf 的文档,而且可以将XML.Ht

python读取word文档中的表格内容

import docx fn = r'D:\长恨歌.docx' doc = docx.Document(fn) # 按段落读取全部数据 for paragraph in doc.paragraphs: print(paragraph.text) # 按表格读取全部数据 for table in doc.tables: for row in table.rows: for cell in row.cells: print(cell.text) table_num = len(doc.tables)

java 在MySQL中存储文件,读取文件(包括图片,word文档,excel表格,ppt,zip文件等)

转自:https://blog.csdn.net/u014475796/article/details/49893261 在设计到数据库的开发中,难免要将图片或文档文件(如word)插入到数据库中的情况.一般来说,我们可以通过插入文件相应的存储路径,而不是文件本身,来避免直接向数据库里插入的麻烦.但有些时候,直接向MySQL中插入文件,更加安全,而且更加容易管理. 首先,先要在数据库中建表.我在名为test的数据库下建立了一个叫pic的表.该表包括3列,id, caption和img.其中id是

java 处理word文档 (含图片,表格内容)

由于本人长期从事Oa相关项目的开发,所以处理word文档,Pdf,Excel等是在所难免的. 1.需求      处理Excel 可以用jxl        或者poi 2需求     用户在系统上填写信息,保存后导出标准的word文档,用户在系统上填写的信息我们用富文本编辑工具kindEditor,这个插件可以将用户从word文档拷贝的表格标签保存,但是图片信息需要另行上传. 现在问题出来了,我们要将这些包含图片,表格,特殊符号的东东生成word文档. 如果是单纯的没有特殊格字符,图片等信息,