Jerasure库接口简介及性能测试

http://blog.chinaunix.net/uid-20196318-id-3277600.html

Jerasure库提供Reed-Solomon和Cauchy Reed-Solomon两种编码算法的实现.

Reed-Solomon编解码接口

1)     编码矩阵生成

// generate matrix, last m rows

matrix = talloc(int, m*k);

for (i = 0; i < m; i++) {

for (j = 0; j < k; j++) {

matrix[i*k+j] = galois_single_divide(1, i ^ (m + j), w);

}

}

2)编码接口

void jerasure_matrix_encode(int k, int m, int w, int *matrix,  char **data_ptrs, char **coding_ptrs, int size)

  • k: 数据块个数
  • m: 校验块个数
  • w: WORD SIZE
  • matrix:编码矩阵 (m*k,上面的k*k为单位阵)
  • data_ptrs:数据块指针 (长度为k的指针数组)
  • coding_ptrs:校验块指针(长度为m的指针数组)
  • size:数据块大小(必须是sizeof(long)的倍数)

3)解码接口

根据存活的块,恢复出所有的数据块,如果有校验块丢失,最后会根据数据块计算出对应的校验块。

int jerasure_matrix_decode(int k, int m, int w, int *matrix, int row_k_ones, int *erasures, char **data_ptrs, char **coding_ptrs, int size)

  • k: 数据块个数
  • m: 校验块个数
  • w: WORD SIZE
  • matrix:编码矩阵 (m*k,上面的k*k为单位阵)
  • row_k_ones: 编码的第一行是否全为1,用于优化
  • erasueres: 记录哪些块丢失了,长度超过m则不能恢复,以-1做为结束标识

erasures[0] = 0; // 第0个块丢失

erasures[1] = 3; // 第3个块丢失

erasures[2] = -1; // -1, 结束标识

  • data_ptrs:数据块指针
  • coding_ptrs:校验块指针
  • size:数据块大小(必须是sizeof(long)的倍数)

4)恢复指定块

如果只丢失一个数据块,要运用3中的接口,则必须获取到前k个存活的块;要想使用任意K个块恢复丢失的某个数据,可先根据存活的块,计算出解码矩阵,运用矩阵乘法恢复出指定块的数据。

int jerasure_make_decoding_matrix(int k, int m, int w, int *matrix, int *erased,  int *decoding_matrix, int *dm_ids)

  • k: 数据块个数
  • m: 校验块个数
  • w: WORD SIZE
  • matrix:编码矩阵 (m*k,上面的k*k为单位阵)
  • erased:记录哪些块丢失,1代表存活,0代表丢失

for (i = 0; i < m + k; i++) erased[i] = 0;

erased[0] = 1; // 第0个块丢失

erased[1] = 1; // 第1个块丢失

?  decoding_matrix: 解码矩阵(输出)

?  dm_ids: 存储的数据块 (输出)

void
jerasure_matrix_dotprod(int k, int w, int *matrix_row,

int *src_ids, int
dest_id, char **data_ptrs, char **coding_ptrs, int size)

  • k: 数据块个数
  • w: WORD SIZE
  • matrix_row:解码矩阵,使用上一步的输出decoding_matrix
  • src_ids: 运用哪些块计算,直接使用上一步的输出dm_ids
  • dest_id: 计算目标块号
  • data_ptrs: 数据块指针
  • coding_ptrs: 校验块指针
  • size: 数据块大小

5)Cauchy
Reed-Solomon编解码接口

接口及使用方式与Reed-Solomon的类似,对应的接口分别为:

  • jerasure_bitmatrix_encode // 编码
  • jerasure_bitmatrix_decode // 解码
  • jerasure_make_decoding_bitmatrix // 生成解码矩阵
  • jerasure_bitmatrix_dotprod // 矩阵相乘,计算指定行的数据

不同的是,Cauchy Reed-Solomon使用的编码矩阵需要先经过转化。

int
*jerasure_matrix_to_bitmatrix(int k, int m, int w, int *matrix)

  • k: 数据块个数
  • m: 校验块个数
  • w: WORD SIZE
  • matrix:RS编码矩阵 (m*k,上面的k*k为单位阵)

返回值即为Cauchy Reed-Solomon的编码矩阵。

时间: 2024-10-14 06:26:39

Jerasure库接口简介及性能测试的相关文章

muParser公式库使用简介( 转)

muParser是一个跨平台的公式解析库,它可以自定义多参数函数,自定义常量.变量及一元前缀.后缀操作符,二元操作符等,它将公式编译成字节码,所以计算起来非常快. 当前版本V1.28,官方网址http://sourceforge.net/projects/muparser/,这里是关于该库使用交流https://sourceforge.net/forum/forum.php?forum_id=462843 它提供两种方式使用,一种是将它编译进你的程序中,使用C++类,另一种是将它编译成共享库,可

SQLite3 C/C++ 开发接口简介

SQLite3 C/C++ 开发接口简介 1.0 总览 SQLite3是SQLite一个全新的版本,它虽然是在SQLite 2.8.13的代码基础之上开发的,但是使用了和之前的版本不兼容的数据库格式和API. SQLite3是为了满足以下的需求而开发的: 支持UTF-16编码. 用户自定义的文本排序方法. 可以对BLOBs字段建立索引. 因此为了支持这些特性我改变了数据库的格式,建立了一个与之前版本不兼容的3.0版. 至于其他的兼容性的改变,例如全新的API等等,都将在理论介绍之后向你说明,这样

Linux中的IO复用接口简介(文件监视?)

I/O复用是Linux中的I/O模型之一.所谓I/O复用,指的是进程预先告诉内核,使得内核一旦发现进程指定的一个或多个I/O条件就绪,就通知进程进行处理,从而不会在单个I/O上导致阻塞. 在Linux中,提供了select.poll.epoll三类接口来实现I/O复用. select函数接口 select中主要就是一个select函数,用于监听指定事件的发生,原型如下: 12345 #include<sys/select.h>#include<sys/time.h>int sele

mysql-数据库操作简介

1.创建数据库 是指在数据库系统中划分一块空间,用来存储相应数据 1.创建语法:CREATE DATABASE 数据库名 2.显示数据库:SHOW DATABASES; 2.删除数据库 1.语法:DROP DATABASE 数据库名; 3.数据库存储引擎(表类型) 1.显示mysql支持的存储引擎:SHOW ENGINES;或者SHOW ENGINES\g 2.显示mysql支持引擎:SHOW VARIABLES LIKE "hava%"; 3.查看mysql默认引擎:SHOW VAR

Linux wext和nl80211接口简介

inux无线驱动接口简介 在分析wpa_supplicant软件linux版本下无线驱动事件和无线驱动配置代码之前,先简单介绍下linux无线驱动接口的实现技术和发展情况. Linux无线驱动接口有两种标准接口,wext(Wireless Extensions无线扩展接口)和nl80211接口. 在linux-2.6.18版本之前,linux内核代码中并没有提供无线驱动接口以及无线驱动协议栈.wext是由开发者Jean Tourrilhes (惠普实验室软件工程师)定义的一套供用户层软件访问无线

Perl数据库DBI接口简介【转载】

本文转载自:http://blog.csdn.net/like_zhz/article/details/5441946 ##########################################################################可移植的DBI方法:connect    建立到一个数据库服务器的连接disconnect   断开数据库服务器的连接prepare    准备执行一个SQL语句execute    执行准备好的语句do    准备并执行一个SQL

c++ 日志输出库 spdlog 简介(1)

参考文章: log库spdlog简介及使用 - 网络资源是无限的 - CSDN博客 http://blog.csdn.net/fengbingchun/article/details/78347105 spdLog的使用 - 烟消bug云散的专栏 - CSDN博客 http://blog.csdn.net/yanxiaobugyunsan/article/details/79088533 官方参考文档: QuickStart · gabime/spdlog Wiki · GitHub https

Python3.x:日期库dateutil简介

Python3.x:日期库dateutil简介 安装 pip install python-dateutil 关于parser #字符串可以很随意,可以用时间日期的英文单词,可以用横线.逗号.空格等做分隔符. #没指定时间默认是0点,没指定日期默认是今天,没指定年份默认是今年. from dateutil.parser import parse parse("Wed, Nov 12") #输出结果:datetime.datetime(2013, 11, 12, 0, 0) parse(

RTSP播放器网页web无插件直播流媒体音视频播放器libEasyPlayer-RTSP库接口调用说明

EasyPlayer-RTSP播放器EasyPlayer-RTSP播放器是一套RTSP专用的播放器,包括有:Windows(支持IE插件,npapi插件).Android.iOS三个平台,是区别于市面上大部分的通用播放器,EasyPlayer-RTSP系列从2014年初发展至今得到了各行各业(尤其是安防行业)的广泛应用,其主要原因是EasyPlayer-RTSP更加精炼.更加专注,具备非常低的延时,非常高RTSP协议兼容性,编码数据解析等方面,都有非常大的优势. libEasyPlayer-RT