Redis 数据序列化方法 serialize, msgpack, json, hprose 比较

最近弄 Redis ,涉及数据序列化存储的问题,对比了:JSON, Serialize, Msgpack, Hprose 四种方式

1. 对序列化后的字符串长度对比:

测试代码:

$arr = [0, 1, 2, ‘a‘, ‘b‘, ‘c‘, ‘d‘, ‘a‘=>‘12‘, ‘包含中文‘, ‘abcd包含中文efg‘=>‘abc一二三四defg‘, ‘键名‘=>[‘abc‘=>[‘def‘=>123, 456, ‘abcd中文内容efg‘], ‘a之间c‘=>[‘a‘=>123, ‘c‘, 5=>6]]];
$str = hprose_serialize($arr);
echo ‘Hprose: ‘;
echo ‘<br>‘;
echo ‘长度: ‘. strlen($str);
echo ‘<br>‘;
echo ‘内容:‘. $str;
echo ‘<hr>‘;
$str = msgpack_pack($arr);
echo ‘Msgpack: ‘;
echo ‘<br>‘;
echo ‘长度: ‘. strlen($str);
echo ‘<br>‘;
echo ‘内容:‘. $str;
echo ‘<hr>‘;
$str = json_encode($arr);
echo ‘JSON: ‘;
echo ‘<br>‘;
echo ‘长度: ‘. strlen($str);
echo ‘<br>‘;
echo ‘内容:‘. $str;
echo ‘<hr>‘;
$str = serialize($arr);
echo ‘Serialize: ‘;
echo ‘<br>‘;
echo ‘长度: ‘. strlen($str);
echo ‘<br>‘;
echo ‘内容:‘. $str;
echo ‘<hr>‘;

结果:

Hprose:

长度: 196

内容:m11{0011223ua4ub5uc6uds1”a”s2”12”7s4”包含中文”s11”abcd包含中文efg”s11”abc一二三四defg”s2”键名”m2{s3”abc”m3{s3”def”i123;0i456;1s11”abcd中文内容efg”}s4”a之间c”m3{r1;i123;0uc56}}}


Msgpack:

长度: 139

内容:??a?b?c?d?a?12?包含中文?abcd包含中文efg?abc一二三四defg?键名??abc??def{???abcd中文内容efg?a之间c??a{?c


JSON:

长度: 281

内容:

{“0”:0,”1”:1,”2”:2,”3”:”a”,”4”:”b”,”5”:”c”,”6”:”d”,”a”:”12”,”7”:”\u5305\u542b\u4e2d\u6587”,”abcd\u5305\u542b\u4e2d\u6587efg”:”abc\u4e00\u4e8c\u4e09\u56dbdefg”,”\u952e\u540d”:{“abc”:{“def”:123,”0”:456,”1”:”abcd\u4e2d\u6587\u5185\u5bb9efg”},”a\u4e4b\u95f4c”:{“a”:123,”0”:”c”,”5”:6}}}


Serialize:

长度: 321

内容:a:11:{i:0;i:0;i:1;i:1;i:2;i:2;i:3;s:1:”a”;i:4;s:1:”b”;i:5;s:1:”c”;i:6;s:1:”d”;s:1:”a”;s:2:”12”;i:7;s:12:”包含中文”;s:19:”abcd包含中文efg”;s:19:”abc一二三四defg”;s:6:”键名”;a:2:{s:3:”abc”;a:3:{s:3:”def”;i:123;i:0;i:456;i:1;s:19:”abcd中文内容efg”;}s:8:”a之间c”;a:3:{s:1:”a”;i:123;i:0;s:1:”c”;i:5;i:6;}}}


对比结论:

一般情况下,Msgpack < JSON < Serialize 。差距一般在 1~3倍左右,Msgpack 体积非常小

2. 序列化速度对比:

测试代码:

echo ‘Begin ~~<br><hr><br>‘;
$begin = microtime(true);
$bm = memory_get_usage();

for ($i = 0; $i <= 100000; $i++) {
//    $str = hprose_serialize($arr);
//    $str = msgpack_pack($arr);
//    $str = serialize($arr);
    $str = json_encode($arr);
}

$em = memory_get_usage();

echo ‘End !<br><hr><br>Use Time :‘;
echo microtime(true) - $begin;
echo ‘<br><hr><br>Use Mem:‘;
echo ceil(($em - $bm)/1024/1024) .‘MB‘;


测试结果:

Hprose 耗时: 0.435 ~ 0.466

Msgpack 耗时: 0.328 ~ 0.378

Serialize 耗时: 0.496 ~ 0.541

JSON 耗时: 0.431 ~ 0.469


3. 反序列化速度对比

测试代码:

echo ‘Begin ~~<br><hr><br>‘;
$begin = microtime(true);
$bm = memory_get_usage();

//$str = hprose_serialize($arr);
//$str = msgpack_pack($arr);
//$str = serialize($arr);
$str = json_encode($arr);
for ($i = 0; $i <= 100000; $i++) {
//    hprose_unserialize($str);
//    msgpack_unpack($str);
//    unserialize($str);
    json_decode($str);
}

$em = memory_get_usage();

echo ‘End !<br><hr><br>Use Time :‘;
echo microtime(true) - $begin;
echo ‘<br><hr><br>Use Mem:‘;
echo ceil(($em - $bm)/1024/1024) .‘MB‘;


测试结果:

Hprose 耗时: 0.553 ~ 0.591

Msgpack 耗时: 0.492 ~ 0.550

Serialize 耗时: 0.496 ~ 0.531

JSON 耗时: 0.852 ~ 0.893


4. Redis 测试:

每次测试清空后添加 两百万 条进队列,查看 Reids info 中 Memory 信息:

a. 初始化空数据时:

b. 使用 Msgpack 序列化后录入

c. 使用 JSON 编码后录入

d. 使用 Serialize 序列化后录入

对比结果:

Msgpack 占用内存 385M

JSON 占用内存 660M

Serialize 占用内存 752M

Hprose 我没测试,体积应该在 Msgpack 和 JSON 之间


总结:

速度: Msgpack 速度最快,其次 Serialize, JSON 反序列化速度慢了近一倍

体积: Msgpack 最小,其次 JSON,Serialize 体积最大,一般比 Msgpack 大 1~3 倍。

推荐使用 Msgpack 进行序列化

感觉从各方面来看 Msgpack 都是非常牛逼的,只不过需要自己单独安装 Msgpack 的扩展,不过安装也很简单的。

服务器上可以直接 pecl install msgpack

如果不行的话,就手动下载 tgz 包:

在这里下载最新版本 https://pecl.php.net/package/msgpack

然后 pecl install msgpack-0.5.6.tgz 即可

之前用 Hprose 时据说他的 PHP Pecl 扩展 hprose_serialize 比 Msgpack 还要快,但今天测试发现比 Msgpack 还要慢一点点,体积也要大一些,不过相对于 PHP 的 serialize 来还是要好一些吧。


测试平台说明:

windows7 x64

I7 4核8线程

内存16G

PHP5.5.19

Redis 2.8.21


版权声明:本文为博主原创文章,未经博主允许不得转载。

时间: 2024-08-03 16:42:34

Redis 数据序列化方法 serialize, msgpack, json, hprose 比较的相关文章

JSON数据的序列化方法

ajax传参是json数据对象时,最好是将json对象先序列化 var stuAnswerTotal = examModule.touch.getData('examAnswer'); console.log(stuAnswerTotal);//Object对象如下 { 17072={ "id" : 1702, "type":"1",                "val":["",'"&quo

C# 使用Json.NET对数据进行序列化和反序列化 | c# json serialize and deserialize using json.net JsonConvert

本文首发于个人博客https://kezunlin.me/post/22391aa3/,欢迎阅读最新内容! c# json serialize and deserialize using json.net JsonConvert Guide Json.NET JsonConvert.SerializeObject JsonConvert.DeserializeObject install Use NuGet to download the package "Project" ->

Day4 - 迭代器&amp;生成器、装饰器、Json &amp; pickle 数据序列化、软件目录结构规范

---恢复内容开始--- 本节内容 迭代器&生成器 装饰器 Json & pickle 数据序列化 软件目录结构规范 作业:ATM项目开发 1.列表生成式,迭代器&生成器 列表生成式 需求:列表a = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9],要求把列表里的每个值加1 1 a = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] 2 b = [] 3 for i in a: 4 b.append(i+1) 5 a = b 6 print(a) 普通青

jQuery的序列化元素 serialize()方法 serializeArray()方法 param()方法

当提交的表单元素较多时用serialize()方法,serialize()方法也是作用于一个jQuery的对象,它能够将DOM元素内容序列化为字符串,用于Ajax请求. serialize() 方法通过序列化表单值,创建 URL 编码文本字符串. .serialize() 方法可以操作已选取个别表单元素的 jQuery 对象,比如 <input>, <textarea> 以及 <select>.不过,选择 <form> 标签本身进行序列化一般更容易些: $(

Json &amp; pickle 数据序列化

前提: 文本文件中只能写入字符串或ascii码格式的内容. info={'name':'zoe','age':18} f=open('test.txt','w') f.write(info) #在文本文件中写入字典格式的内容,执行会报错. f.closed() 变通方式将 f.write(info) 改为 f.write(str(info)). 但是这种写法比较低端. 同时,将文件通过open()读取到环境中,读取进来的还是字符串格式的.上面的操作是序列化,读取文件后的操作时反序列化. f=op

Python-Day4 Python基础进阶之生成器/迭代器/装饰器/Json &amp; pickle 数据序列化

一.生成器 通过列表生成式,我们可以直接创建一个列表.但是,受到内存限制,列表容量肯定是有限的.而且,创建一个包含100万个元素的列表,不仅占用很大的存储空间,如果我们仅仅需要访问前面几个元素,那后面绝大多数元素占用的空间都白白浪费了.所以,如果列表元素可以按照某种算法推算出来,那我们是否可以在循环的过程中不断推算出后续的元素呢?这样就不必创建完整的list,从而节省大量的空间.在Python中,这种一边循环一边计算的机制,称为生成器:generator. 要创建一个generator,有很多种

[Windows Phone 8开发]使用HttpWebRequest和HttpWebResponse向服务器发送Json数据(POST方法)

public string szJson = ""; byte[] json; UploadClass up = new UploadClass(); public ValidatePage() { InitializeComponent(); } private void PhoneApplicationPage_Loaded(object sender, RoutedEventArgs e) { //我做了一个实现上传某些关键的Json数据,返回服务器Appid的功能,类似新浪微博

python数据序列化---json &amp; pickle

json & pickle数据序列化 序列化: 就是列表,字典等数据类型转乘字符串存入文本文件 反序列: 就是字符串从文本读出来后通过一种方法转化为列表,字典等数据类型.例如eval() json通用的:只能处理一些简单的数据类型:json: 序列化和反序列化函数: 案例1:  import json  info = {   "name": "brace",   "age": 22,  }  json_str = json.dumps(i

通过Ajax进行Post提交Json数据的方法

下面pk10平台出租就为大家分享一篇qq:185 198 884通过Ajax进行Post提交Json数据的方法,具有很好的参考价值,希望对大家有所帮助.一起跟随ws平台出租过来看看吧js代码:1 $.ajax({2 type : "POST", 3 url: js_path + "/maintainAdd/add", 4 data : JSON.stringify(madd_data.editMaintain), 5 contentType : "appl