BigCouch资料整理

BigCouch架构

CHTTPD

封装了FABIC接口,CouchDB在HTTP层的集群操作

FABRIC 

CouchDB集群的操作代理。

主要用于控制CouchDB集群,Erlang层面的操作

REXI

Rexi是发送CouchDB的操作节点集群中的一个特制的RPC服务器应用程序。

MEM3

CouchDB集群的节点添加程序,在BigCouch中使用主要用于跟踪集群的两个重要信息:

成员节点信息;

每个数据库节点(分区)的映射关系;

节点信息和分区信息在本地节点数据库中进行跟踪。

拆分与合并分区在尚未成熟。

BigCouch数据库参数

Q参数

在创建数据库时指定数据库的分区数量(一致性哈希分区数)。

可能存在多个分区在同一节点上,允许你在集群的节点数量增长而无需re-shard操作。

默认值是8,可以在配置文件中进行更改:

在default.ini文件中cluster区域的q字段;

也可以在创建数据库时指定,比如:

curl -X PUT http://172.16.10.2:5984/test_db?q=4&n=3

分区示意图:

Q = 4时可以将数据库分为4个分区

假设有5个节点,这4个分区会分布在5个节点上,示例如下:

N参数

每个分片的冗余拷贝数量。

默认值是3,可以在配置文件中进行更改:

在default.ini文件中cluster区域的n字段;

也可以在创建数据库时指定,比如:

curl -X PUT http://172.16.10.2:5984/test_db?q=4&n=3

假设N=3,节点数为5个,每个分区将会复制3份并按一定的算法分片到5个节点上,分区中的文档会复制3份同步到每一个备份分区,示例如下:

BigCouch节点删除

需要删除的节点A,文件备份节点B

数据迁移

将A节点上 var/lib/shards/ 目录下的.couch文件通过scp等方式复制到B节点相同目录里;

数据同步

复制后如果A节点的数据有更新,在5986端口执行同步操作;

通知BigCouch集群新文件地址

在dbs数据库里面更新数据库配置文档,内容示例:

{

"_id": "test_db",

"_rev": "2-45088d2d1bb389c3fced1a952c2ea124",

"by_node": {

"[email protected]": [

"00000000-3fffffff",

"80000000-bfffffff"

],

"[email protected]": [

"40000000-7fffffff",

"c0000000-ffffffff"

],

"[email protected]": [

"40000000-7fffffff",

"c0000000-ffffffff",

"00000000-3fffffff",

"80000000-bfffffff"

],

"[email protected]": [

"40000000-7fffffff",

"c0000000-ffffffff"

],

"[email protected]": [

"00000000-3fffffff",

"80000000-bfffffff"

]

},

"by_range": {

"00000000-3fffffff": [

"[email protected]",

"[email protected]",

"[email protected]"

],

"40000000-7fffffff": [

"[email protected]",

"[email protected]",

"[email protected]"

],

"80000000-bfffffff": [

"[email protected]",

"[email protected]",

"[email protected]"

],

"c0000000-ffffffff": [

"[email protected]",

"[email protected]",

"[email protected]"

]

}

}

修改by_node和by_range字段,将A相关的信息修改为B的。

断开A服务器与集群的连接

修改set-cookie值并重启BigCouch服务器

移除集群A节点

通过集群5986端口访问nodes数据库,删除A服务器相关文档

删除A服务器上的nodes信息和dbs信息

清理shards目录中的文件,重启A服务器的BigCouch

5节点环境中,节点与集群断开时,该节点不可用。

冲突管理

冲突处理的例子

环境介绍

集群中三个节点:

A : 172.16.10.2

B : 172.16.10.3

C : 172.16.10.5

数据库:test_db

Q = 1,N=3

数据库不分区,备份三份。

添加数据:

{

   "_id": "2809580fa3dc3d8d719c02c229000518",

   "_rev": "1-1bd878534def1c2c9224e7398ab6a987",

   "name": "beforeChange"

}

制造冲突

1、关闭B和C服务器;

2、修改A服务器的数据

{

   "_id": "2809580fa3dc3d8d719c02c229000518",

   "_rev": "2-6de54d127839d323b743435f447cb29f",

   "name": "mike"

}

3、关闭A服务器;

4、在A服务器关闭后,启动B服务器;

5、修改B服务器的数据

{

   "_id": "2809580fa3dc3d8d719c02c229000518",

   "_rev": "2-19f995ede86cd2c367b2d90568a6f8c6",

   "name": "MIKE"

}

6、启动A服务器;

验证数据

B服务器已同步为A的数据

2、C服务器数据也同步为A的数据

冲突检测

冲突检查函数:

function(doc){

if(doc._conflicts){

emit(doc._conflicts,null);

}

}

文档中的doc._conflicts属性是一个数组,列出了所有的冲突修订。

处理冲突

couchDB通过一个算法来选出胜利的修订,解决冲突。应用程序不应该信赖于这个算法,而是应该先去解决冲突。

自动冲突处理

每一个修订都包含有一个先前修订的列表,那个拥有最长的修订历史的修订会最终成为胜出的修订;如果两个修订历史刚好一样长,那么会比较它们的_rev值的ASCII序列,ASCII值更大的那个会最终胜出。所以在上面的例子中,2-6de54d127839d323b743435f447cb29f胜出了,2-19f995ede86cd2c367b2d90568a6f8c6落选了。

手动冲突处理

首先,用想要的值在目标文档上进行重写,然后把不想要的修订删除就可以了。

具体如下:

1、  读取当前文档;

2、  读取旧(冲突)版本;

3、  应用特定于域的合并逻辑;

4、  将文档更新为新(合并)版本;

5、  移除冲突文档版本。

时间: 2024-10-05 13:06:53

BigCouch资料整理的相关文章

不错的Nodejs或者JS资料整理

资料整理 Node.js官网 - 可以下载到Node.js以及查看官方文档 Node.js教程 - 菜鸟教程网 Javascript模块化编程(一):模块的写法 - 阮一峰老师的日志,很值得看 CommonJS官网 requireJS官网 - AMD规范在其中 seaJS官网 - CMD规范在其中 request模块 cheerio模块

iOS开发资料整理

Please help me contribute to this list, for non-experience iOS developers or someone who need a come-in-handy library list to refer or to use in their projects. Fork, edit and send a PR are all things you can do! Table of Contents UI Component// UI组件

iOS 开发学习资料整理(持续更新)

"如果说我看得比别人远些,那是因为我站在巨人们的肩膀上." ---牛顿 iOS及Mac开源项目和学习资料[超级全面] http://www.kancloud.cn/digest/ios-mac-study/84557 iOS 学习资料整理 https://segmentfault.com/a/1190000002473595#articleHeader16 iOS.mac开源项目及库 https://github.com/Tim9Liu9/TimLiu-iOS Swift语言 http

mql4资料整理

mql4资料整理 开发工具和SDK相关 http://codebase.mql4.com/cn/在该页面的左边有MeteTrader 5 和 页面 MT4的开发工具下载 开发资料1. 参考文档http://docs.mql4.com/cn/ 2.其它相关bloghttp://www.cnblogs.com/niniwzw/category/212678.htmlhttp://www.cnblogs.com/niniwzw/tag/MQL4/3.其它相关资源学习列表http://search.do

Doxygen资料整理

@author          作者@brief             摘要@version         版本号@date             日期@file                文件名,可以默认为空,DoxyGen会自己加@class             类名@param           函数参数@return           函数返回值描述@exception      函数抛异常描述@warning         函数使用中需要注意的地方@remarks

zz 圣诞丨太阁所有的免费算法视频资料整理

首发于 太阁实验室 关注专栏 写文章 圣诞丨太阁所有的免费算法视频资料整理 Ray Cao· 12 小时前 感谢大家一年以来对太阁实验室的支持,我们特地整理了在过去一年中我们所有的原创算法类视频,均为免费观看,方便大家学习. 先放一个ACM大神讲解的算法题视频(国外传优酷真的是太不容易了……). ACM大神精讲北美最新面试题—在线播放—优酷网,视频高清在线观看http://v.youku.com/v_show/id_XMTg2ODk0MzIwMA==.html 其余视频: [公开课]ACM大神精

JS搞基指南----延迟对象入门提高资料整理

原文:JS搞基指南----延迟对象入门提高资料整理 JavaScript的Deferred是比较高大上的东西,  主要的应用还是主ajax的应用,  因为JS和nodeJS这几年的普及,  前端的代码越来越多,  各种回调套回调再套回调实在太让人崩溃, 所以就从后端拖了一个延迟对象这货, 用来解决回调地狱这个问题 .  我们使用ajax的时候多数都是为ajax添加回调 ,然后异步向服务器发送请求, 比如如下原生的XHR代码: <!DOCTYPE html PUBLIC "-//W3C//D

archlinux相关资料整理

Arch linux Arch Linux Wiki Arch linux Wiki Markdown Arch Wiki python continuing ... archlinux相关资料整理,布布扣,bubuko.com

3分钟带你了解PowerShell发展历程——PowerShell各版本资料整理

本文带你了解PowerShell发展历程,顺便整理了一点资料,方便大家查询. Windows PowerShell? 是基于任务的命令行管理程序和脚本语言,专为进行系统管理而设计. 在 .NET Framework 的基础上构建的 Windows PowerShell 可帮助 IT 专业人士和高级用户控制和自动执行 Windows 操作系统以及在 Windows 上运行的应用程序的管理. UNIX 系统一直有着功能强大的脚本(shell),Windows PowerShell 的诞生就是要提供功