berkeley db replica机制 - 主从同步

repmgr/repmgr_net.c,

__repmgr_send(): 做send_broadcast, 然后根据policy 对DB_REP_PERMANENT的处理

__repmgr_send_broadcast(): 对每个site, send_connection().

MASTER 发送

log/log_put.c, log_put(),

不接受 REP_CLIENT

__rep_send_message(env, DB_EID_BROADCAST, - REP_NEWFILE, REP_LOG

txn/txn_chkpt.c, __txn_checkpoint()

REP_CLIENT仅在recover时到这里, sync mp后马上退出

在master sync mp之前, 发送给client:

__rep_send_message(env, DB_EID_BROADCAST, REP_START_SYNC

等待 chkpt_delay

写ckp log rec

DB_REP_REREQUEST vs  DB_REP_ANYWHERE

* Gap requests are "new" and can go anywhere, unless
* this is already a re-request.

repmgr_net.c, __repmgr_send()

if ((flags & (DB_REP_ANYWHERE | DB_REP_REREQUEST)) ==DB_REP_ANYWHERE &&

    (site = __repmgr_find_available_peer(env))

发完后, DB_REP_PERMANENT, 检查policy, 需要多少ack 才能返回(for durability).

http://docs.oracle.com/cd/E17076_03/html/api_reference/C/repmgrset_ack_policy.html

默认 DB_REPMGR_ACKS_QUORUM, repmgr_net.c, __repmgr_send(), 可见 (n - 1) / 2 + 1

确定了之后, __repmgr_await_cond(env, got_acks, &perm, rep->ack_timeout, &db_rep->ack_waiters);

=> while (got_acks(env, &perm)) {pthread_cond_timedwait(&db_rep->ack_waiters,rep->ack_timeout)}

repmgr_net.c,  got_acks().

dbinc/rep.h,

struct __db_rep {}

REPMGR_RUNNABLE *selector, **messengers, **elect_threads;

WSAEventSelect

client接收

repmgr_method.c, __repmgr_start_int() - elect/msg/select threads
repmgr_method.c, __repmgr_start_selector()
repmgr_sel.c, __repmgr_select_thread()
repmgr_windows.c, __repmgr_select_loop()
repmgr_windows.c, handle_completion() -
repmgr_sel.c, __repmgr_read_from_site()
repmgr_sel.c, dispatch_msgin() -

放入db_rep->input_queue, __repmgr_signal(&db_rep->msg_avail)

rep.h, struct __db_rep     -    cond_var_t check_election, gmdb_idle, msg_avail;

repmgr_method.c, __repmgr_start_int()
repmgr_method.c, __repmgr_start_msg_threads()
repmgr_msg.c, __repmgr_msg_thread()
message_loop()

while ((ret = __repmgr_queue_get()...

__repmgr_queue_get - while(m = available_work(env)) == NULL), wait 在msg_avail 上
process_message()
repmgr_record.c, __rep_process_message_int()

对 REP_LOG 消息, 调用

rep_log.c, __rep_log()

rep_record.c, __rep_apply():

log.h,  struct log {}  - waiting_lsn,  max_wait_lsn, __db.rep.db, ready_lsn

waiting_lsn:   It is the first LSN that we are holding without putting in the log, because we received one or more log records out of order.

ready_lsn:  It is the next LSN we expect to receive. It‘s normally equal to "lsn", except at the beginning of a log file, at which point it‘s set to the LSN of the first record of the new file

若正是我们需要的 下一个log rec, call  __rep_process_rec(); __rep_remfirst/__rep_getnext 接着处理 tmp db里的log; __rep_loggap_req().

若 在我们需要的 log rec后面, 入tmp db, 更新 waiting_lsn, 发送__rep_loggap_req(). 

若 在我们需要的 log rec前面, 收到 重复 log rec. 

rep_record.c, __rep_process_rec(), newfile特殊处理退出. 除ckp,其他先直接写入log 文件

   - DB___txn_prepare:  直接flush log

   - DB___txn_regop:  __rep_process_txn(),  拿到 需要的写锁; 拿到txn对应的所有log rec, 排序, 读出,  db_dispatch(DB_TXN_APPLY

- DB___txn_ckp: 首先在 rep_db(bookkeeping db)中写一个 rec, nooverwrite, 如果已经有, 则其他线程在做ckp, 退出.  sync mp; 写DB_LOG_CHKPNT log rec,  flush log

时间: 2024-11-02 10:15:31

berkeley db replica机制 - 主从同步的相关文章

berkeley db replica机制 - election algorithm

repmgr_method.c, __repmgr_start_int() 初始2个elect线程. repmgr_elect.c, __repmgr_init_election() __repmgr_elect_thread() __repmgr_elect_main() lease, preferred master mode, rep_elect.c,   __repmgr_elect() __rep_elect_init() lockout, if (rep->egen != egen)

berkeley db replica机制 - 消息处理

repmgr_method.c, __repmgr_start_int()repmgr_method.c, __repmgr_start_msg_threads()repmgr_msg.c, __repmgr_msg_thread()message_loop() while ((ret = __repmgr_queue_get()... __repmgr_queue_get - while(m = available_work(env)) == NULL), wait 在msg_avail 上p

MSSQL Server Replication机制主从同步实践

?? MSSQL Server Replication机制主从同步实践 参考文档: https://msdn.microsoft.com/en-us/library/aa337389.aspx1.Preparing the Server for Replication:https://msdn.microsoft.com/en-us/library/aa337475.aspx2.Replicating Data Between Continuously Connected Servers:htt

了解 Oracle Berkeley DB 可以为您的应用程序带来 NoSQL 优势的原因及方式。

将 Oracle Berkeley DB 用作 NoSQL 数据存储 作者:Shashank Tiwari 2011 年 2 月发布 “NoSQL”是在开发人员.架构师甚至技术经理中新流行的一个词汇.尽管这个术语最近很流行,但令人惊讶的是,它并没有一个普遍认可的定义. 通常来说,任何非 RDBMS 且遵循无模式结构的数据库一般都不能完全支持 ACID 事务,并且因高可用性的承诺以及在横向伸缩环境中支持大型数据集而普遍被归类为“NoSQL 数据存储”.鉴于这些共同特征(与传统的 RDBMS 的特征

Redis高可用架构之主从同步

CAP原理 最终一致性 Redis提供的同步机制 主从同步 丛丛同步 缓解master节点的压力 Redis的同步方式 增量同步 Redis同步的指令流,环形Buffer存储指令流 缺点:buffer大小固定,会存在未执行的指令被覆盖掉的情况 快照同步 耗费资源,主节点Bgsave到磁盘文件中,再将文件中的内容传送到从节点 从节点在进行快照文件接受完毕后进行全量加载,加载前先删除当前内存的数据,记载完毕后才继续进行增量同步 需要合理设置buffer大小,避免发生快照同步死循环 增加从节点 首先进

MySQL主从同步机制与同步延时问题追查过程

前言 作为一名DBA,在工作中会经常遇到一些MySQL主从同步延迟的问题,这些同步慢的问题,其实原因非常多,可能是因为主从的网络问题导致,可能是因为网络带宽问题导致,可能是因为大事务导致,也可能是因为单线程复制导致的延迟. 今天遇到一个问题,Mysql持续报错,主从同步延时数过大或错误.所以这篇文章给大家分享下主从同步的机制原理以及问题排查思路. 故障表现 最直观的表现为: ? 1 2 3 4 5 6 7 mysql> show slave status\G;  // 状态一  Seconds_

【详解】DNS服务工作原理、正反向解析和主从同步

目录: 一.理论部分 二.实验部分 ******************************理论部分*************************************** 正文: 一.什么是DNS服务. DNS服务是互联网的基础性服务之一.全称为Domain Name System(域名系统).DNS是因特网上作为域名和IP地址相互映射的一个分布式数据库,提供将域名转换成对应IP地址的信息条目,能够使用户更方便的通过域名(如baidu.com)去访问互联网,而不用去记住能够被机器直接

Berkeley DB

Berkeley DB基础教程 http://blog.csdn.net/jediael_lu/article/details/27534223 Berkeley DB教程之三:读写数据的几种方法的比较 http://www.micmiu.com/nosql/berkeley/berkeley-write-read-data/ 三.一个简单的BDB JE例子 http://blog.csdn.net/ms_x0828/article/details/5506324 Berkeley DB基础教程

Berkeley DB基础教程

一.Berkeley DB的介绍 (1)Berkeley DB是一个嵌入式数据库,它适合于管理海量的.简单的数据.如Google使用其来保存账户信息,Heritrix用其来保存froniter. (2)key/value是Berkeley DB用来管理数据的基础,每个key/value对代表一条记录. (3)Berkeley DB在底层实现采用B树,可以看成能够存储大量数据的HashMap. (4)它是Oracle公司的一个产品,C++版本最新出现,之后JAVA等版本也陆续出现.它不支持SQL语