PostgreSQL构建流复制拉取日志的起始位置在哪里

WaitForWALToBecomeAvailable:
if (!InArchiveRecovery)
currentSource = XLOG_FROM_PG_WAL;
else if (currentSource == 0)
currentSource = XLOG_FROM_ARCHIVE;
for (;;){
int oldSource = currentSource;
if (lastSourceFailed){
switch (currentSource){
case XLOG_FROM_ARCHIVE:
case XLOG_FROM_PG_WAL://如果是备机,并且执行了promote或者存在TriggerFile文件则shutdown receive进程
if (StandbyMode && CheckForStandbyTrigger()){
ShutdownWalRcv();
return false;
}
if (!StandbyMode)
return false;
/*
构建流复制关系的位点:
1、如果上次正常关闭,不需要恢复,则从checkpoint点开始
2、否则,从恢复的结束位置开始
*/
if (PrimaryConnInfo){
if (fetching_ckpt){
ptr = RedoStartLSN;
tli = ControlFile->checkPointCopy.ThisTimeLineID;
}else{
ptr = RecPtr;
tli = tliOfPointInHistory(tliRecPtr, expectedTLEs);
}
curFileTLI = tli;
RequestXLogStreaming(tli, ptr, PrimaryConnInfo, PrimarySlotName);
receivedUpto = 0;
}
currentSource = XLOG_FROM_STREAM;
break;
...
}
}
...
}
/*
1、流复制拉取日志的起始位置是位点所在文件的文件开头
2、也就是说,会以重新拉取整个xlog的文件并覆盖pg_xlog目录的相应文件
3、所以,当以主shutdown,再次以备启动时,需要注意,会从新主拉取相应文件并
4、覆盖本地文件,但是本地的pg_control文件并没有更新,所以读取的checkpoint位置会指向一个错误的位置
5、这种情况构建流复制需要谨慎注意。
*/
RequestXLogStreaming:
if (recptr % XLogSegSize != 0)
recptr -= recptr % XLogSegSize;
walrcv->receiveStart = recptr;
walrcv->receiveStartTLI = tli;
SendPostmasterSignal(PMSIGNAL_START_WALRECEIVER);//发起信号唤醒receiver进程

原文地址:http://blog.51cto.com/yanzongshuai/2312708

时间: 2024-07-30 08:41:35

PostgreSQL构建流复制拉取日志的起始位置在哪里的相关文章

postgresql异步流复制搭建

节点 IP 角色 citus-master 10.10.100.1 master citus-standby 10.10.100.2 standby master上创建流复制所需要的用户. CREATE ROLE replication WITH REPLICATION PASSWORD 'replication' LOGIN; 修改master的pg_hba.conf文件,设置replication用户远程访问权限 ## vim /data/pgsql/data/pg_hba.conf,追加下

postgresql同步流复制搭建

节点 IP 角色 master 10.10.100.1 master standby1 10.10.100.2 standby1 standby2 10.10.100.3 standby2 master上创建流复制所需要的用户. CREATE ROLE replication WITH REPLICATION PASSWORD 'replication' LOGIN; 修改master的pg_hba.conf文件,设置replication用户远程访问权限 ## vim /data/pgsql/

Python 拉取日志文件paramiko

paramiko的另一篇博文:http://467754239.blog.51cto.com/4878013/1619166 场景: 在游戏行业的集群中,日志分析或许是必不可少的,那么为了更方便的管理日志,就是统一存放日志,然后入库数据库 #!/usr/bin/env python #coding:utf8 from multiprocessing import Process from datetime import * import paramiko import string import

PostgreSQL数据库Streaming Replication流复制主备延迟测试

PostgreSQL数据库流复制主库和备库之间的延迟时间是多少,无论对HA还是负载均衡来说都应该做个评估.比如单纯的HA架构,当主库发生故障时,我们允许多少时间内的数据丢失.不废话,直接进入本次实验测试. 测试环境: 主库:内存:32G,CPU:8核,IP:192.168.122.101 备库:内存:32G,CPU:8核,IP:192.168.122.102 数据库配置:默认 测试准备: 在两台服务器上安装好PostgreSQL数据库,安装过程不清楚的可以参考文章<PostgreSQL数据库编译

Kafka consumer消息的拉取及偏移的管理

消费者拉取消息并处理主要有4个步骤: 获取消费者所拉取分区的偏移位置OffsetFetchRequest(新的消息是从偏移位置开始的) 创建FetchReqeust,生成Map<Node, FetchRequest>,以消费者所拉取消息的节点为key来分组,所消费的TopicPartition的数据为value,并放入到unsent队列 调用poll方法实际发送请求给相应的node,如果返回成功,在onSecuss方法中,消息被保存在completedFetches中 从completedFe

mysql5.6和mariadb远程拉取二进制日志

从mysql5.6开始支持远程拉取二进制日志 mysqlbinlog --raw --stop-never --result-file=/tmp/log/ --read-from-remote-server -h 192.168.10.17 -P 3306 -u liuwei -p123456 mysql-bin.000475 选项说明: -h --host:远程主机的IP地址 -P --port:远程主机的端口 -u --user:远程数据库的用户 -p --password:远程数据库用户的

PostgreSQL流复制

原理机制 参考--https://yq.aliyun.com/articles/51009 主备总体结构 PG主备流复制的核心部分由walsender,walreceiver和startup三个进程组成. walsender进程是用来发送WAL日志记录的 walreceiver进程是用来接收WAL日志记录的 startup进程是用来apply日志的 配置环境 主机名 IP地址 角色 数据目录 postgres202 192.168.1.202 primary /home/postgres/dat

PostgreSQL 9.5.5主从实现之异步流复制(Hot Standby)

前言 简单记录一下postgresql主从的实现方式之一--基于Standby的异步流复制,这是PostgreSQL9.x版本(2010.9)之后提供的一个很nice的功能,类似的功能在Oracle中是11g之后才提供的active dataguard和SQL Server 2012版本之后才提供的日志传送,此处再次为pg鼓掌,确实是一个很棒的开源数据库.废话不多说,本篇blog就详细记录一下在pg9.5中实现Hot Standby异步流复制的完整配置过程和注意事项. Standby数据库原理

postgresql 流复制(streaming replication)

基本环境说明: os:FreeBSD 9.3 postgresql version:9.3.6 master:192.168.56.101 standby:192.168.56.102 安装过程略,基于pkg包 1.配置master端 # psql -U pgsql -d postgres -c "CREATE USER rep REPLICATION LOGIN ENCRYPTED PASSWORD 'password';" # cd /usr/local/pgsql # vim d