linuxsir首页 LinuxSir.Org | Linux、BSD、Solaris、Unix | 开源传万世,因有我参与欢迎您!
网站首页 | 设为首页 | 加入收藏
您所在的位置:主页 > Linux数据库 >

PostgreSQL启动恢复读取checkpoint记录失败的条件

时间:2019-02-26  来源:未知  作者:admin666

1、首先读取ControlFile- checkPoint指向的checkpoint
2、如果读取失败,slave直接abort退出,master再次读取ControlFile- prevCheckPoint指向的checkpoint
StartupXLOG-
    |--checkPointLoc = ControlFile- checkPoint;
    |--record = ReadCheckpointRecord(xlogreader, checkPointLoc, 1, true):
    |-- if (record != NULL){
          ...
        }else if (StandbyMode){
            ereport(PANIC,(errmsg("could not locate a valid checkpoint record")));
        }else{
            checkPointLoc = ControlFile- prevCheckPoint;
            record = ReadCheckpointRecord(xlogreader, checkPointLoc, 2, true);
            if (record != NULL){
                InRecovery = true;//标记下面进入recovery
            }else{
                ereport(PANIC,(errmsg("could not locate a valid checkpoint record")));
            }
        }


一、那么什么条件下读取的checkpoint记录record==NULL?

1、ControlFile- checkPoint % XLOG_BLCKSZ SizeOfXLogShortPHD
2、ReadRecord(xlogreader, ControlFile- checkPoint, LOG, true)返回NULL
3、ReadRecord读到的record!=NULL record- xl_rmid != RM_XLOG_ID
4、ReadRecord读到的record!=NULL info != XLOG_CHECKPOINT_SHUTDOWN info != XLOG_CHECKPOINT_ONLINE
5、ReadRecord读到的record!=NULL record- xl_tot_len != SizeOfXLogRecord + SizeOfXLogRecordDataHeaderShort + sizeof(CheckPoint)

二、ReadRecord函数返回NULL的条件

ReadRecord(xlogreader, ControlFile- checkPoint, LOG, true)
    |--record = XLogReadRecord(xlogreader, ControlFile- checkPoint, errormsg);
    |-- 2.1 record==NULL !StandbyMode
    |-- 2.2 record!=NULL !tliInHistory(xlogreader- latestPageTLI, expectedTLEs)
    /*-----
    note:只要读取了一页xlog,就会赋值为该页第一个记录的时间线
    XLogReaderValidatePageHeader
        -- xlogreader- latestPageTLI=hdr- xlp_tli;
    ------*/

三、XlogReadRecord读取checkpoint返回NULL的条件?

XLogReadRecord(xlogreader, ControlFile- checkPoint, errormsg)
    targetPagePtr = ControlFile- checkPoint - (ControlFile- checkPoint % XLOG_BLCKSZ);
    targetRecOff = ControlFile- checkPoint % XLOG_BLCKSZ;
    readOff = ReadPageInternal(state,targetPagePtr, Min(targetRecOff + SizeOfXLogRecord, XLOG_BLCKSZ));
    pageHeaderSize = XLogPageHeaderSize((XLogPageHeader) state- readBuf);
    record = (XLogRecord *) (state- readBuf + RecPtr % XLOG_BLCKSZ);
    total_len = record- xl_tot_len;
    -------------
    1、readOff 0
    2、0 targetRecOff pageHeaderSize
    3、(((XLogPageHeader) state- readBuf)- xlp_info XLP_FIRST_IS_CONTRECORD) targetRecOff == pageHeaderSize
      page头有跨页的record并且checkpoint定位的偏移正好在页头尾部
    4、targetRecOff = XLOG_BLCKSZ - SizeOfXLogRecord
      !ValidXLogRecordHeader(state, ControlFile- checkPoint, state- ReadRecPtr, record,randAccess)
      ---(record- xl_tot_len SizeOfXLogRecord || record- xl_rmid RM_MAX_ID || record- xl_prev != state- ReadRecPtr)
    5、targetRecOff XLOG_BLCKSZ - SizeOfXLogRecord total_len SizeOfXLogRecord
    6、total_len state- readRecordBufSize !allocate_recordbuf(state, total_len)
      一旦该记录损坏,total_len的长度非常大的话,就需要allocate_recordbuf扩展state- readbuf,可能因此分配失败abort
      记录的checksum需要等待全部读取完整记录后才校验
    -------------

三、ReadPageInternal返回的readOff返回小于0的条件

ReadPageInternal(state,targetPagePtr, Min(targetRecOff + SizeOfXLogRecord, XLOG_BLCKSZ))
    1、第一次read wal文件,readLen = state- read_page:读取第一页。readLen 0
    2、readLen 0 !XLogReaderValidatePageHeader(state, targetSegmentPtr, state- readBuf)
    --
    3、读取checkpoint所在页readLen = state- read_page: readLen 0
    4、readLen 0 readLen = SizeOfXLogShortPHD
    5、!XLogReaderValidatePageHeader(state, pageptr, (char *) hdr)

四、XLogPageRead何时返回值 0 ?

/*
    1、WaitForWALToBecomeAvailable open失败
    2、lseek 失败 !StandbyMode
    3、read失败 !StandbyMode
    4、校验page头失败 !StandbyMode
    如果是StandbyMode,则会重新retry- WaitForWALToBecomeAvailable,切换日志源进行open
    */
    !WaitForWALToBecomeAvailable(targetPagePtr + reqLen,private- randAccess,1,targetRecPtr)//open
    |-- return -1
    readOff = targetPageOff;
    if (lseek(readFile, (off_t) readOff, SEEK_SET) 0){
        !StandbyMode:: return -1
    }
    if (read(readFile, readBuf, XLOG_BLCKSZ) != XLOG_BLCKSZ){
        !StandbyMode:: return -1
    }
    XLogReaderValidatePageHeader(xlogreader, targetPagePtr, readBuf)
    !StandbyMode:: return -1

五、WaitForWALToBecomeAvailable何时返回false?

--XLOG_FROM_ARCHIVE | XLOG_FROM_PG_WAL
    1、先XLogFileReadAnyTLI open日志:
        1、遍历时间线列表里的每一个时间线,从最新的开始
        2、当读取checkpoint的时候,source是XLOG_FROM_ANY
        3、先找归档的日志进行open;如果open失败再找WAL日志进行open
        4、如果都没有open成功,则向前找时间线,open前一个时间线segno和文件号相同的文件进行open
        5、open成功后expectedTLEs被赋值为当前时间线列表的所有值
    2、如果open失败,则切换日志源:XLOG_FROM_ARCHIVE | XLOG_FROM_PG_WAL - XLOG_FROM_STREAM
    3、切换日志源后,XLOG_FROM_ARCHIVE | XLOG_FROM_PG_WAL 则:
      slave promote :return false
      !StandbyMode:return false
    --XLOG_FROM_STREAM
    1、!WalRcvStreaming()即receiver进程挂了,切换日志源
    2、CheckForStandbyTrigger()切换日志源
    3、XLOG_FROM_STREAM- XLOG_FROM_ARCHIVE

Linux公社的RSS地址:https://www.linuxidc.com/rssFeed.aspx

友情链接
  • Mozilla发布Firefox 67.0.4,修复沙箱逃逸漏洞
  • 蚂蚁金服正式成为CNCF云原生计算基金会黄金会员
  • Firefox 68将采用Microsoft BITS安装更新
  • OpenSSH增加对存储在RAM中的私钥的保护
  • 谷歌想实现自己的curl,为什么?
  • Raspberry Pi 4发布:更快的CPU、更大的内存
  • Firefox的UA将移除CPU架构信息
  • Ubuntu放弃支持32位应用程序实属乌龙,Steam会否重回Ubuntu怀抱
  • Qt 5.13稳定版发布:引入glTF 2.0、改进Wayland以及支持Lottie动
  • 红帽企业Linux 7现已内置Redis 5最新版
  • Slack进入微软内部禁用服务清单,GitHub也在其列?
  • 安全的全新编程语言V发布首个可用版本
  • Windows Terminal已上架,快尝鲜
  • 阿里巴巴微服务开源生态报告No.1
  • 面世两年,Google地球将支持所有基于Chromium的浏览器
  • 推进企业容器化持续创新,Rancher ECIC千人盛典完美收官
  • CentOS 8.0最新构建状态公布,或于数周后发布
  • Debian移植RISC
  • 微软拆分操作系统的计划初现雏形
  • Oracle发布基于VS Code的开发者工具,轻松使用Oracle数据库
  • Ubuntu 19.10停止支持32位的x86架构
  • 微软为Windows Terminal推出全新logo
  • 联想ThinkPad P系列笔记本预装Ubuntu系统
  • 微软发布适用于Win7/8的Microsoft Edge预览版
  • 启智平台发布联邦学习开源数据协作项目OpenI纵横
  • 经过六个多月的延迟,微软终于推出Hyper
  • ZFS On Linux 0.8.1 发布,Python可移植性工作
  • DragonFly BSD 5.6.0 发布,HAMMER2状态良好
  • Linux Kernel 5.2
  • CentOS 8.0 看起来还需要几周的时间
  • 百度网盘Linux版正式发布
  • PCIe 6.0宣布:带宽翻倍 狂飙至256GB/s
  • PHP 7.4 Alpha 发布,FFI扩展,预加载Opcache以获得更好的性能
  • Canonical将在未来的Ubuntu版本中放弃对32位架构的支持
  • Scala 2.13 发布,改进的编译器性能
  • 微软的GitHub收购了Pull Panda,并且使所有订阅完全免费
  • Windows Subsystem for Linux 2 (WSL 2)现在适用于Windows 10用
  • Debian 10 “Buster”的RISC
  • MariaDB宣布发布MariaDB Enterprise Server 10.4
  • DXVK 1.2.2 发布,带来微小的CPU开销优化
  • DragonFlyBSD 5.6 RC1 发布,VM优化,默认为HAMMER2
  • PrimeNG 8.0.0 发布,支持Angular 8,FocusTrap等
  • GIMP 2.10.12 发布,一些有用的改进
  • 清华大学Anaconda 镜像服务即将恢复
  • Debian GNU/Linux 10 “Buster” 操作系统将于2019年7月6日发布
  • 时时彩论坛
  • 五星体育斯诺克
  • 北单比分直播
  • 河北11选5走势图
  • 福建体彩36选7开奖结果
  • 九龙图库下载