linuxsir首页 LinuxSir.Org | Linux、BSD、Solaris、Unix | 开源传万世,因有我参与欢迎您!
网站首页 | 设为首页 | 加入收藏
您所在的位置:主页 > Linux数据库 >

MySQL GTID复制Slave跳过错误事务ID

时间:2018-06-04  来源:未知  作者:admin666

背景:安装完master之后,修改root密码的时候忘了关闭binlog,导致update mysql.user表的时候记录了binlog

开启GTID的复制后,直接报错:
Could not execute Update_rows event on table mysql.user; Can't find record in 'user', Error_code: 1032; handler error HA_ERR_KEY_NOT_FOUND; the event's master log binlog.000002, end_log_pos 744

网上有非常多的跳过GTID复制报错的文章,
当然GTID复制报错的原因有两种:
一种是数据不一致引起的(主库事物在从库上找不到对应数据,或者是数据主键冲突,索引冲突之类的)
另一种是主库上事物日志被清理,从库找不到主库的要重放的事物日志引起的(Got fatal error 1236 from master when reading data from binary log:)
显然这里是因为数据不一致引起的错误,最主要的是如何找到引起复制错误的事物号,然后跳过这个事物?
之前注意过这个细节问题,这次果然又遇到了。

如何找到造成复制错误对应的事物Id?

对于slave status中的信息,注意如下两行
Retrieved_Gtid_Set: 6d257f5b-5e6b-11e8-b668-5254003de1b6:1-547
Executed_Gtid_Set:
Retrieved_Gtid_Set是slave接收到的事务的信息,
Executed_Gtid_Set是slave已经执行的slave的信息,这里没有任何信息,意味着复制的时候从库遇到主库的第一个事物Id就发生了错误
也就是说第一个事务复制就不能执行,为什么第一个事务就无法正常复制,按道理,跳过 6d257f5b-5e6b-11e8-b668-5254003de1b6:1就可以的。

 

从复制报错来看,如下,说的是:Can't find record in 'user' ****
  Last_Errno: 1032
  Last_Error: Could not execute Update_rows event on table mysql.user; Can't find record in 'user', Error_code: 1032; handler error HA_ERR_KEY_NOT_FOUND;inlog.000002, end_log_pos 744
  Skip_Counter: 0
  Exec_Master_Log_Pos: 154

然后使用mysqlbinlog 解析主库上的binlog信息
如下是执行mysqlbinlog --no-defaults -v -v --base64-output=DECODE-ROWS binlog.000002 的结果

 

mysql> stop slave;
Query OK, 0 rows affected (0.00 sec)

mysql> exit
Bye
[root@tencent01 mysql8000binlog]# mysqlbinlog --no-defaults -v -v --base64-output=DECODE-ROWS binlog.000002
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;
/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;
DELIMITER /*!*/;
# at 4
#180523 17:26:57 server id 8000  end_log_pos 123 CRC32 0x7a72d0c2      Start: binlog v 4, server v 5.7.20-log created 180523 17:26:57 at startup
ROLLBACK/*!*/;
# at 123
#180523 17:26:57 server id 8000  end_log_pos 154 CRC32 0x1e585b38      Previous-GTIDs
# [empty]
# at 154
#180523 17:27:08 server id 8000  end_log_pos 219 CRC32 0xcf9ed3c3      GTID    last_committed=0        sequence_number=1      rbr_only=yes
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/;
SET @@SESSION.GTID_NEXT= '6d257f5b-5e6b-11e8-b668-5254003de1b6:1'/*!*/;
# at 219
#180523 17:27:08 server id 8000  end_log_pos 287 CRC32 0x5ca28a69      Query  thread_id=5    exec_time=0    error_code=0
SET TIMESTAMP=1527067628/*!*/;
SET @@session.pseudo_thread_id=5/*!*/;
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;
SET @@session.sql_mode=1436549152/*!*/;
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;
/*!\C utf8mb4 *//*!*/;
SET @@session.character_set_client=45,@@session.collation_connection=45,@@session.collation_server=45/*!*/;
SET @@session.lc_time_names=0/*!*/;
SET @@session.collation_database=DEFAULT/*!*/;
BEGIN
/*!*/;
# at 287
#180523 17:27:08 server id 8000  end_log_pos 459 CRC32 0xf4845b1b      Table_map: `mysql`.`user` mapped to number 4
# at 459
#180523 17:27:08 server id 8000  end_log_pos 744 CRC32 0x74306d73      Update_rows: table id 4 flags: STMT_END_F
### UPDATE `mysql`.`user`
### WHERE
###  @1='localhost' /* STRING(180) meta=65204 nullable=0 is_null=0 */
###  @2='root' /* STRING(96) meta=65120 nullable=0 is_null=0 */
###  @3=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @4=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @5=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @6=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @7=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @8=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @9=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @10=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @11=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @12=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @13=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @14=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @15=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @16=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @17=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @18=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @19=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @20=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @21=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @22=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @23=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @24=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @25=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @26=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @27=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @28=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @29=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @30=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @31=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @32=1 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @33='' /* BLOB/TEXT meta=2 nullable=0 is_null=0 */
###  @34='' /* BLOB/TEXT meta=2 nullable=0 is_null=0 */
###  @35='' /* BLOB/TEXT meta=2 nullable=0 is_null=0 */
###  @36=0 /* INT meta=0 nullable=0 is_null=0 */
###  @37=0 /* INT meta=0 nullable=0 is_null=0 */
###  @38=0 /* INT meta=0 nullable=0 is_null=0 */
###  @39=0 /* INT meta=0 nullable=0 is_null=0 */
###  @40='mysql_native_password' /* STRING(192) meta=65216 nullable=0 is_null=0 */
###  @41='' /* BLOB/TEXT meta=2 nullable=1 is_null=0 */
###  @42=1 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @43=1527067612 /* TIMESTAMP(0) meta=0 nullable=1 is_null=0 */
###  @44=NULL /* SHORTINT meta=0 nullable=1 is_null=1 */
###  @45=1 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### SET
###  @1='%' /* STRING(180) meta=65204 nullable=0 is_null=0 */
###  @2='root' /* STRING(96) meta=65120 nullable=0 is_null=0 */
###  @3=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @4=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @5=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @6=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @7=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @8=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @9=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @10=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @11=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @12=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @13=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @14=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @15=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @16=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @17=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @18=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @19=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @20=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @21=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @22=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @23=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @24=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @25=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @26=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @27=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @28=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @29=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @30=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @31=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @32=1 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @33='' /* BLOB/TEXT meta=2 nullable=0 is_null=0 */
###  @34='' /* BLOB/TEXT meta=2 nullable=0 is_null=0 */
###  @35='' /* BLOB/TEXT meta=2 nullable=0 is_null=0 */
###  @36=0 /* INT meta=0 nullable=0 is_null=0 */
###  @37=0 /* INT meta=0 nullable=0 is_null=0 */
###  @38=0 /* INT meta=0 nullable=0 is_null=0 */
###  @39=0 /* INT meta=0 nullable=0 is_null=0 */
###  @40='mysql_native_password' /* STRING(192) meta=65216 nullable=0 is_null=0 */
###  @41='*81F5E21E35407D884A6CD4A731AEBFB6AF209E1B' /* BLOB/TEXT meta=2 nullable=1 is_null=0 */
###  @42=1 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
###  @43=1527067612 /* TIMESTAMP(0) meta=0 nullable=1 is_null=0 */
###  @44=NULL /* SHORTINT meta=0 nullable=1 is_null=1 */
###  @45=1 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
# at 744
#180523 17:27:08 server id 8000  end_log_pos 813 CRC32 0xd3a07e78      Query  thread_id=5    exec_time=0    error_code=0
SET TIMESTAMP=1527067628/*!*/;
COMMIT
/*!*/;
# at 813
#180523 17:27:08 server id 8000  end_log_pos 878 CRC32 0x6451705b      GTID    last_committed=1        sequence_number=2      rbr_only=no
SET @@SESSION.GTID_NEXT= '6d257f5b-5e6b-11e8-b668-5254003de1b6:2'/*!*/;
# at 878
#180523 17:27:08 server id 8000  end_log_pos 965 CRC32 0x7451238c      Query  thread_id=6    exec_time=0    error_code=0
SET TIMESTAMP=1527067628/*!*/;
/*!\C utf8 *//*!*/;
SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=45/*!*/;
SET @@session.time_zone='SYSTEM'/*!*/;
flush privileges
/*!*/;
# at 965
#180523 17:27:08 server id 8000  end_log_pos 988 CRC32 0x108e7f09      Stop
SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by mysqlbinlog */ /*!*/;
DELIMITER ;
# End of log file
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;
[root@tencent01 mysql8000binlog]#

不难理解,在master安装之后,第一时间修改了root的密码,那么修改root密码应该是第一个事务,
因此到了slave上,第一个事务就是无法执行的,为什么系统表(mysql.user)不允许复制事务?这一点先抛开,
如何在binlog中确认是哪一个事务Id?
上面说的是 Exec_Master_Log_Pos: 154,end_log_pos 744,也就是在这个偏移量之间的事务是导致slave无法复制的,这个事务Id正式1,也即GTID_NEXT= '6d257f5b-5e6b-11e8-b668-5254003de1b6:1'
这里涉及利用Exec_Master_Log_Pos和end_log_pos 找事物Id的问题,从名字大概能猜到是这两个偏移量之间的一个事物Id
这两个偏移量之间的事物Id,也就是 '6d257f5b-5e6b-11e8-b668-5254003de1b6:1'
笔者一开始是找end_log_pos 744后面的事物Id,也即事物2,然后在从库设置跳过,怎么也不行。

对于数据冲突之列的复制错误,至于跳过事物Id本身,就不复杂了。

(1)停止slave进程
mysql> STOP SLAVE;
(2)设置事务号,事务号从Retrieved_Gtid_Set获取
在session里设置gtid_next,即跳过这个GTID
mysql> SET GTID_NEXT= '6d257f5b-5e6b-11e8-b668-5254003de1b6:1'
(3)设置空事物
mysql> BEGIN; COMMIT;
(4)恢复事物号
mysql> SET SESSION GTID_NEXT = AUTOMATIC;
(5)启动slave进程
mysql> START SLAVE;
跳过一个事务之后,重启slave,恢复正常

稍等几秒钟,从库很快就追上主库了。

友情链接
  • Mozilla发布Firefox 67.0.4,修复沙箱逃逸漏洞
  • 蚂蚁金服正式成为CNCF云原生计算基金会黄金会员
  • Firefox 68将采用Microsoft BITS安装更新
  • OpenSSH增加对存储在RAM中的私钥的保护
  • 谷歌想实现自己的curl,为什么?
  • Raspberry Pi 4发布:更快的CPU、更大的内存
  • Firefox的UA将移除CPU架构信息
  • Ubuntu放弃支持32位应用程序实属乌龙,Steam会否重回Ubuntu怀抱
  • Qt 5.13稳定版发布:引入glTF 2.0、改进Wayland以及支持Lottie动
  • 红帽企业Linux 7现已内置Redis 5最新版
  • Slack进入微软内部禁用服务清单,GitHub也在其列?
  • 安全的全新编程语言V发布首个可用版本
  • Windows Terminal已上架,快尝鲜
  • 阿里巴巴微服务开源生态报告No.1
  • 面世两年,Google地球将支持所有基于Chromium的浏览器
  • 推进企业容器化持续创新,Rancher ECIC千人盛典完美收官
  • CentOS 8.0最新构建状态公布,或于数周后发布
  • Debian移植RISC
  • 微软拆分操作系统的计划初现雏形
  • Oracle发布基于VS Code的开发者工具,轻松使用Oracle数据库
  • Ubuntu 19.10停止支持32位的x86架构
  • 微软为Windows Terminal推出全新logo
  • 联想ThinkPad P系列笔记本预装Ubuntu系统
  • 微软发布适用于Win7/8的Microsoft Edge预览版
  • 启智平台发布联邦学习开源数据协作项目OpenI纵横
  • 经过六个多月的延迟,微软终于推出Hyper
  • ZFS On Linux 0.8.1 发布,Python可移植性工作
  • DragonFly BSD 5.6.0 发布,HAMMER2状态良好
  • Linux Kernel 5.2
  • CentOS 8.0 看起来还需要几周的时间
  • 百度网盘Linux版正式发布
  • PCIe 6.0宣布:带宽翻倍 狂飙至256GB/s
  • PHP 7.4 Alpha 发布,FFI扩展,预加载Opcache以获得更好的性能
  • Canonical将在未来的Ubuntu版本中放弃对32位架构的支持
  • Scala 2.13 发布,改进的编译器性能
  • 微软的GitHub收购了Pull Panda,并且使所有订阅完全免费
  • Windows Subsystem for Linux 2 (WSL 2)现在适用于Windows 10用
  • Debian 10 “Buster”的RISC
  • MariaDB宣布发布MariaDB Enterprise Server 10.4
  • DXVK 1.2.2 发布,带来微小的CPU开销优化
  • DragonFlyBSD 5.6 RC1 发布,VM优化,默认为HAMMER2
  • PrimeNG 8.0.0 发布,支持Angular 8,FocusTrap等
  • GIMP 2.10.12 发布,一些有用的改进
  • 清华大学Anaconda 镜像服务即将恢复
  • Debian GNU/Linux 10 “Buster” 操作系统将于2019年7月6日发布
  • 时时彩论坛
  • 五星体育斯诺克
  • 北单比分直播
  • 河北11选5走势图
  • 福建体彩36选7开奖结果
  • 九龙图库下载