《深入理解MySQL主从原理32讲》推荐篇-程序员宅基地

导读：

作者：高鹏（网名八怪），《深入理解MySQL主从原理32讲》系列文的作者。 2008年开始至今一直从事Oracle/MySQL相关工作，现任易极付高级DBA，Oracle Ocm。
有丰富的数据库性能调优，故障诊断经验，并且对MySQL源码有一定的研究。

《深入理解MySQL主从原理32讲》专栏包含GTID部分、Event部分、主库部分、从库部分四大块来详细讲解主从原理。希望能帮助读者朋友们解决关于主从同步中的一些疑问。八怪写作风格很是严谨，几乎每篇都是从源码入手去剖析MySQL主从复制相关的知识点。

强烈推荐大家订阅本专栏

640?wx_fmt=png

业界大咖推荐序

从2016年开始八怪（本名高鹏）经常向我请教一些源码问题，可见八怪是一个对源码非常执着的人。纵观整个目录覆盖了主从的方方面面，希望他的这个系列能够让大家对主从原理有更加深入的理解。 
————翟卫祥（网名印风） 阿里云智能数据库产品事业部高级MySQL内核专家

和八怪（本名叫高鹏）认识，源于他的一位同事参加了知数堂的MySQL课程，学习之余和八怪有些交流互动，对一些观点有些探讨，然后就顺理成章的认识了。八怪原本是ORACLE DBA，但他接触MySQL之后，开始对MySQL各种深入探究，这种学习的态度和方法令我折服，也反过来促进我更深入理解MySQL。

为了更好理解InnoDB引擎，八怪还曾经开发了bctool、bcview和innblock等几个工具（还有些是我不知道的），其中innblock工具的开发我也作为“产品经理”帮忙提了一些建议，这个工具发布后，也在我的公众号帮忙隆重的推了一波：innblock | InnoDB page观察利器。
自从听闻八怪要写专栏，我就一直关注着进展，偶尔也会帮忙提些建议。这个专栏主要内容是MySQL主从复制相关的内容，从源码层面深入解析MySQL主从复制的方方面面，略有遗憾的是本书没有涉及半同步复制、组复制这两方面的热门内容，期待八怪在未来能有精力增加这两大块知识点。
————叶金荣 MySQL ACE、知数堂联合创始人

高鹏是一位做事非常专注而且动手能力超强的人。其中有一件事情我印象特别深刻，在通过和我交流MGR高可用节点选择后，不到两周时间，又给我讲他实现了一个MGR vip漂移的Python脚本。他先后实现了InnoDB的Page分析，MySQL InnoDB加锁分析，又开始转战努力写作本系列，通过本系列的目录可以看到高鹏基本把复制相关原理做了一个彻底的分析，对于想深入理解MySQL复制及Binlog相关内容的朋友来说是一个不可多得的学习资料。 
————吴炳锡 知数堂联合创始人

作为一个曾今混迹于itpub的老人，拜读过不少高鹏的Oracle方面的文章。偶然之间发现其转战MySQL领域，并攥写了大量原理性剖析的文章，印象较为深刻的是几篇关于MDL lock的源码层面的解析，读完后感觉豁然开朗。开源数据库目前越来越火，尤其以MySQL表现最为抢眼，如果要深入学习MySQL主从原理，本系列实在是不可多得的资料，强烈推荐之！
————李真旭 Oracle ACE 云和恩墨服务产品群总经理 

认识高鹏源于ITPUB blog 专家推荐，初识于Oracle技术，随后MySQL技术兴起，大家转战MySQL，高鹏兄侧重源码剖析，对各种疑难杂症分析入木三分，热心帮助很多网友解决各种问题。现在他将自己对MySQL 主从复制部分源码的解读汇总成系列文章分享给大家。细细品读，必定受益良多。 
————杨奇龙 杭州有赞科技DBA，公众号yangyidba作者

八怪自序

相信作为一名DBA来讲MySQL主从一直都是一个绕不开的话题，我们在很多高可用构架中都能看到它的身影。在我们心中一定都或多或少的产生过一些疑问，比如：
  • 主从延迟为什么会高？
  • 主从延迟为什么一直不动？
  • 主从延迟为什么瞬间跳动？
  • 延迟为0就一定代表没有延迟吗？
  • 从库异常重启为什么会报错？
  • 从库能和主库一样利用索引吗？
  • MTS是如何提高从库应用效率的？
  • 为什么会有那么多和从库相关的sync参数，我该怎么配置？
  • mysql.gtid_executed表有什么用？
    ......

这个系列就是想通过描述主从原理，抽丝剥茧解开大家对这些问题的疑惑。我认为如果要深入学习主从原理需要按照一定的顺序进行学习，如果不知道GTID、不知道Event、不知道主库如何生成Event的，那么肯定不能深入理解主从原理 ，因此本系列按照这种顺序讲解。

本系列一共分为5个部分如下：



第一部分
GTID相关
第1节：GTID的基本概念
第2节：mysql.gtid_executed表/gtid_executed变量/gtid_purged变量的更改时机
第3节：GTID模块初始化简介和参数binlog_gtid_simple_recovery
第4节：GTID中的运维
第二部分
Event相关
第5节：Binary log Event 的总体格式
第6节：重点Event FORMAT_DESCRIPTION_EVENT/PREVIOUS_GTIDS_LOG_EVENT
第7节：重点Event GTID_LOG_EVENT
第8节：重点Event QUERY_EVENT/MAP_EVENT
第9节：重点Event WRITE_ROWS_EVENT/DELETE_ROWS_EVENT
第10节：重点Event UPDATE_ROWS_EVENT/XID_EVENT
第11节：参数binlog_row_image的影响
第12节：巧用Event发现问题
第三部分
主库相关
第13节：binlog cache简介
第14节：事务Event的生成和写入流程
第15节：MySQL层事务提交流程简析
第16节：基于WRITESET的并行复制方式
第17节：主库的DUMP线程
第18节：DUMP线程查找和过滤GTID的基本算法
第四部分
从库相关
第19节：从库MTS多线程并行回放（一）
第20节：从库MTS多线程并行回放（二）
第21节：MTS中GAP测试和参数slave_preserve_commit_order
第22节：从库的IO线程
第23节：从库的SQL线程（MTS协调线程）和参数sql_slave_skip_counter
第24节：从库数据的查找和参数slave_rows_search_algorithms
第25节：从库的关闭和恢复流程
第26节：安全高效的从库设置
第27节：从库Seconds_Behind_Master的计算方式
第28节：从库Seconds_Behind_Master延迟总结
第五部分
其他
第29节：线程简介和MySQL调试环境搭建
第30节：Delete与Insert 死锁案例分析
第31节：Innodb Buffer Pool的三种Page和链表
第32节：利用performance_schema获取造成死锁的语句

其中：
  • 前面29节由我独自编写。
  • 第30节和第31节分别由我的朋友杨奇龙和王航威编写，他们都是有赞的DBA，在平时的交流中我感到他们涉猎之广是我不能及的。
  • 第32节由我的同事田兴椿编写，在平时的工作和学习中他总是能找到一些让我诧异的案例，然后一起学习研究。


讨论范围和约定：

本系列使用源码版本为Percona 5.7.22，因此讨论的范围肯定是5.7版本。
本系列虽然包含了主从中的大部分知识点，但是仍然有部分内容没有覆盖，如下：

  • 不覆盖半同步。
  • 只考虑master_info_repository和relay_log_info_repository设置为‘table’的情况。
  • 只考虑binlog_format设置为‘row’的情况。

本系列约定如下：

  • 行格式：binlog_format设置为‘row’。
  • 语句格式：binlog_format设置为‘statement’。
  • binary log：这里代表是我们常说的binlog物理文件。
  • order commit：代表的是‘MYSQL_BIN_LOG::ordered_commit’函数，因为本系列中使用频率很高因此做了简化。将会在15节详细它的流程。
  • GTID AUTO_POSITION MODE：代表主从使用的是GTID同时使用了master_auto_position=1。
  • POSITION MODE：代表主从使用的是传统的位点模式。
  • 单SQL线程：用来和MTS进行区分，代表只有一个SQL线程进行Event的应用。
  • MTS：‘multi-threaded slaves’的简称，包含一个协调线程和多个工作线程，Event由工作线程应用。


编写方式

在编写之初有些朋友建议我不写源码而有些朋友建议我多贴些代码，因此我做了一下综合，整个系列中我会给出一些源码接口和必要的源码证明，但是不会贴很多源码和栈帧。有些章节会包含一个笔记放到我的简书，这个笔记就是我学习的时候记录的源码调用顺序和一些栈帧供自己复习之用也供想了解源码的朋友查看，但是可读性不是那么好。如果对源码不感兴趣的朋友可以跳过这些源码接口和代码，我认为这并不会影响阅读的连续性。


注意

  • 本系列是基于 MySQL 5.7编写的。
  • 本系列全部是 图片的形式，分为正文图片、附录图片两部分，正文中的一些高清图放到了附录中，可以保存到本地放大查看。
  • 由于作者能力有限虽然我尽量保证严谨，但是 错误在所难免。如果发现错误可以联系我，我会验证后进行更改。

感谢

非常感谢翟卫祥、叶金荣、吴炳锡、李真旭、杨奇龙百忙之中为本系列作推荐序，特别感谢叶金荣为本系列校稿。


识别下方二维码添加作者为好友

640?wx_fmt=png

END

点击下图小程序订阅

《深入理解MySQL主从原理32讲》专栏

可了解更多八怪技术文章

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=gif

640?wx_fmt=gif

扫码加入MySQL技术Q群

（群号：793818397）

   

640?wx_fmt=png
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/n88Lpo/article/details/100764275

智能推荐

使用nginx解决浏览器跨域问题_nginx不停的xhr-程序员宅基地

文章浏览阅读1k次。通过使用ajax方法跨域请求是浏览器所不允许的，浏览器出于安全考虑是禁止的。警告信息如下：不过jQuery对跨域问题也有解决方案，使用jsonp的方式解决，方法如下：$.ajax({ async:false, url: 'http://www.mysite.com/demo.do', // 跨域URL ty..._nginx不停的xhr

在 Oracle 中配置 extproc 以访问 ST_Geometry-程序员宅基地

文章浏览阅读2k次。关于在 Oracle 中配置 extproc 以访问 ST_Geometry，也就是我们所说的 使用空间SQL 的方法，官方文档链接如下。http://desktop.arcgis.com/zh-cn/arcmap/latest/manage-data/gdbs-in-oracle/configure-oracle-extproc.htm其实简单总结一下，主要就分为以下几个步骤。..._extproc

Linux C++ gbk转为utf-8_linux c++ gbk->utf8-程序员宅基地

文章浏览阅读1.5w次。linux下没有上面的两个函数，需要使用函数 mbstowcs和wcstombsmbstowcs将多字节编码转换为宽字节编码wcstombs将宽字节编码转换为多字节编码这两个函数，转换过程中受到系统编码类型的影响，需要通过设置来设定转换前和转换后的编码类型。通过函数setlocale进行系统编码的设置。linux下输入命名locale -a查看系统支持的编码_linux c++ gbk->utf8

IMP-00009: 导出文件异常结束-程序员宅基地

文章浏览阅读750次。今天准备从生产库向测试库进行数据导入，结果在imp导入的时候遇到“ IMP-00009:导出文件异常结束” 错误，google一下，发现可能有如下原因导致imp的数据太大，没有写buffer和commit两个数据库字符集不同从低版本exp的dmp文件，向高版本imp导出的dmp文件出错传输dmp文件时，文件损坏解决办法：imp时指定..._imp-00009导出文件异常结束

python程序员需要深入掌握的技能_Python用数据说明程序员需要掌握的技能-程序员宅基地

文章浏览阅读143次。当下是一个大数据的时代，各个行业都离不开数据的支持。因此，网络爬虫就应运而生。网络爬虫当下最为火热的是Python，Python开发爬虫相对简单，而且功能库相当完善，力压众多开发语言。本次教程我们爬取前程无忧的招聘信息来分析Python程序员需要掌握那些编程技术。首先在谷歌浏览器打开前程无忧的首页，按F12打开浏览器的开发者工具。浏览器开发者工具是用于捕捉网站的请求信息，通过分析请求信息可以了解请..._初级python程序员能力要求

Spring @Service生成bean名称的规则（当类的名字是以两个或以上的大写字母开头的话，bean的名字会与类名保持一致）_@service beanname-程序员宅基地

文章浏览阅读7.6k次，点赞2次，收藏6次。@Service标注的bean，类名：ABDemoService查看源码后发现，原来是经过一个特殊处理：当类的名字是以两个或以上的大写字母开头的话，bean的名字会与类名保持一致public class AnnotationBeanNameGenerator implements BeanNameGenerator { private static final String C..._@service beanname

随便推点

二叉树的各种创建方法_二叉树的建立-程序员宅基地

文章浏览阅读6.9w次，点赞73次，收藏463次。1.前序创建#include<stdio.h>#include<string.h>#include<stdlib.h>#include<malloc.h>#include<iostream>#include<stack>#include<queue>using namespace std;typed_二叉树的建立

解决asp.net导出excel时中文文件名乱码_asp.net utf8 导出中文字符乱码-程序员宅基地

文章浏览阅读7.1k次。在Asp.net上使用Excel导出功能，如果文件名出现中文，便会以乱码视之。 解决方法： fileName = HttpUtility.UrlEncode(fileName, System.Text.Encoding.UTF8);_asp.net utf8 导出中文字符乱码

笔记-编译原理-实验一-词法分析器设计_对pl/0作以下修改扩充。增加单词-程序员宅基地

文章浏览阅读2.1k次，点赞4次，收藏23次。第一次实验 词法分析实验报告设计思想词法分析的主要任务是根据文法的词汇表以及对应约定的编码进行一定的识别，找出文件中所有的合法的单词，并给出一定的信息作为最后的结果，用于后续语法分析程序的使用；本实验针对 PL/0 语言 的文法、词汇表编写一个词法分析程序，对于每个单词根据词汇表输出： (单词种类, 单词的值) 二元对。词汇表：种别编码单词符号助记符0beginb..._对pl/0作以下修改扩充。增加单词

android adb shell 权限,android adb shell权限被拒绝-程序员宅基地

文章浏览阅读773次。我在使用adb.exe时遇到了麻烦.我想使用与bash相同的adb.exe shell提示符,所以我决定更改默认的bash二进制文件(当然二进制文件是交叉编译的,一切都很完美)更改bash二进制文件遵循以下顺序> adb remount> adb push bash / system / bin /> adb shell> cd / system / bin> chm..._adb shell mv 权限

投影仪-相机标定_相机-投影仪标定-程序员宅基地

文章浏览阅读6.8k次，点赞12次，收藏125次。1. 单目相机标定引言相机标定已经研究多年，标定的算法可以分为基于摄影测量的标定和自标定。其中，应用最为广泛的还是张正友标定法。这是一种简单灵活、高鲁棒性、低成本的相机标定算法。仅需要一台相机和一块平面标定板构建相机标定系统，在标定过程中，相机拍摄多个角度下（至少两个角度，推荐10~20个角度）的标定板图像（相机和标定板都可以移动），即可对相机的内外参数进行标定。下面介绍张氏标定法（以下也这么称呼）的原理。原理相机模型和单应矩阵相机标定，就是对相机的内外参数进行计算的过程，从而得到物体到图像的投影_相机-投影仪标定

Wayland架构、渲染、硬件支持-程序员宅基地

文章浏览阅读2.2k次。文章目录Wayland 架构Wayland 渲染Wayland的 硬件支持简 述：　翻译一篇关于和 wayland 有关的技术文章, 其英文标题为Wayland Architecture .Wayland 架构若是想要更好的理解 Wayland 架构及其与 X (X11 or X Window System) 结构；一种很好的方法是将事件从输入设备就开始跟踪, 查看期间所有的屏幕上出现的变化。这就是我们现在对 X 的理解。 内核是从一个输入设备中获取一个事件，并通过 evdev 输入_wayland

推荐文章

热门文章

相关标签