MySQL · 功能介绍 · binlog拉取速度的控制

## binlog拉取存在的问题 MySQL 主备之间数据同步是通过binlog进行的，当主库更新产生binlog时，备库需要同步主库的数据，通过binlog协议从主库拉取binlog进行数据同步，以达到主备数据一致性的目的。但当主库tps较高时会产生大量的binlog，以致备库拉取主库产生的binlog时占用较多的网络带宽，引起以下问题： 1. 在MySQL中，写入与读取binlog使用的是同一把锁(Lock_log)，频繁的读取binlog，会加剧Lock_log冲突，影响主库执行，进而造成TPS降低或抖动； 2. 当备库数量较多时，备库拉取binlog会占用过多的带宽，影响应用的响应时间。 为了解决上面提到的问题，需要对binlog的拉取速度进行限制。 ## 问题存在的原因 备库或应用通过binlog协议向主库发送消息，告诉主库要拉取binlog，主库经过权限认证后，以binlog_event为单位读取在本地的binlog，然后将这些binlog_event发送给应用，其过程简单描述如下： 1. 从mysql-bin.index中找到用户消息中的指定文件，如果没有指定要拉取的binlog文件名称，则用第一个； 2. 上Lock_log锁，从1)或4) 中的binlog file中读取一个binlog_event，释放Lock_log锁，判断binlog_event的类型； 3. 如果是普通binlog_event，则将binlog_event发送到net 缓冲区； 4. 如果是Rotate_log_event，则取出要Rotate到的文件，执行2)； 5. 如果当前读的文件是最后一个文件且已经读到了文件的结尾，则会释放Lock_log锁，并等待新的Log_event信号。 从以上过程可以看出，binlog的发送速度和IO、网络有很大的关系，只要这三者不受限制，程序会就尽力发送binlog而没有限制。 ## 解决问题的方法 由3、4可以看出，程序在读取和发送之间是没有其它工作的，如果IO很强，读取的速度很快，那么binlog的发送速度就会很快且不受限制，进而造成本文开始所描述的问题；针对binlog发送速度的问题，rds_mysql 通过设置binlog发送线程的发送频率、休眠时间来调整binlog的发送速度，因此 rds_mysql 引入了两个新的参数： 1\. binlog_send_idle_period binlog发送线程的每次休眠时间，单位微秒，默认值100； 2\. binlog_send_limit_users binlog发送线程的速度配置，默认值”“。 举例如下： set global binlog_send_limit_users=”rep1:3,rep2:10” 的作用是设置rep1拉取binlog的上限速度是3M/s, rep2拉取binlog的上限速度是10M/s，其中rep2、rep2指的是应用连接的用户名，对于binlog的拉取速度控制主要分为两个方面： ## binlog 发送速度监控线程 速度监控线程随着mysqld的启动而启动，用于定时扫描限速列表，计算列表中的每一个binlog dump线程的binlog发送速度，并根据计算的速度调整binlog的发送频率，其工作过程描述如下： 1. 速度监控线程随着mysqld的启动而启动，并初始化限速列表； 2. 对限速列表进行依次扫描，如果取到的线程不为空，转2); 3. 计算当前线程的发送速度，与用户设定的速度进行比较，大于设定的发送速度，转3)，如果小于用户设定的发送速度，则转4) 4. 通过调整当前线程的net_thread_frequency 成员，降低发送频率； 5. 通过调整当前线程的net_thread_frequency 成员，增加发送频率； 6. 遍历完限速列表后让出CPU 1毫秒，转1) 由以上描述可以看出，监控线程每毫秒执行一次，根据发送的字节数来计算binlog发送线程的发送速度是否超过设定的速度，并通过调整发送频率来调整binlog的发送速度，监控线程的限速列表是这样构造的： 1. binlog dump 线程在拉取binlog前会先根据连接的用户名判断是否应该对该用户限速，如果需要限速，则需要将当前dump线程加入限速列表； 2. 当binlog dump结束或断开连接时，从限速列表移除； 3. 当设置参数binlog_send_limit_users时，会对当前所有线程进行遍历，将被限制的用户加入限速列表，对不受限制的用户移出限制列表，所有受影响的线程不需要重新连接，可以实时生效。 ## binlog dump 线程 dump 线程用于发送binlog，在发送过程中会根据监控线程设置的发送频率来调整binlog发送的速度，可以分为以下几步： 1\. binlog dump 线程在拉取binlog前会先根据连接的用户名判断是否将本用户的线程加入限速列表； 2\. 读取binlog，并查看是否需要休眠，需要休眠转3)，否则转4)； 3\. 休眠binlog_send_idle_period； 4\. 发送读取到的binlog event，转2。 因此可以通过设置binlog的发送频率及休眠时间精确调整binlog的发送速度