基于python的mysql復(fù)制工具詳解

一 簡(jiǎn)介

python-mysql-replication 是基于python實(shí)現(xiàn)的 MySQL復(fù)制協(xié)議工具，我們可以用它來(lái)解析binlog 獲取日志的insert，update，delete等事件 ，并基于此做其他業(yè)務(wù)需求。比如數(shù)據(jù)更改時(shí)失效緩存，監(jiān)聽(tīng)dml事件通知下游業(yè)務(wù)方做對(duì)應(yīng)處理。

其項(xiàng)目信息

二 實(shí)踐

2.1 安裝配置

獲取源代碼

git clone http://www.github.com/noplay/python-mysql-replication

使用pip 安裝

pip install mysql-replication

權(quán)限: 可以直接使用復(fù)制賬號(hào)也可以使用其他賬號(hào)，但是該賬號(hào)必須 SELECT, REPLICATION SLAVE, REPLICATION CLIENT 權(quán)限

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON . TO 'replicator'@'%' IDENTIFIED BY 'xxxxx';

數(shù)據(jù)庫(kù)日志相關(guān)的參數(shù)設(shè)置如下:

log_bin=on ，binlog_format=row，binlog_row_image=FULL

2.2 核心類介紹

python-mysql-replication 的入口是類BinLogStreamReader()，我們?cè)谑褂迷摴ぞ邥r(shí)需要實(shí)例化一個(gè)BinLogStreamReader()對(duì)象 stream， BinLogStreamReader 通過(guò) ReportSlave 向主庫(kù)注冊(cè)作為一個(gè)slave角色，用于接受MySQL的binlog廣播 。有興趣的可以研究其代碼具體實(shí)現(xiàn)。

該實(shí)例提供解析 binlog 各種事件的集合，每個(gè)事件也是一個(gè)對(duì)象。

初始化BinLogStreamReader()實(shí)例需要使用的參數(shù)如下:

2.3 如何使用呢？

最簡(jiǎn)單的用法 腳本名 pyreplica.py

開啟兩個(gè)窗口，一個(gè)窗口執(zhí)行，另外一個(gè)窗口操作mysql 寫入或者修改數(shù)據(jù)

python pyreplica.py

輸出如下:

2.3 拓展

基于該工具提供的日志事件解析我們可以做很多事情，比較有名的工具 binlog2sql 利用該工具解析binlog 做數(shù)據(jù)回滾 。

mysql-replication.py

執(zhí)行腳本結(jié)果 如下圖

除了解析binlog，我們還可以用python-mysql-replication 做數(shù)據(jù)全量加增量遷移。比如僅僅遷移某些大表而不是整個(gè)庫(kù)的時(shí)候，可以用到。有興趣的朋友可以想想大概的算法。

總結(jié)

以上所述是小編給大家介紹的基于python的mysql復(fù)制工具,希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！
如果你覺(jué)得本文對(duì)你有幫助，歡迎轉(zhuǎn)載，煩請(qǐng)注明出處，謝謝！