MySQL8.0.12设置主主同步

配置MySQL主主同步,可以做到在A服务器上修改数据同步到B服务器上,同样,在B服务器上修改数据同步到服务器A上。主主同步与主从同步类似,只不过主主同步,两个服务器同时具有主、从服务器的身份,互相同步数据。
本文中,MySQL服务器版本为8.0.12,所有数据库的引擎均为InnoDB。为保证同步成功,两个服务器需使用同一个版本的MySQL。

一、环境描述

数据库版本:8.0.12,系统版本CentOS 7
服务器A:192.168.100.1,开放端口3306,同步账号repl
服务器B:192.168.100.2,开放端口3306,同步账号repl

二、my.cnf配置文件

[mysqld]
user				= mysql #mysql使用的用户名
basedir				= /usr/local/mysql #mysql安装目录
datadir				= /usr/local/mysql/data #mysql数据目录
port				= 3306 #监听端口
socket				= /usr/local/mysql/mysql.sock #sock文件位置
bind_address			= 0.0.0.0 #监听IP,此处不能用127.0.0.1因为需要外部机器访问
default_authentication_plugin 	= mysql_native_password

server-id = 2 #server-id,必须是大于0的一个整数,两台服务器不能设置一样,一般一个设1,另一个设2就可以
log_bin				= mysql-bin #二进制日志名,最终会在/usr/local/mysql/data/中以mysql-bin.000001这种文件名形式存在,扩展名是一个编号
binlog_format			= mixed #混合型日志格式,具体含义可自行查询
binlog_expire_logs_seconds	= 604800 #日志过期时间
sync-binlog			= 1
innodb_flush_log_at_trx_commit	= 1

# Master DB #
#需要同步的数据库用多个binlog-do-db,不要写在一行用逗号分隔,这种情况可能会导致数据库同步状态一切正常,就是同步不了,日志也没有任何问题,根据实验发现,如果写成binlog-do-db = database1,database2在使用show master status以及show slave status时与下面设置方式完全一样,但就是无法同步
binlog-do-db			= database1 #需要同步的数据库
binlog-do-db			= database2 #需要同步的数据库
#由于两个服务器都可以写数据,为了防止自增的key冲突,需要设置下面两个,increment是每次增长数,两台服务器设为2即可,offset是起始偏移,一个服务器设置为1,另一个设置为2,这样自增id在服务器A上是1、3、5这样,在服务器B上就是2、4、6不会产生冲突
auto-increment-increment	= 2
auto-increment-offset		= 2

# Slave DB #
replicate-do-db			= database1 #需要从其他服务器同步过来的数据库名
replicate-do-db			= database2
relay_log			= relay-bin #中继日志名称

配置完两个服务器后,分别用service mysql restart重启服务器

三、新增同步账号

这一步不是必须的,但建议为同步数据库的账号启用一个专门的账号,这里使用repl
首先在A服务器上创建账号并添加权限:

mysql> CREATE USER 'repl'@'192.168.100.2' IDENTIFIED BY 'password';
mysql> GRANT REPLICATION SLAVE ON *.* TO 'repl'@'192.168.100.2';

B服务器上类似,只是ip不同:

mysql> CREATE USER 'repl'@'192.168.100.1' IDENTIFIED BY 'password';
mysql> GRANT REPLICATION SLAVE ON *.* TO 'repl'@'192.168.100.1';

四、添加iptables规则
服务器A:

iptables -A INPUT -s 192.168.100.2/32 -p tcp -m tcp --dport 3306 -j ACCEPT

服务器B:

iptables -A INPUT -s 192.168.100.1/32 -p tcp -m tcp --dport 3306 -j ACCEPT

五、配置主从服务器信息

服务器A中执行:

mysql> FLUSH TABLES WITH READ LOCK;
mysql> SHOW MASTER STATUS\G

结果类似下面:

*********************** 1. row ***************************
             File: mysql-bin.000001
         Position: 64353552
     Binlog_Do_DB: database1,database2
 Binlog_Ignore_DB: 
Executed_Gtid_Set: 
1 row in set (0.00 sec)

记下结果中的file和position,到服务器B上设置:

mysql> CHANGE MASTER TO MASTER_HOST='192.168.100.1',MASTER_USER='repl',MASTER_PASSWORD='password',MASTER_LOG_FILE='mysql-bin.000001',MASTER_LOG_POS=64353552;

其中MASTER为主服务器的IP,这里就是对方服务器的IP,MASTER_USER和MASTER_PASSWORD为刚刚创建的同步账号用户名和密码,MASTER_LOG_FILE为对方服务器上查到的日志文件名,MASTER_LOG_POS为对方服务器上查到的日志位置。
同理,在B服务器上执行 SHOW MASTER STATUS 将查询结果中的文件名,和当前位置信息配置到服务器A上

六、同步初始化数据库

假设服务器A是原始服务器,一般在双向同步前,会将两个数据库手动复制一次,否则两个库会出现不一致。

服务器A上执行导出操作,以下是导出所有的数据库,导出单个库将–all-databases改为–databases 数据库1 数据库2 …

mysqldump -p --all-databases > backup.sql

将backup.sql复制到服务器B上,并执行:

mysql -p < backup.sql

输入B服务器的数据库root账户的密码后即可导入备份的数据库

七、开启slave
两个服务器分别执行:

mysql> start slave;

八、测试开启状态
两服务器分别执行:

mysql> show slave status\G

观察以下两个值是否为Yes:Slave_IO_Running Slave_SQL_Running
在服务器A的指定数据库内,更改数据观察服务器B上是否同步;同理,B上更改数据也会同步到A上

九、注意事项
1. 注意需要开放防火墙,以免服务器无法互相通信,建议只为对应的服务器IP开放端口访问,以提高安全性
2. 需要同步多个数据库,请设置多个binlog-do-db,否则可能会出现数据库日志已同步,但数据库内容不同步的问题(之前遇到过多个库用逗号分隔,写在一个binlog-do-db字段中,结果既没有报错也不会同步的问题,怀疑是将一行当做了一个整体)
3. 处于安全考虑,建议为同步账号创建独立的账号,并使用不同的密码,因为同步账号的密码会以明文的形式保存在mysql数据库的slave_master_info表中

官方文档:https://dev.mysql.com/doc/refman/8.0/en/replication.html

利用树莓派解决长城宽带HTTP302劫持问题

背景描述

最近准备测试一下家里的宽带跟linode各个节点的访问速度,准备选一个速度比较好的节点购买,但结果测试后发现,所有节点的速度都是满速,经过抓包分析,发现是长城宽带的大缓存系统造成的,所有流量都被重定向的局域网内的缓存服务器上,所以下载速度异常的快。但这并不符合预期,我们需要测试真实的下载速度。因此,就有了本文探究如何绕过运营商的劫持测试真实速度的过程。

声明

本文所用的方法并不是一个通用的反劫持方法,但提供了一个可行的通用方案,且使用的方法比较繁琐,因为限于手中的设备,知道其原理后,读者可以自行发挥做出一个完整的解决方案。

劫持原理

在访问链路上,运营商劫持http请求(linode的节点测速地址只支持http协议,如果支持了https则运营商就不敢轻易劫持了)分析请求的地址,并进行缓存匹配(据推测,只是根据url部分进行匹配,通过增加随机url参数都无法绕过缓存),如果匹配到则立即返回一个302和缓存地址给客户端,并且关闭连接(发送FIN关闭TCP),但并不与服务器关闭连接。
此时,在客户端抓包可见,服务器(运营商伪造的包)发送了一个302状态码的http响应,并且响应头包含Connection:Close,TCP的flag中包含FIN。过了一段时间,可以收到真正服务器发来的响应,但由于之前客户端已经关闭了TCP,此时真服务器发来的TCP数据将被客户端RESET掉。
由于ISP劫持没有给服务器发送FIN或RST,所以服务器仍不知道链接已经断开,这就给了我们反劫持的机会。
上图为典型的http302会话劫持图,序号5即是关键劫持包,它是运营商伪造服务器返回的,具体是如何判断的呢?
首先,查看前面几个服务器发回来的IP数据帧的TTL值,再对比第5个数据帧发现,TTL值相差很大(图中未截出,可点击下载原始数据),正常情况下一次会话两个端点之间的路由基本差不了太多,所以TTL值基本相同或相近,如果TTL差了10个以上,一定是有问题。其次,查看302跳转的Location,发现IP地址归属于ISP,故这个一定不是服务器返回的。
第9帧开始是服务器发来的正确的响应,但由于TCP链接已经关闭,所以对每个数据帧都返回了一个RST响应。

反劫持思路

既然知道了ISP会返回302,可以直接通过暴力屏蔽302的数据帧,下面的方法过于暴力,因为我们的目标只是跟真实服务器取得联系,并没有其他上网需求,所以302响应数据一律禁掉。

我们手头的工具/设备有:
1. Mac本,没有网线接口
2.Windows本,有网线接口
3. 除正常上网使用的无线路由器(下称路由器2)之外,多余的一个可以充当无线AP的设备(下称路由器1)
4. 树莓派
5. 网线一根

由于Mac系统配置防火墙规则不能使用iptables,其他方法没有具体尝试,有一定的学习成本,故没有直接配在Mac上
Windows的防火墙有点渣,没有深入研究过,尝试过在Windows上装个虚拟机跑linux,发现虚拟机的网卡有点问题,只能使用hostonly模式,linux配上防火墙试了下,好像没有起作用,貌似是因为宿主机收到FIN数据帧之后直接就把后面的数据RESET掉了,估计用nat模式可以,宿主机只做转发并不会处理数据,由于虚拟机的虚拟网卡有点问题,就没再尝试。
下面说说路由器1的作用,其实可以直接用网线连树莓派的,不过Mac没有网口,我也没有转换头,而且测速脚本我是用shell写的,所以Windows上跑还得搞虚拟机,正好有多余的无线路由器,WAN口接到树莓派上刚刚好。

最后,网络的拓扑结构基本就是:
Mac(192.168.10.137)->(wifi:192.168.10.1)路由器1(wan口:169.254.159.199)->(eth0:169.254.159.198)树莓派(wlan0:192.168.1.253)->(192.168.1.1)路由器2(公网IP)

关键的一步,在树莓派上设置防火墙规则,拦截所有302请求(下面命令需要sudo):
1. 开启转发功能:
vi /etc/sysctl.conf
增加net.ipv4.ip_forward=1并保存
执行sysctl -p /etc/sysctl.conf
2. 增加iptables
iptables -A FORWARD -p tcp -m string --string "302 Found" --algo bm --from 45 --to 80 -j DROP

这个iptables写的有点暴力,将所有TCP数据帧的第45到第80个字节处找到302 Found字符串的数据帧丢弃,这样所有连接路由器1的设备,如果有http协议(https加密了就无法匹配到)返回302状态码的数据帧就会收不到,这样后面真实的http响应数据就会被客户端接收。

总结

本文提供的方法只是针对了特定的需求,对运营商的劫持进行绕过,具体问题可以具体分析,如果运营商劫持的时候,向服务器发送了FIN帧,则此种方法就会无效,或者运营商没有使用302劫持,而是直接返回了结果,并与服务器端断开了链接,那么就只能通过架设一层代理来绕过劫持了,但这并不是我们希望的,我们要测端到端的速度,而不是客户端到代理服务器再到服务器的速度。

长城宽带的本意是建立局域网缓存,减少出口流量,提高网络速度,这样你办个100M的宽带,它们出口不需要多大就能满足,毕竟很多大的数据都在内网缓存着呢(如部分视频网站的视频也会被劫持到缓存服务器上),但这个缓存有时候比较坑,例如源站内容更新,但文件名没有改,这个缓存服务器就一直返回陈旧的内容,会忽略缓存头、链接变化等(根据网友反馈,这种事情经常发生)

所以,建议能开https的尽量都开https吧,但有好处也有坏处,好处是防篡改、更安全,坏处是,没有运营商做的缓存,网站维护者可能会支付更多的流量费用,对于一些不会变的大文件,如视频,可以用http,其他的还是用https比较合适。apk、exe这些容易被篡改成推广的APP、恶意广告程序,视频一般篡改没什么意义,所以有财力的网站全站https;大文件类型的小站(如下载站、视频站),为了节省流量钱可以考虑一些不重要的大文件优先走http并提供md5,同时支持https。