目录
读写分离
读写分离概述
为什么要读写分离呢
什么时候要读写分离
主从复制与读写分离
mysql支持的复制类型
主从复制的工作过程
实际操作
初始环境
初始环境准备
搭建mysql主从复制
主服务器设置(搭建时间同步)
编辑编辑编辑
从服务器设置(搭建时间同步)
编辑编辑编辑
编辑
主服务器的mysql配置
编辑编辑编辑
编辑
从服务器的mysql配置(两个操作相同)
编辑编辑编辑
编辑
验证主从同步
MySQL主从复制延迟
MySQL主从复制的几个同步模式:
半同步状态
MySQL读写分离原理
目前较为常见的MySQL读写分离分为以下两种:
1)基于程序代码内部实现
2)基于中间代理层实现
搭建Amoeba 实现读写分离
安装 Java环境:
编辑编辑编辑
编辑编辑编辑编辑
配置amoeba
编辑编辑编辑
编辑编辑编辑
在客户端测试
读写分离
读写分离概述
读写分离,基本的原理是让主数据库处理事务性增、改、删操作(INSERT、UPDATE、DELETE),而从数据库处理SELECT查询操饰.数据库复制被用来 把事务性操作导致的变更同步到集群中的从数据库.
为什么要读写分离呢
-
因为数据库的"写"(写10000条数据可能要3分钟)操作是比较耗时的.
-
但是数据库的"读"(读10000条数据可能只要5秒钟).
-
所以读写分离,解决的是,数据库的写入,影响了查询的效率.
什么时候要读写分离
因为数据库的"写"(写10000条数据可能要3分钟)操作是比较耗时的.
但是数据库的"读"(读10000条数据可能只要5秒钟).
所以读写分离,解决的是,数据库的写入,影响了查询的效率.
数据库不一定要读写分离,如果程序使用数据库较多时,而更新少,查询多的情况下会考虑使用.利用数据库主从同步,再通过读写分离可以分担数 据库压力,提高性能.
主从复制与读写分离
在实际的生产环境中,对数据库的读和写都在同一个数据库服务器中,是不能满足实际需求的.无论是在安全性、高可用性还是高并发等各个方面都 是完全不能满足实际需求的.因此,通过主从复制的方式来同步数据,再通过读写分离来提升数据库的并发负载能力.有点类似于rsync,但是不同 的是rsync是对磁盘文件做备份,而mysql主从复制是对数据库中的数据、语句做备份.
mysql支持的复制类型
(1)STATEMENT:基于语句的复制.在服务器上执行sql语句,在从服务器上执行同样的语句,mysql默认采用基于语句的复制,执行效率高. (2)ROW:基于行的复制.把改变的内容复制过去,而不是把命令在从服务器上执行一遍. (3)MIXED:混合类型的复制.默认采用基于语句的复制,一旦发现基于语句无法精确复制时,就会采用基于行的复制.
MySQL的复制类型 ·基于语句的复制(STATEMENT,MySQL默认类型) ·基于行的复制(ROW) ·混合类型的复制(MIXED) ·MySQL主从复制的工作过程
主从复制的工作过程
保证主节点开启二进制日志文件,从节点开启中继日志文件
1.数据更新时,写入二进制日志文件当中
2.从节点发现主节点二进制日志文件更新时,通过io线程请求二进制事件
3.主节点会启动dump线程,向其发送二进制事件
4.保存到从节点的中继日志中
5.从节点将启动SQL线程从中继日志中读取二进制日志,在本地重放,使得其数据和主节点的保持一致
注:
中继日志通常会位于os缓存中,所以中继日志的开销很小. 复制过程有一个很重要的限制,即复制在Slave上是串行化的,也就是说Master上的并行更新操作不能在Slave上并行操作.
实际操作
初始环境
master 服务器:192.168.217.120
slave1 服务器:192.168.217.130
slave2 服务器:192.168.217.140
初始环境准备
systemctl stop firewalld
setenforce 0
搭建mysql主从复制
主服务器设置(搭建时间同步)
yum install ntp -y #安装时间同步服务器
vim /etc/ntp.conf #修改配置文件
--末尾添加-
server 127.127.217.0 #设置本地是时钟源,注意修改网段
fudge 127.127.217.0 stratum 8 #设置时间层级为8(限制在15内)
service ntpd start #开启服务
systemctl stop firewalld
setenforce 0
主服务器设置(搭建时间同步)
yum install ntp -y #安装时间同步服务器
vim /etc/ntp.conf #修改配置文件
--末尾添加-
server 127.127.217.0 #设置本地是时钟源,注意修改网段
fudge 127.127.217.0 stratum 8 #设置时间层级为8(限制在15内)
service ntpd start #开启服务
从服务器设置(搭建时间同步)
yum install ntp ntpdate -y #安装时间同步服务器、同步服务
service ntpd start
/usr/sbin/ntpdate 192.168.217.130 #进行时间同步
crontab -e #计划定时任务
*/30 * * * * /usr/sbin/ntpdate 192.168.80.130
主服务器的mysql配置
vim /etc/my.cnf
server-id=1
log-bin=mysql-bin #添加,主服务器开启二进制日志
binlog_format =MIXED #二进制日志格式
log-slave-updates=true #添加,允许slave从master复制数据时可以写入到自己的二进制日志
expire_logs_days = 7 #设置二进制日志文件过期时间,默认值为0,表示logs不过期
max_binlog_size=500M #设置二进制日志限制大小,如果超出给定值,日志就会发生滚动,默认值是1GB
systemctl restart mysqld
mysql -u root -p123123
GRANT REPLICATION SLAVE ON *.* TO 'myslave'@'192.168.217.%' IDENTIFIED BY '123123'; #给从服务器授权
FLUSH PRIVILEGES; #刷新权限
show master status; #查询二进制文件
从服务器的mysql配置(两个操作相同)
vim /etc/my.cnf
server-id = 2 #修改,注意id与Master的不同,两个slave的id也要不同
relay-log = relay-log-bin #添加,开启中继日志,从主服务器上同步日志文件记录到本地
relay-log-index = slave-relay-bin.index #添加,定义中继日志文件的位置和名称,一般和relay-log在同一目录
relay_log_recovery = 1 #选配项
#当slave从库宕机后,假如relay-log损坏了,导致一部分中继日志没有处理,则自动放弃所有未执行的relay-log,并且重新从master
上获取日志,这样就保证了relay-log的完整性.默认情况下该功能是关闭的,将relay_log_recovery的值设置为1时,可在slave
从库上开启该功能,建议开启.
systemctl restart mysqld #重启服务
mysql -uroot -p123123
CHANGE master to
master_host='192.168.217.120',
master_user='myslave',
master_password='123123',
master_log_file='mysql-bin.000001',
master_log_pos=604;
#配置同步,注意master_log_file和master_log_ pos的值要与Master查询的一致
start slave; #启动同步,如有报错执行reset slave;
show slave statusG #查看slave状态
//确保Io和SQL线程都是Yes,代表同步正常.
Slave_Io_Running: Yes #负责与主机的io通信
Slave_SQL_Running: Yes #负责自己的slave mysql进程
#一般slave Io Running: No的可能性:
1、网络不通
2、my.cnf配置有问题
3、密码、file文件名、pos偏移量不对
4、防火墙没有关闭
vim /etc/my.cnf server-id=1 log-bin=mysql-bin #添加,主服务器开启二进制日志 binlog_format =MIXED #二进制日志格式 log-slave-updates=true #添加,允许slave从master复制数据时可以写入到自己的二进制日志 expire_logs_days = 7 #设置二进制日志文件过期时间,默认值为0,表示logs不过期 max_binlog_size=500M #设置二进制日志限制大小,如果超出给定值,日志就会发生滚动,默认值是1GB systemctl restart mysqld mysql -u root -p123123 GRANT REPLICATION SLAVE ON *.* TO 'myslave'@'192.168.217.%' IDENTIFIED BY '123123'; #给从服务器授权 FLUSH PRIVILEGES; #刷新权限 show master status; #查询二进制文件
从服务器的mysql配置(两个操作相同)
vim /etc/my.cnf
server-id = 2 #修改,注意id与Master的不同,两个slave的id也要不同
relay-log = relay-log-bin #添加,开启中继日志,从主服务器上同步日志文件记录到本地
relay-log-index = slave-relay-bin.index #添加,定义中继日志文件的位置和名称,一般和relay-log在同一目录
relay_log_recovery = 1 #选配项
#当slave从库宕机后,假如relay-log损坏了,导致一部分中继日志没有处理,则自动放弃所有未执行的relay-log,并且重新从master
上获取日志,这样就保证了relay-log的完整性.默认情况下该功能是关闭的,将relay_log_recovery的值设置为1时,可在slave
从库上开启该功能,建议开启.
systemctl restart mysqld #重启服务
mysql -uroot -p123123
CHANGE master to
master_host='192.168.217.120',
master_user='myslave',
master_password='123123',
master_log_file='mysql-bin.000001',
master_log_pos=604;
#配置同步,注意master_log_file和master_log_ pos的值要与Master查询的一致
start slave; #启动同步,如有报错执行reset slave;
show slave statusG #查看slave状态
//确保Io和SQL线程都是Yes,代表同步正常.
Slave_Io_Running: Yes #负责与主机的io通信
Slave_SQL_Running: Yes #负责自己的slave mysql进程
#一般slave Io Running: No的可能性:
1、网络不通
2、my.cnf配置有问题
3、密码、file文件名、pos偏移量不对
4、防火墙没有关闭
验证主从同步
#在主服务器上创建一个库
create database huo;
#在从服务器上查看
show databases;
create table info(id int,name char(10),age int); insert into info values(1,'张三',19),(2,'李四',20),(3,'王五',21);
MySQL主从复制延迟
1、master服务器高并发,形成大量事务
2、网络延迟
3、主从硬件设备导致 cpu主频、内存io、硬盘io
4、是同步复制、而不是异步复制
从库优化Mysql参数.比如增大innodb_buffer_pool_size,让更多操作在Mysql内存中完成,减少磁盘操作.
从库使用高性能主机.包括cpu强悍、内存加天.避免使用虚拟云主机,使用物理主机,这样提升了i/o方面性.
从库使用SSD磁盘
网络优化,避免跨机房实现同步
MySQL主从复制的几个同步模式:
-
异步复制(Asynchronous replication) MySQL默认的复制即是异步的,主库在执行完客户端提交的事务后会立即将结果返给客户端,并不关心从库是否已经接收并处理,这样就会有一个问题,主如果crash掉了,此时主上已经提交的事务可能并没有传到从上,如果此时,强行将从提升为主,可能导致新主上的数据不完整.
-
全同步复制(Fully synchronous replication) 指当主库执行完一个事务,所有的从库都执行了该事务才返回给客户端.因为需要等待所有从库执行完该事务才能返回,所以全同步复制的性能必然会收到严重的影响.
-
半同步复制(semisynchronous replication) 介于异步复制和全同步复制之间,主库在执行完客户端提交的事务后不是立刻返回给客户端,而是等待至少一个从库接收到并写到relaylog中才返回给客户端.相对于异步复制,半同步复制提高了数据的安全性,同时它也造成了一定程度的延迟,这个延迟最少是一个TCP/IP往返的时间.所以,半同步复制最好在低延时的网络中使用.
半同步状态
1、master服务器高并发,形成大量事务
2、网络延迟
3、主从硬件设备导致 cpu主频、内存io、硬盘io
4、是同步复制、而不是异步复制
从库优化Mysql参数.比如增大innodb_buffer_pool_size,让更多操作在Mysql内存中完成,减少磁盘操作.
从库使用高性能主机.包括cpu强悍、内存加天.避免使用虚拟云主机,使用物理主机,这样提升了i/o方面性.
从库使用SSD磁盘
网络优化,避免跨机房实现同步
-
异步复制(Asynchronous replication) MySQL默认的复制即是异步的,主库在执行完客户端提交的事务后会立即将结果返给客户端,并不关心从库是否已经接收并处理,这样就会有一个问题,主如果crash掉了,此时主上已经提交的事务可能并没有传到从上,如果此时,强行将从提升为主,可能导致新主上的数据不完整.
-
全同步复制(Fully synchronous replication) 指当主库执行完一个事务,所有的从库都执行了该事务才返回给客户端.因为需要等待所有从库执行完该事务才能返回,所以全同步复制的性能必然会收到严重的影响.
-
半同步复制(semisynchronous replication) 介于异步复制和全同步复制之间,主库在执行完客户端提交的事务后不是立刻返回给客户端,而是等待至少一个从库接收到并写到relaylog中才返回给客户端.相对于异步复制,半同步复制提高了数据的安全性,同时它也造成了一定程度的延迟,这个延迟最少是一个TCP/IP往返的时间.所以,半同步复制最好在低延时的网络中使用.
半同步状态
//主数据库配置
vim /etc/my.cnf #在[mysqld]区域添加下面内容 plugin-load=rpl_semi_sync_master=semisync_master.so #加载mysq1半同步复制的插件 rpl_semi_sync_master_enabled=ON #或者设置为"1",即开启半同步复制功能 rpl-semi-sync-master-timeout=1000 #超时时间为1000ms,即1s systemctl restart mysqld
//从数据库配置
vim /etc/my.cnf plugin-load=rpl_semi_sync_slave=semisync_slave.so rPl_semi_sync_slave_enabled=ON systemctl restart mysqld
//查看半同步是否在运行 #主数据库执行 show status like 'Rpl_semi_sync_master_status'; #检查半同步复制状态 show variables like 'rpl_semi_sync_master_timeout'; #检查半同步复制超时时间 #如果主库等1秒钟没有返回,就会认为半同步失败了,主服务器就会降权异步复制 #从数据库执行(此时可能还是OFF状态,需要在下一步重启ro线程后,从库半同步状态才会为oN) show status like 'Rpl_semi_sync_slave_status'; #重启从数据库上的Io线程 STOP SLAVE IO_THREAD; START SLAVE IO_THREAD; #在主库查询半同步状态 show status like '%Rpl_semi%';
参数说明:
Rpl_semi_sync_master_clients #半同步复制客户端的个数 Rpl_semi_sync_master_net_avg_wait_time #平均等待时间(默认毫秒) Rpl_semi_sync_master_net_wait_time #总共等待时间 Rpl_semi_sync_master_net_waits #等待次数 Rpl_semi_sync_master_no_times #关闭半同步复制的次数 Rpl_semi_sync_master_no_tx #表示没有成功接收slave提交的次数 Rpl_semi_sync_master_status #表示当前是异步模式还是半同步模式,on为半同步 Rpl_semi_sync_master_timefunc_failures #调用时间函数失败的次数 Rpl_semi_sync_master_tx_avg_wait_time #事物的平均传输时间#事物的总共传输时间 Rpl_semi_sync_master_tx_wait_time #事物的总共传输 Rpl_semi_sync_master_tx_waits #事物等待次数 Rpl_semi_sync_master_wait_pos_backtraverse#可以理解为“后来的先到了,而先来的还没有到的次数” Rpl_semi_sync_master_wait_sessions #当前有多少个session因为slave的回复而造成等待 Rpl_semi_sync_master_yes_tx #成功接受到slave事物回复的次数
MySQL读写分离原理
读写分离就是只在主服务器上写,只在从服务器上读.基本的原理是让主数据库处理事务性操作,而从数据库处理 select 查询.数据库复制被用来把主数据库上事务性操作导致的变更同步到集群中的从数据库.
目前较为常见的MySQL读写分离分为以下两种:
1)基于程序代码内部实现
在代码中根据 select、insert 进行路由分类,这类方法也是目前生产环境应用最广泛的. 优点是性能较好,因为在程序代码中实现,不需要增加额外的设备为硬件开支;缺点是需要开发人员来实现,运维人员无从下手. 但是并不是所有的应用都适合在程序代码中实现读写分离,像一些大型复杂的Java应用,如果在程序代码中实现读写分离对代码改动就较大.
2)基于中间代理层实现
代理一般位于客户端和服务器之间,代理服务器接到客户端请求后通过判断后转发到后端数据库,有以下代表性程序. (1)MySQL-Proxy. MysQL-Proxy 为MysoL开源项目,通过其自带的1ua脚本进行SQL判断. (2)Atlas.是由奇虎360的Web平台部基础架构团队开发维护的一个基于MysQL协议的数据中间层项目.它是在mysql-proxy 0.8.2版本的基础上,对其进行了优化,增加了一些新的功能特性.360内部使用Atlas运行的mysql业务,每天承载的读写请求数达几十亿条.支持事 物以及存储过程. (3)Amoeba.由陈思儒开发,作者曾就职于阿里巴巴.该程序由Java语言进行开发,阿里巴巴将其用于生产环境.但是它不支持事务和存储过程. (4)Mycat.是一款流行的基于Java语言编写的数据库中间件,是一个实现了MySQL协议的服务器,其核心功能是分库分表.配合数据库的主从模式 还可以实现读写分离. 由于使用MySQL Proxy需要写大量的ua脚本,这些Lua并不是现成的,而是需要自己去写.这对于并不熟悉MySQL Proxy 内置变量和MySQL Protocol的人来说是非常困难的. Amoeba是一个非常容易使用、可移植性非常强的软件.因此它在生产环境中被广泛应用于数据库的代理层.
搭建Amoeba 实现读写分离
master 服务器:192.168.217.120
slave1 服务器:192.168.217.130
slave2 服务器:192.168.217.140
Amoeba 服务器:192.168.217.100
客户端 服务器:192.168.217.110
master 服务器:192.168.217.120 slave1 服务器:192.168.217.130 slave2 服务器:192.168.217.140 Amoeba 服务器:192.168.217.100 客户端 服务器:192.168.217.110
安装 Java环境:
因为Amoeba基于是jdk1.5开发的,所以官方推荐使用jdk1.5或1.6版本,高版本不建议使用.
cd /opt/ cp jdk-6u14-1inux-x64.bin /usr/1ocal/#把jdk复制到/usr/local下 cd /usr/local/ chmod +x jdk-6u14-linux-x64 #赋予jdk权限并执行 ./jdk-6u14-linux-x64.bin //按yes,按enter mv jdk1.6.0_14/ /usr/local/jdk1.6 #jdk改个名字 #配置环境并刷新 vim /etc/profile export JAVA_HOME=/usr/local/jdk1.6 export CLASSPATH=$CLASSPATH:$JAVA_HOME/1ib:$JAVA_HOME/jre/1ib export PATH=$JAVA_HOME/1ib:$JAVA_HOME/ire/bin/:$PATH:$HOME/bin export AMOEBA_HOME=/usr/local/amoeba export PATH=$PATH:$AMOEBA_HOME/bin source /etc/profile java -version
配置amoeba
##安装Amoeba软件#
mkdir /usr/local/amoeba
tar zxvf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
chmod -R 755 /usr/local/amoeba/
/usr/local/amoeba/bin/amoeba
//如显示amoeba startlstop说明安装成功
##配置Amoeba读写分离,两个slave 读负载均衡#
#先在Master、Slave1、slave2的mysql上开放权限给Amoeba访问
grant all on *.* to test@'192.168.217.%' identified by'123123';
#再回到amoeba服务器配置amoeba服务:
cd /usr/local/amoeba/conf/
cp amoeba.xml amoeba.xml.bak
--30行--
amoeba
-32行--
123123
-115行-
master
--117-去掉注释-
master
slaves
配置数据库配置
cp dbServers.xml dbServers.xml.bak
--23行--注释掉作用:默认进入test库以防mysql中没有test库时,会报错
26#设置登录用户
test
28
#删除
29123123
#解决28注释,添加密码
45
#服务池名
48192.168.217.120
#添加地址
52
55192.168.217.130
复制6行 添加另一从节点
59
62192.168.217.140
66
#定义池名
72slave1,slave2
#写上从节点名
#启动amoeba,并测试
cd /usr/local/amoeba/bin
./amoeba start &
netstat -ntap |grep java
##安装Amoeba软件# mkdir /usr/local/amoeba tar zxvf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/ chmod -R 755 /usr/local/amoeba/ /usr/local/amoeba/bin/amoeba //如显示amoeba startlstop说明安装成功 ##配置Amoeba读写分离,两个slave 读负载均衡# #先在Master、Slave1、slave2的mysql上开放权限给Amoeba访问 grant all on *.* to test@'192.168.217.%' identified by'123123'; #再回到amoeba服务器配置amoeba服务: cd /usr/local/amoeba/conf/ cp amoeba.xml amoeba.xml.bak --30行--amoeba -32行--123123 -115行-master --117-去掉注释-master slaves 配置数据库配置 cp dbServers.xml dbServers.xml.bak --23行--注释掉作用:默认进入test库以防mysql中没有test库时,会报错 26#设置登录用户test 28 #删除 29123123 #解决28注释,添加密码 45#服务池名 48 192.168.217.120 #添加地址 5255 192.168.217.130 复制6行 添加另一从节点 5962 192.168.217.140 66#定义池名 72 slave1,slave2 #写上从节点名 #启动amoeba,并测试 cd /usr/local/amoeba/bin ./amoeba start & netstat -ntap |grep java
修改amoeba服务配置
配置数据库配置
在客户端测试
yum install mariadb mariadb-server -y #安装mariadb
systemctl start mariadb #启动
netstat -natp |grep 3306 查看端口
#登入并查看数据库
mysql -uamoeba -p123123 -h 192.168.217.100 -P 8066
测试
测试读写分离 关闭从服务器,在客户机添加数据进行测试



