数据库中间件之Mycat（一）

简而言之就是数据拆分：将一个表结构分为多个表，或者将一个表数据分片后放入多个表，这些表可以放在同一个数据库里，也可以放到不同的数据库中，甚至可以放到不同的数据库实例中数据拆分方式：垂直拆分（分库）、 水平拆分（分表）、 垂直 + 水平拆分（分库分表） 如何进行分库分表

分库分表是对数据库拆分的一种解决方案，根据实施切片逻辑的层次不同，我们将分库分表方案大致分为三大类：客户端分片、代理分片和支持事务的分布式数据库 常用数据库中间件

Cobar 属于阿里 B2B 事业群，始于 2008 年，在阿里服役 3 年多，接管 3000 + 个 MySQL 数据库的 schema, 集群日处理在线 SQL 请求 50 亿次以上。由于 Cobar 发起人的离职， Cobar 停止维护。Mycat 是开源社区在阿里 cobar 基础上进行二次开发，解决了 cobar 存在的问题，并且加入了许多新的功能在其中。青出于蓝而胜于蓝。oneProxy 基于 MySQL 官方的 proxy 思想利用 c 进行开发的， oneProxy 是一款商业收费的中间件。舍弃了一些功能，专注在性能和稳定性上。kingshard 由小团队用 go 语言开发，还需要发展，需要不断完善。Vitess 是 Youtube 生产在使用， 架构很复杂。不支持 MySQL 原生协议，使用需要大量改造成本。Atlas 是 360 团队基于 mysql proxy 改写，功能还需完善，高并发下不稳定。MaxScale 是 mariadb（MySQL 原作者维护的一个版本） 研发的中间件MySQLRoute 是 MySQL 官方 Oracle 公司发布的中间件

java与数据库紧耦合，把数据库的分布式从代码中解耦出来高访问量高并发对数据库的压力读写请求数据不一致 Mycat原理

Mycat 的原理中最重要的一个动词是 “拦截”，它拦截了用户发送过来的 SQL 语句，首先对 SQL 语句做了一些特定的分析：如分片分析、路由分析、读写分离分析、缓存分析等，然后将此 SQL 发往后端的真实数据库，并将返回的结果做适当的处理，最终再返回给用户。
Mycat前期环境安装

安装Mycat，去这里按需下载，然后解压即可（我用的是Mycat-server-1.6.7.6-release-20210730131311-win.tar.gz这个版本）注意安装目录不要有中文安装MySQL，最好不要用v8.0+，网上说Mycat1.6不支持MySQL8.0，而且mycat是java写的，Java版本最好是Java8，不然可能会有很多坑（最开始我下载的1.6-RELASE那个文件夹下的，最后mycat实在连不上树莓派上的MySQL8.0，就换了上面说的版本才ok了）我的MySQL在两台主机上，一个是树莓派上的MySQL8.0（系统是Ubuntu20.04），一个是win10的MySQL5.7（系统架构不一样，MySQL版本也不一样，最后配置主从复制竟然成功了）数据库安装完成后，务必测试远程登录，MySQL相关问题参考文末 Mycat配置文件

schema.xml： 配置读写主机的ip、端口、数据库用户密码等，定义逻辑库，表、分片节点等内容

注意datahost的balance属性，通过此属性配置读写分离的类型负载均衡类型，目前的取值有4 种：

（1） balance=“0”, 不开启读写分离机制， 所有读操作都发送到当前可用的 writeHost 上。（2） balance=“1”，全部的 readHost 与 stand by writeHost 参与 select 语句的负载均衡，简单的说，当双主双从模式(M1->S1， M2->S2，并且 M1 与 M2 互为主备)，正常情况下， M2,S1,S2 都参与 select 语句的负载均衡。（3） balance=“2”，所有读操作都随机的在 writeHost、 readhost 上分发。（4） balance=“3”，所有读请求随机的分发到 readhost 执行， writerHost 不负担读压力 datahost节点的其他属性：

writeType=“0”: 所有写操作发送到配置的第一个writeHost，第一个挂了切换到生存的第二个writeType=“1”，所有写操作都随机的发送到配置的 writeHost， 1.5 以后废弃不推荐switchType=“1”: 1 默认值，自动切换。

rule.xml： 定义分片规则

server.xml： 定义用户以及系统相关变量，如端口等

修改配置文件 server.xml，修改用户信息，与 MySQL 区分

…

123456
TESTDB

…

修改配置文件 schema.xml，我的配置如下（一主一从配置，数据库是testdb）：

        
        
        
        
                select user()
                
                
                        
                        
                
        

​

cmd进到bin目录，执行：mycat.bat install注册mycat服务到Windows，然后执行mycat.bat start启动mycatmycat日志在logs文件夹下查看 登录Mycat

登录方式和mysql差不多：mysql -umycat -p123456 -P 8066 -h 192.168.101.2

注意 mycat 有两个端口，8066 数据端口，9066 管理端口 切换到逻辑库：use TESTDB;查看表：show tables;没有报错就ok了 MySQL主从复制搭建（一主一从）

通过 Mycat 和 MySQL 的主从复制配合搭建数据库的读写分离， 实现 MySQL 的高可用性所以首先要搭建MySQL的主从复制MySQL主从复制是从接入点复制，不像redis是全部复制MySQL主从复制原理如下：
主机配置

我的主机是win10下的MySQL5.7配置后重启MySQL

#主服务器唯一ID
server-id=1
#启用二进制日志
log-bin=mysql-bin
# 设置不要复制的数据库(可设置多个)
binlog-ignore-db=mysql
binlog-ignore-db=information_schema
#设置需要复制的数据库
binlog-do-db=需要复制的主数据库名字
#设置logbin格式
binlog_format=STATEMENT

从机是Ubuntu下的MySQL8.0配置后重启MySQL

#从服务器唯一ID
server-id=2
#启用中继日志
relay-log=mysql-relay

登录MySQL后，执行命令：GRANT REPLICATION SLAVE ON *.* TO 'slave'@'%' IDENTIFIED BY 'password';查询master的状态：show master status;（记录下File和Position的值） 在从机上配置需要复制的主机

登录MySQL，执行以下命令：

CHANGE MASTER TO MASTER_HOST='主机的IP地址',
MASTER_USER='slave',
MASTER_PASSWORD='password',
MASTER_LOG_FILE='mysql-bin.具体数字',MASTER_LOG_POS=具体值;

启动从服务器复制功能：start slave;查看从服务器状态：show slave statusG;能看到如下信息就ok了：

Slave_IO_Running: Yes
Slave_SQL_Running: Yes

主从复制测试：主机新建库testdb、新建表、 insert记录， 从机查询是否同步即可读写分离测试：

在写主机数据库表中插入带系统变量数据， 造成主从数据不一致INSERT INTO mytbl VALUES(2,@@hostname);在Mycat里查询mytbl表,可以看到查询语句在主从两个主机间切换 其他问题

停止从服务复制功能：stop slave;重新配置主从：stop slave; reset master; MySQL主从复制搭建（双主双从）

Slave1（简称s1）复制 Master1（简称m1）， Slave2（简称s2） 复制 Master2（简称m2）m1 用于处理所有写请求， s1、m2、s2负责所有读请求。当 m1 宕机后， m2 负责写请求， m1、 m2 互为备机注意：由于上文配置过一主一从，需要重新配置双主双从，所以先stop slave，并reset master删除之前建的testdb，一会儿重新建这里我的m1在win10上，s1在Ubuntu上，m2、s2在docker里（通过映射宿主机的端口来登录），保证相互之间MySQL能登录就ok Master1 配置

注意server-id=1在原来的配置文件追加如下配置：

# 在作为从数据库的时候， 有写入操作也要更新二进制日志文件
log-slave-updates
#表示自增长字段每次递增的量，指自增字段的起始值，其默认值是1， 取值范围是1 .. 65535
auto-increment-increment=2
# 表示自增长字段从哪个数开始，指字段一次递增多少，他的取值范围是1 .. 65535
auto-increment-offset=1

log-slave-updates
auto-increment-increment=2
auto-increment-offset=1

同m1，但auto-increment-offset=2修改server-id=3 Slave1 配置

修改server-id=2其余配置同一主一从时的配置 Slave2 配置

修改server-id=4 重启MySQL

重启 4台 mysql 服务在两台master上建立帐户并授权 slave（方法同上文）分别记录下两个master的File和Position的值 在从机上配置需要复制的主机

Slava1 复制 Master1， Slava2 复制 Master2复制命令同上文，只需修改变化的值启动两台从服务器复制功能：start slave;查看从服务器状态：show slave statusG; 两个主机互相复制

命令如下：（注意这里我还配了MASTER_PORT，因为是docker映射的端口，不配应该是没法登录的）

CHANGE MASTER TO MASTER_HOST='主机的IP地址',
MASTER_USER='slave',
MASTER_PASSWORD='slave',
MASTER_PORT=3309,
MASTER_LOG_FILE='mysql-bin.具体数字',MASTER_LOG_POS=具体值;

启动两台主服务器复制功能：start slave;查看从服务器状态：show slave statusG; 测试MySQL双主双从

master1新建库、表，并插入数据，看master2和slave1、2是否同步 测试Mycat读写分离

先修改schema.xml中的 balance 属性为1由于现在是4台MySQL，所以要添加新的datahost结点，完整配置如下：

        
        
        
        
                select user()
                
                
                        
                        
                
				
                        
                        
                
        

然后重启mycat在写主机Master1数据库表中插入带系统变量数据， 造成主从数据不一致在Mycat里查询表，可以看到查询语句在Master2 、 Slava1 、 Slava2三个主机间切换，测试成功 测试高可用性

停止数据库Master1在Mycat里插入数据依然成功（因为Master2自动切换为写主机了），注意这时在Mycat查询，只能看到s2的数据了，因为s1是复制m1（m1挂了），而m2此时只负责写数据又启动数据库Master1在Mycat里查询表，可以看到查询语句在m1 、 s1 、 s2三个主机间切换，m2此时只负责写数据了（注意如果重启m1后立刻查询，可以看到数据不一致的现象，过一会就完全同步了） MySQL相关问题

mysql的配置文件中添加default-time_zone = '+8:00'，然后重启mysql，可以配置mysql的系统时间mysql_secure_installation：用于安装完MySQL后配置root密码等/var/log/mysql/error.log是MySQL的错误日志MySQL配置bind-address='*'是开启远程登录的前提Ubuntu20.04中MySQL8.0配置在/etc/mysql/mysql.conf.d/mysqld.cnfwin10中MySQL配置文件在C:ProgramDataMySQLMySQL Server 5.7my.inimysql配置一个用户远程访问数据库

切换数据库：use mysql;创建用户：create user ‘username’@‘192.168.101.7’ identified by ‘password’;授权：GRANT ALL PRIVILEGES ON . TO ‘username’@‘192.168.101.7’;flush privileges;select User, Host from user; Mycat报错：can't connect to mysql server ,errmsg:Host '192.168.101.2' is blocked because of many connection errors; unblock with 'mysqladmin flush-hosts'，在对应的MySQL中执行flush hosts;即可