官网:http://shardingsphere.apache.org/index_zh.html 下载地址:https://shardingsphere.apache.org/document/current/cn/downloads/ 快速入门:https://shardingsphere.apache.org/document/current/cn/quick-start/shardingsphere-jdbc-quick-start/
关于 Apache ShardingSphere
Apache ShardingSphere 是一款开源分布式数据库生态项目,由 JDBC、Proxy 和 Sidecar(规划中) 3 款产品组成。其核心采用可插拔架构,通过组件扩展功能。对上以数据库协议及 SQL 方式提供诸多增强功能,包括数据分片、访问路由、数据安全等;对下原生支持 MySQL、PostgreSQL、SQL Server、Oracle 等多种数据存储引擎。Apache ShardingSphere 项目理念,是提供数据库增强计算服务平台,进而围绕其上构建生态。充分利用现有数据库的计算与存储能力,通过插件化方式增强其核心能力,为企业解决在数字化转型中面临的诸多使用难点,为加速数字化应用赋能。
ShardingSphere 已于2020年4月16日成为 Apache 软件基金会的顶级项目。
Apache ShardingSphere 功能结构图
2、认识ShardingSphere-JDBCShardingSphere-JDBC 是 Apache ShardingSphere 的第一个产品,也是 Apache ShardingSphere 的前身。 定位为轻量级 Java 框架,在 Java 的 JDBC 层提供的额外服务。 它使用客户端直连数据库,以 jar 包形式提供服务,无需额外部署和依赖,可理解为增强版的 JDBC 驱动,完全兼容 JDBC 和各种 ORM 框架。
- 适用于任何基于 JDBC 的 ORM 框架,如:JPA, Hibernate, Mybatis, Spring JDBC Template 或直接使用 JDBC;
- 支持任何第三方的数据库连接池,如:DBCP, C3P0, BoneCP, HikariCP 等;
- 支持任意实现 JDBC 规范的数据库,目前支持 MySQL,PostgreSQL,Oracle,SQLServer 以及任何可使用 JDBC 访问的数据库。
定位为透明化的数据库代理端,提供封装了数据库二进制协议的服务端版本,用于完成对异构语言的支持。(类似MyCat) 目前提供 MySQL 和 PostgreSQL(兼容 openGauss 等基于 PostgreSQL 的数据库)版本,它可以使用任何兼容 MySQL/PostgreSQL 协议的访问客户端(如:MySQL Command Client, MySQL Workbench, Navicat 等)操作数据,对 DBA 更加友好。
- 向应用程序完全透明,可直接当做 MySQL/PostgreSQL 使用;
- 适用于任何兼容 MySQL/PostgreSQL 协议的的客户端。
| Sharding-Jdbc | Sharding-Proxy | Sharding-Sidecar | |
|---|---|---|---|
| 数据库 | 任意 | MYSQL | MYSQL |
| 连接消耗数 | 高 | 低 | 低 |
| 异构语言 | 仅Java | 任意 | 任意 |
| 性能 | 损耗低 | 损耗高 | 损耗低 |
| 中心化 | 是 | 否 | 是 |
| 静态入口 | 无 | 有 | 无 |
ShardingSphere-JDBC 采用无中心化架构,与应用程序共享资源,适用于 Java 开发的高性能的轻量级 OLTP 应用; ShardingSphere-Proxy 提供静态入口以及异构语言的支持,独立于应用程序部署,适用于 OLAP 应用以及对分片数据库进行管理和运维的场景。
Apache ShardingSphere 是多接入端共同组成的生态圈。 通过混合使用 ShardingSphere-JDBC 和 ShardingSphere-Proxy,并采用同一注册中心统一配置分片策略,能够灵活的搭建适用于各种场景的应用系统,使得架构师更加自由地调整适合于当前业务的最佳系统架构。
6、Apache ShardingSphere 功能清单- 数据库兼容:支持那些数据库版本
- 数据库网关(正在开发中)
- 集群管控(正在开发中):主要实现数据库集群熔断和限流控制。
- 数据分片:本文重点
- 分布式事务:本文重点
- 读写分离:本文重点
- 高可用
- 弹性伸缩
- 数据加密
- 影子库压测
- 可观察性
温馨提示:标记红色字典内容部分,是本文的学习重点。
7、Apache ShardingSphere数据分片内核剖析Apache ShardingSphere 的 3 个产品的数据分片主要流程是完全一致的。 核心由 SQL 解析 => 执行器优化 => SQL 路由 => SQL 改写 => SQL 执行 => 结果归并的流程组成。
SQL 解析
分为词法解析和语法解析。 先通过词法解析器将 SQL 拆分为一个个不可再分的单词。再使用语法解析器对 SQL 进行理解,并最终提炼出解析上下文。 解析上下文包括表、选择项、排序项、分组项、聚合函数、分页信息、查询条件以及可能需要修改的占位符的标记。
执行器优化
合并和优化分片条件,如 OR 等。
SQL 路由
根据解析上下文匹配用户配置的分片策略,并生成路由路径。目前支持分片路由和广播路由。
SQL 改写
将 SQL 改写为在真实数据库中可以正确执行的语句。SQL 改写分为正确性改写和优化改写。
SQL 执行
通过多线程执行器异步执行。
结果归并
将多个执行结果集归并以便于通过统一的 JDBC 接口输出。结果归并包括流式归并、内存归并和使用装饰者模式的追加归并这几种方式。
二、Apache ShardingSphere准备-- Docker 搭建MySQL5.7 主从请参考:Docker 搭建5.7主从复制
三、ShardingSphere-JDBC之读写分离 3.1、内容目标- 新建一个springboot工程
- 引入相关sharding依赖、ssm依赖、数据库驱动
- 定义配置application.yml
- 定义entity、mapper、controller
- 结果验证
- 总结
1、 新建一个springboot工程
2、 引入相关sharding依赖、ssm依赖、数据库驱动
4.0.0 org.springframework.boot spring-boot-starter-parent2.2.2.RELEASE org.zzg SmartHouse1.0-SNAPSHOT 1.8 8 8 4.0.0-RC1 org.springframework.boot spring-boot-starter-weborg.springframework.boot spring-boot-starter-testtest org.junit.vintage junit-vintage-enginejunit junitRELEASE compile org.mybatis.spring.boot mybatis-spring-boot-starter1.3.2 com.alibaba druid-spring-boot-starter1.1.10 mysql mysql-connector-java5.1.49 org.projectlombok lomboktrue org.springframework.boot spring-boot-starter-testtest org.apache.shardingsphere sharding-jdbc-spring-boot-starter${sharding-sphere.version} org.apache.shardingsphere sharding-core-common${sharding-sphere.version} org.springframework.cloud spring-cloud-dependenciesFinchley.SR1 pom import org.springframework.cloud spring-cloud-alibaba-dependencies0.2.2.RELEASE pom import org.springframework.boot spring-boot-maven-plugin2.6.6 org.mybatis.generator mybatis-generator-maven-plugin1.3.5 src/main/resources/mybatis-generator/mybatis-generator-cfg.xml true true org.mybatis.generator mybatis-generator-core1.3.5 mysql mysql-connector-java8.0.12
3、 定义配置application.yml
server:
port: 8085
spring:
main:
allow-bean-definition-overriding: true
shardingsphere:
# 参数配置,显示sql
props:
sql:
show: true
# 配置数据源
datasource:
# 给每个数据源取别名,下面的ds1,ds2任意取名字
names: ds1,ds2
# 给master-ds1每个数据源配置数据库连接信息
ds1:
# 配置druid数据源
type: com.alibaba.druid.pool.DruidDataSource
driver-class-name: com.mysql.jdbc.Driver
url: jdbc:mysql://192.168.43.10:3307/sync_data?useSSL=false&characterEncoding=utf8
username: root
password: root
connectionTimeoutMilliseconds: 60000 #连接超时控制
idleTimeoutMilliseconds: 60000 # 连接空闲时间设置
maxLifetimeMilliseconds: 0 # 连接的最大持有时间,0为无限制
maxPoolSize: 50 # 连接池中最大维持的连接数量
minPoolSize: 1 # 连接池的最小连接数量
# 配置ds2-slave
ds2:
type: com.alibaba.druid.pool.DruidDataSource
driver-class-name: com.mysql.jdbc.Driver
url: jdbc:mysql://192.168.43.10:3308/sync_data?useSSL=false&characterEncoding=utf8
username: root
password: root
connectionTimeoutMilliseconds: 60000 #连接超时控制
idleTimeoutMilliseconds: 60000 # 连接空闲时间设置
maxLifetimeMilliseconds: 0 # 连接的最大持有时间,0为无限制
maxPoolSize: 50 # 连接池中最大维持的连接数量
minPoolSize: 1 # 连接池的最小连接数量
# 配置默认数据源ds1
sharding:
# 默认数据源,主要用于写,注意一定要配置读写分离 ,注意:如果不配置,那么就会把三个节点都当做从slave节点,新增,修改和删除会出错。
default-data-source-name: ds1
# 配置数据源的读写分离,但是数据库一定要做主从复制
masterslave:
# 配置主从名称,可以任意取名字
name: ms
# 配置主库master,负责数据的写入
master-data-source-name: ds1
# 配置从库slave节点
slave-data-source-names: ds2
# 配置slave节点的负载均衡均衡策略,采用轮询机制
load-balance-algorithm-type: round_robin
# 整合mybatis的配置XXXXX
mybatis:
mapper-locations: classpath:mapper
public interface xaService {
public void xaTransaction();
}
package com.zzg.service.impl;
import com.zzg.mapper.StudentMapper;
import com.zzg.mapper.UserMapper;
import com.zzg.model.Student;
import com.zzg.service.xaService;
import org.apache.shardingsphere.transaction.annotation.ShardingTransactionType;
import org.apache.shardingsphere.transaction.core.TransactionType;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.transaction.annotation.Transactional;
import java.util.Random;
@Service
public class xaServiceImpl implements xaService {
@Autowired
private StudentMapper studentMapper;
@Autowired
private UserMapper userMapper;
@ShardingTransactionType(TransactionType.XA)
@Transactional(rollbackFor = Exception.class)
@Override
public void xaTransaction() {
Student student = new Student();
student.setName("zzg" + new Random().nextInt());
student.setSex(new Random().nextInt(2) + 1);
student.setAge(new Random().nextInt(6) + 6);
studentMapper.addStudent(student);
Student student2 = new Student();
student2.setName("zzg" + new Random().nextInt());
student2.setSex(new Random().nextInt(2) + 1);
student2.setAge(new Random().nextInt(6) + 6);
studentMapper.addStudent(student2);
int a = 1 / 0; //测试回滚
}
}
package com.zzg.controller;
import com.zzg.service.xaService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
@RestController
@RequestMapping("/xa")
public class XAController {
@Autowired
private xaService transaction;
@GetMapping("/save")
public String insert() {
transaction.xaTransaction();
return "success";
}
}
测试结果:
事务几种类型的优缺点本地事务
- 完全支持非跨库事务,例如:仅分表,或分库但是路由的结果在单库中。
- 完全支持因逻辑异常导致的跨库事务。例如:同一事务中,跨两个库更新。更新完毕后,抛出空指针,则两个库的内容都能回滚。
- 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提交之前,第一个库宕机,则只有第二个库数据提交。
两阶段XA事务
- 支持数据分片后的跨库XA事务
- 两阶段提交保证操作的原子性和数据的强一致性
- 服务宕机重启后,提交/回滚中的事务可自动恢复
- SPI机制整合主流的XA事务管理器,默认Atomikos,可以选择使用Narayana和Bitronix
- 同时支持XA和非XA的连接池
- 提供spring-boot和namespace的接入端
不支持:
- 服务宕机后,在其它机器上恢复提交/回滚中的数据
Seata柔性事务
- 完全支持跨库分布式事务
- 支持RC隔离级别
- 通过undo快照进行事务回滚
- 支持服务宕机后的,自动恢复提交中的事务
依赖:
- 需要额外部署Seata-server服务进行分支事务的协调
待优化项 - ShardingSphere和Seata会对SQL进行重复解析
- 表必须有主键,建议使用整型作为主键
- 禁止使用外键,表之间的关联性和完整性通过应用层来控制
- 表在设计之初,应该考虑到大致的数据级,若表记录小于1000W,尽量使用单表,不建议分表。
- 建议将大字段,访问频率低,或者不需要作为筛选条件的字段拆分到拓展表中,(做好表垂直拆分)
- 控制单实例表的总数,单个表分表数控制在1024以内。
- 正确区分tinyint、int、bigint的范围
- 使用varchar(20)存储手机号,不要使用整数
- 使用int存储ipv4 不要使用char(15)
- 涉及金额使用decimal/varchar,并制定精度
- 不要设计为null的字段,而是用空字符,因为null需要更多的空间,并且使得索引和统计变得更复杂。
- 唯一索引使用uniq_[字段名]来命名
- 非唯一索引使用idx_[字段名]来命名
- 不建议在频繁更新的字段上建立索引
- 非必要不要进行JOIN,如果要进行join查询,被join的字段必须类型相同,并建立索引。
- 单张表的索引数量建议控制在5个以内,索引过多,不仅会导致插入更新性能下降,还可能导致MYSQL的索引出错和性能下降
- 组合索引字段数量不建议超过5个,理解组合索引的最左匹配原则,避免重复建设索引。比如你建立了
- (x,y,z) 相当于你建立了(x),(x,y),(x,y,z)
- 禁止使用selet ,只获取必要字段,select 会增加cpu/i0/内存、带宽的消耗。
- insert 必须指定字段,禁止使用insert into Table values().指定字段插入,在表结果变更时,能保证对应应用程序无影响。
- 隐私类型转换会使索引失效,导致全表扫描。(比如:手机号码搜索时未转换成字符串)
- 禁止在where后面查询列使用内置函数或者表达式,导致不能命中索引,导致全表扫描
- 禁止负向查询(!=,not like ,no in等)以及%开头的模糊查询,造成不能命中索引,导致全表扫描
- 避免直接返回大结果集造成内存溢出,可采用分段和游标方式。
- 返回结果集时尽量使用limit分页显示。
- 尽量在order by/group by的列上创建索引。
- 大表扫描尽量放在镜像库上去做
- 禁止大表join查询和子查询
- 尽量避免数据库内置函数作为查询条件
- 应用程序尽量捕获SQL异常
垂直拆分:业务模块拆分、商品库,用户库,订单库
水平拆分:对表进行水平拆分(也就是我们说的:分表)
表进行垂直拆分:表的字段过多,字段使用的频率不一。(可以拆分两个表建立1:1关系)
- 将一个属性过多的表,一行数据较大的表,将不同的属性分割到不同的数据库表中。以降低单库表的大小。
特点:
- 每个表的结构不一致
- 每个表的数量都是全量
- 表和表之间一定会有一列会进行关联,一般都是主键
原则:
- 将长度较短,访问频率较高的字段放在一个表中,主表
- 将长度较长、访问频率比较低的字段放一个表中
- 将经常访问字段放一个表中。
- 所有表的并集是全量数据。
场景:在开发时,有时需要给表加字段,在大数据量且分表的情况下,怎么样平滑添加。
-
直接alter table add column,数据量大时不建议,(会产生写锁)
alter table t_user add column api_pay_no varchar(32) not null comment '用户扩展订单号'
-
提前预留字段(不优雅:造成空间浪费,预留多少很难控制,拓展性差)
-
新增一张表,(增加字段),迁移原表数据,在重新命名新表作为原表。
-
放入extinfo(无法使用索引)
-
提前设计,使用key/value方法存储,新增字段时 ,直接加一个key就好了(优雅)
本文基于狂神学ShardingSphere-jdbc,感兴趣的同学可以在B站中自行检索学习。



