栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java > SpringBoot

springboot配置读写分离

SpringBoot 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

springboot配置读写分离

  近日工作任务较轻,有空学习学习技术,遂来研究如果实现读写分离。这里用博客记录下过程,一方面可备日后查看,同时也能分享给大家(网上的资料真的大都是抄来抄去,,还不带格式的,看的真心难受)。

完整代码

1、背景

  一个项目中数据库最基础同时也是最主流的是单机数据库,读写都在一个库中。当用户逐渐增多,单机数据库无法满足性能要求时,就会进行读写分离改造(适用于读多写少),写操作一个库,读操作多个库,通常会做一个数据库集群,开启主从备份,一主多从,以提高读取性能。当用户更多读写分离也无法满足时,就需要分布式数据库了(可能以后会学习怎么弄)。

  正常情况下读写分离的实现,首先要做一个一主多从的数据库集群,同时还需要进行数据同步。这一篇记录如何用mysql搭建一个一主多次的配置,下一篇记录代码层面如何实现读写分离。

2、搭建一主多从数据库集群

  主从备份需要多台虚拟机,我是用wmware完整克隆多个实例,注意直接克隆的虚拟机会导致每个数据库的uuid相同,需要修改为不同的uuid。修改方法参考这个:点击跳转。

  • 主库配置

    主数据库(master)中新建一个用户用于从数据库(slave)读取主数据库二进制日志,sql语句如下:

      mysql> CREATE USER 'repl'@'%' IDENTIFIED BY '123456';#创建用户
      mysql> GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%';#分配权限
      mysql>flush privileges;   #刷新权限

    同时修改mysql配置文件开启二进制日志,新增部分如下:

    [mysqld]
    server-id=1
    log-bin=master-bin
    log-bin-index=master-bin.index

    然后重启数据库,使用show master status;语句查看主库状态,如下所示:

  • 从库配置

    同样先新增几行配置:

    [mysqld]
    server-id=2
    relay-log-index=slave-relay-bin.index
    relay-log=slave-relay-bin

    然后重启数据库,使用如下语句连接主库:

    CHANGE MASTER TO
             MASTER_HOST='192.168.226.5',
             MASTER_USER='root',
             MASTER_PASSWORD='123456',
             MASTER_LOG_FILE='master-bin.000003',
             MASTER_LOG_POS=154;

    接着运行start slave;开启备份,正常情况如下图所示:Slave_IO_Running和Slave_SQL_Running都为yes。

可以用这个步骤开启多个从库。

  默认情况下备份是主库的全部操作都会备份到从库,实际可能需要忽略某些库,可以在主库中增加如下配置:

# 不同步哪些数据库  
binlog-ignore-db = mysql  
binlog-ignore-db = test  
binlog-ignore-db = information_schema  
  
# 只同步哪些数据库,除此之外,其他不同步  
binlog-do-db = game
3、代码层面进行读写分离

  代码环境是springboot+mybatis+druib连接池。想要读写分离就需要配置多个数据源,在进行写操作是选择写的数据源,读操作时选择读的数据源。其中有两个关键点:

  • 如何切换数据源

  • 如何根据不同的方法选择正确的数据源

1)、如何切换数据源

  通常用springboot时都是使用它的默认配置,只需要在配置文件中定义好连接属性就行了,但是现在我们需要自己来配置了,spring是支持多数据源的,多个datasource放在一个HashMapTargetDataSource中,通过dertermineCurrentLookupKey获取key来觉定要使用哪个数据源。因此我们的目标就很明确了,建立多个datasource放到TargetDataSource中,同时重写dertermineCurrentLookupKey方法来决定使用哪个key。

2)、如何选择数据源

  事务一般是注解在Service层的,因此在开始这个service方法调用时要确定数据源,有什么通用方法能够在开始执行一个方法前做操作呢?相信你已经想到了那就是切面 。怎么切有两种办法:

  • 注解式,定义一个只读注解,被该数据标注的方法使用读库

  • 方法名,根据方法名写切点,比如getXXX用读库,setXXX用写库

3)、代码编写a、编写配置文件,配置两个数据源信息

  只有必填信息,其他都有默认设置

mysql:  datasource:
    #读库数目    num: 1    type-aliases-package: com.example.dxfl.dao    mapper-locations: classpath:/mapperpublic class DbContextHolder {    private static Logger log = LoggerFactory.getLogger(DbContextHolder.class);    public static final String WRITE = "write";    public static final String READ = "read";    private static ThreadLocal contextHolder= new ThreadLocal<>();    public static void setDbType(String dbType) {        if (dbType == null) {
            log.error("dbType为空");            throw new NullPointerException();
        }
        log.info("设置dbType为:{}",dbType);
        contextHolder.set(dbType);
    }    public static String getDbType() {        return contextHolder.get() == null ? WRITE : contextHolder.get();
    }    public static void clearDbType() {
        contextHolder.remove();
    }
}
c、重写determineCurrentLookupKey方法

  spring在开始进行数据库操作时会通过这个方法来决定使用哪个数据库,因此我们在这里调用上面DbContextHolder类的getDbType()方法获取当前操作类别,同时可进行读库的负载均衡,代码如下:

public class MyAbstractRoutingDataSource extends AbstractRoutingDataSource {    @Value("${mysql.datasource.num}")    private int num;    private final Logger log = LoggerFactory.getLogger(this.getClass());    @Override
    protected Object determineCurrentLookupKey() {
        String typeKey = DbContextHolder.getDbType();        if (typeKey == DbContextHolder.WRITE) {
            log.info("使用了写库");            return typeKey;
        }        //使用随机数决定使用哪个读库
        int sum = NumberUtil.getRandom(1, num);
        log.info("使用了读库{}", sum);        return DbContextHolder.READ + sum;
    }
}
d、编写配置类

  由于要进行读写分离,不能再用springboot的默认配置,我们需要手动来进行配置。首先生成数据源,使用@ConfigurProperties自动生成数据源:

    
    @Primary
    @Bean
    @ConfigurationProperties(prefix = "mysql.datasource.write")    public DataSource writeDataSource() {        return new DruidDataSource();
    }

读数据源类似,注意有多少个读库就要设置多少个读数据源,Bean名为read+序号。

  然后设置数据源,使用的是我们之前写的MyAbstractRoutingDataSource类

    
    @Bean
    public AbstractRoutingDataSource routingDataSource() {
        MyAbstractRoutingDataSource proxy = new MyAbstractRoutingDataSource();
        Map targetDataSources = new HashMap<>(2);
        targetDataSources.put(DbContextHolder.WRITE, writeDataSource());
        targetDataSources.put(DbContextHolder.READ+"1", read1());
        proxy.setDefaultTargetDataSource(writeDataSource());
        proxy.setTargetDataSources(targetDataSources);        return proxy;
    }

  接着需要设置sqlSessionFactory

    
    @Bean
    public SqlSessionFactory sqlSessionFactory() throws Exception {
        SqlSessionFactoryBean bean = new SqlSessionFactoryBean();
        bean.setDataSource(routingDataSource());
        ResourcePatternResolver resolver = new PathMatchingResourcePatternResolver();        // 实体类对应的位置
        bean.setTypeAliasesPackage(typeAliasesPackage);        // mybatis的XML的配置
        bean.setMapperLocations(resolver.getResources(mapperLocation));
        bean.setConfigLocation(resolver.getResource(configLocation));        return bean.getObject();
    }

  最后还得配置下事务,否则事务不生效

    
    @Bean
    public DataSourceTransactionManager dataSourceTransactionManager() {        return new DataSourceTransactionManager(routingDataSource());
    }
4)、选择数据源

  多数据源配置好了,但是代码层面如何选择选择数据源呢?这里介绍两种办法:

a、注解式

  首先定义一个只读注解,被这个注解方法使用读库,其他使用写库,如果项目是中途改造成读写分离可使用这个方法,无需修改业务代码,只要在只读的service方法上加一个注解即可。

@Target({ElementType.METHOD,ElementType.TYPE})@Retention(RetentionPolicy.RUNTIME)public @interface ReadOnly {
}

  然后写一个切面来切换数据使用哪种数据源,重写getOrder保证本切面优先级高于事务切面优先级,在启动类加上@EnableTransactionManagement(order = 10),为了代码如下:

@Aspect@Componentpublic class ReadOnlyInterceptor implements Ordered {    private static final Logger log= LoggerFactory.getLogger(ReadOnlyInterceptor.class);    @Around("@annotation(readOnly)")    public Object setRead(ProceedingJoinPoint joinPoint,ReadOnly readOnly) throws Throwable{        try{
            DbContextHolder.setDbType(DbContextHolder.READ);            return joinPoint.proceed();
        }finally {            //清楚DbType一方面为了避免内存泄漏,更重要的是避免对后续在本线程上执行的操作产生影响
            DbContextHolder.clearDbType();
            log.info("清除threadLocal");
        }
    }    @Override
    public int getOrder() {        return 0;
    }
}
b、方法名式

  这种方法不许要注解,但是需要事务名称按一定规则编写,然后通过切面来设置数据库类别,比如setXXX设置为写、getXXX设置为读,代码我就不写了,应该都知道怎么写。

4、测试

  编写好代码来试试结果如何,下面是运行截图:

  断断续续写了好几天终于是写完了,,,如果有帮助到你,,欢迎star哦,,这里是完整代码地址:点击跳转

原文出处:https://www.cnblogs.com/wuyoucao/p/9610882.html

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/235277.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号