- 1. 背景
- 2. 什么是SPI机制
- 2.1 概述
- 2.2 SPI和API的区别
- 3. 案例实战
- 3.1 使用步骤
- 3.2 演示
- 3.2.1 模块整体划分
- 3.2.2 服务接口 spi-engine-provider
- 3.2.3 服务实现 spi-bmw-engine-provider
- 3.2.4 服务消费 spi-car-consumer
- 4. 源码分析
- 4.1 com.mysql.cj.jdbc.Driver实现
- 4.1.1 使用
- 4.1.2 加载驱动
- 5. 深入理解
- 5.1 源码解析
- 5.2 缺陷
- 6. 总结
近期在使用ShardingSphere-Proxy的雪花算法分布式主键ID,使用过程中发现 SnowflakeKeyGenerateAlgorithm 类生成的ID不均匀,这非常不利于分表之后的数据分片。而该框架是大量的使用的了SPI作为扩展机制。掌握好SPI机制是改写该算法的前提。
2. 什么是SPI机制 2.1 概述SPI(Service Provider Interface),是JDK内置的一种 服务提供发现机制,可以用来启用框架扩展和替换组件,主要是被框架的开发人员使用,比如java.sql.Driver接口,其他不同厂商可以针对同一接口做出不同的实现,MySQL和PostgreSQL都有不同的实现提供给用户,而Java的SPI机制可以为某个接口寻找服务实现。Java中SPI机制主要思想是将装配的控制权移到程序之外,在模块化设计中这个机制尤其重要,其核心思想就是 解耦。
SPI整体机制图示:
SPI 接口位于【调用方】所在的包中
- 概念上更依赖调用方
- 组织上位于调用方所在的包中
- 实现位于独立的包中
API - 接口位于【】实现方】所在的包中
- 概念上更接近实现方
- 组织上位于实现方所在的包中
- 实现和接口在一个包中
- 定义接口/抽象类
- 编写实现类
- 实现方在META-INF/services下,创建一个以接口的全限定名为名称的文件,内容是提供是该接口的实现类的全限定名
- 使用ServiceLoader.load()方法来加载实现类
本案例采用业务领域为,汽车接入引擎进行组装。
3.2.1 模块整体划分为了清楚地说明SPI机制,采用多模块,并在spi-car-consumer调用spi-engine-provider和spi-bmw-engine-provider模块相应的功能。
父工程pom.xml:
3.2.2 服务接口 spi-engine-provider4.0.0 com.lfc spi-test 1.0.0 spi-engine-provider spi-car-consumer spi-bmw-engine-provider pom ${project.artifactId} 测试SPI项目 1.8 2.6.3 org.springframework.boot spring-boot-dependencies ${spring-boot.version} pom import org.apache.maven.plugins maven-compiler-plugin ${java.version} ${java.version}
本服务旨在提供服务的interface作为标准,并给到各个实现进行依赖。
pom.xml:
spi-test com.lfc 1.0.0 4.0.0 spi-engine-provider 汽车引擎提供商(标准和默认)
接口:
package com.lfc.service;
public interface ISpiEngine {
void start();
}
默认实现:
package com.lfc.service.impl;
import com.lfc.service.ISpiEngine;
public class DefaultSpiEngineImpl implements ISpiEngine {
@Override
public void start() {
System.out.println("默认引擎启动了...");
}
}
加入META-INF:
在 resources/META-INF/services 目录下创建文件名为 com.lfc.service.ISpiEngine的文件,内容为实现类的全限定类名 com.lfc.service.impl.DefaultSpiEngineImpl。
本模块需要依赖spi-engine-provider,并且实现其ISpiEngine 接口。
pom.xml:
spi-test com.lfc 1.0.0 4.0.0 spi-bmw-engine-provider 宝马汽车引擎提供商 com.lfc spi-engine-provider 1.0.0
BmwSpiEngineImpl实现类:
package com.lfc.service.impl;
import com.lfc.service.ISpiEngine;
public class BmwSpiEngineImpl implements ISpiEngine {
@Override
public void start() {
System.out.println("BMW的引擎正在启动。。。");
}
}
加入META-INF:
在 resources/META-INF/services 目录下创建文件名为 com.lfc.service.ISpiEngine的文件,内容为实现类的全限定类名 com.lfc.service.impl.BmwSpiEngineImpl。
本模块使用SpringBoot构建,并在入口程序中调用服务实现。需要依赖以来以上两个模块,并使用其实现,完成特定功能。
pom.xml:
spi-test com.lfc 1.0.0 4.0.0 spi-car-consumer 汽车消费类(消费引擎) org.springframework.boot spring-boot-starter-web com.lfc spi-engine-provider 1.0.0 com.lfc spi-bmw-engine-provider 1.0.0
ConsumerApplication:
package com.lfc.consumer;
import com.lfc.service.ISpiEngine;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import java.util.Iterator;
import java.util.ServiceLoader;
@SpringBootApplication
public class ConsumerApplication {
public static void main(String[] args) {
SpringApplication.run(ConsumerApplication.class, args);
spiTest();
}
public static void spiTest() {
System.out.println("正在执行ConsumerApplication中的 spiTest() ...");
ServiceLoader loader = ServiceLoader.load(ISpiEngine.class);
Iterator iterator = loader.iterator();
while (iterator.hasNext()) {
ISpiEngine spiEngine = iterator.next();
spiEngine.start();
}
}
}
最终输出:
正在执行ConsumerApplication中的 spiTest() ... 默认引擎启动了。。。 BMW的引擎正在启动。。。4. 源码分析 4.1 com.mysql.cj.jdbc.Driver实现 4.1.1 使用
@Test
public void jdbcTest() {
String jdbcUrl = "jdbc:mysql://127.0.0.1:3306/test-db?characterEncoding=utf8&useSSL=false&verifyServerCertificate=false&serverTimezone=UTC";
String username = "test-db";
String password = "123456";
try {
Connection connection = DriverManager.getConnection(jdbcUrl, username, password);
System.out.println(connection);
} catch (Exception e) {
e.printStackTrace();
}
}
4.1.2 加载驱动
类加载的时候,初始化驱动
static {
loadInitialDrivers();
println("JDBC DriverManager initialized");
}
loadInitialDrivers
private static void loadInitialDrivers() {
String drivers;
// 使用已开启的权限执行指定的{@code PrivilegedAction},所有执行该操作的权限,由调用方的保护域拥有。
try {
drivers = AccessController.doPrivileged(new PrivilegedAction() {
public String run() {
// 1. 从系统变量中获取有关驱动的定义
return System.getProperty("jdbc.drivers");
}
});
} catch (Exception ex) {
drivers = null;
}
// 如果驱动以服务提供的形式打包则加载它,加载所有的以java.sql.Driver.class服务暴露的所有驱动
AccessController.doPrivileged(new PrivilegedAction() {
public Void run() {
ServiceLoader loadedDrivers = ServiceLoader.load(Driver.class);
Iterator driversIterator = loadedDrivers.iterator();
try{
while(driversIterator.hasNext()) {
driversIterator.next();
}
} catch(Throwable t) {
// Do nothing
}
return null;
}
});
println("DriverManager.initialize: jdbc.drivers = " + drivers);
if (drivers == null || drivers.equals("")) {
return;
}
String[] driversList = drivers.split(":");
println("number of Drivers:" + driversList.length);
// 4. 根据第一步获取到的驱动列表来实例化具体实现类
for (String aDriver : driversList) {
try {
println("DriverManager.Initialize: loading " + aDriver);
Class.forName(aDriver, true,
ClassLoader.getSystemClassLoader());
} catch (Exception ex) {
println("DriverManager.Initialize: load failed: " + ex);
}
}
}
5. 深入理解
5.1 源码解析
著作权归https://pdai.tech所有。 链接:https://pdai.tech/md/java/advanced/java-advanced-spi.html //ServiceLoader实现了Iterable接口,可以遍历所有的服务实现者 public final class ServiceLoaderimplements Iterable{ //查找配置文件的目录 private static final String PREFIX = "META-INF/services/"; //表示要被加载的服务的类或接口 private final Classservice; //这个ClassLoader用来定位,加载,实例化服务提供者 private final ClassLoader loader; // 访问控制上下文 private final AccessControlContext acc; // 缓存已经被实例化的服务提供者,按照实例化的顺序存储 private LinkedHashMapproviders = new LinkedHashMap<>(); // 迭代器 private LazyIterator lookupIterator; //重新加载,就相当于重新创建ServiceLoader了,用于新的服务提供者安装到正在运行的Java虚拟机中的情况。 public void reload() { //清空缓存中所有已实例化的服务提供者 providers.clear(); //新建一个迭代器,该迭代器会从头查找和实例化服务提供者 lookupIterator = new LazyIterator(service, loader); } //私有构造器 //使用指定的类加载器和服务创建服务加载器 //如果没有指定类加载器,使用系统类加载器,就是应用类加载器。 private ServiceLoader(Class svc, ClassLoader cl) { service = Objects.requireNonNull(svc, "Service interface cannot be null"); loader = (cl == null) ? ClassLoader.getSystemClassLoader() : cl; acc = (System.getSecurityManager() != null) ? AccessController.getContext() : null; reload(); } //解析失败处理的方法 private static void fail(Class> service, String msg, Throwable cause) throws ServiceConfigurationError { throw new ServiceConfigurationError(service.getName() + ": " + msg, cause); } private static void fail(Class> service, String msg) throws ServiceConfigurationError { throw new ServiceConfigurationError(service.getName() + ": " + msg); } private static void fail(Class> service, URL u, int line, String msg) throws ServiceConfigurationError { fail(service, u + ":" + line + ": " + msg); } //解析服务提供者配置文件中的一行 //首先去掉注释校验,然后保存 //返回下一行行号 //重复的配置项和已经被实例化的配置项不会被保存 private int parseLine(Class> service, URL u, BufferedReader r, int lc, Listnames) throws IOException, ServiceConfigurationError { //读取一行 String ln = r.readLine(); if (ln == null) { return -1; } //#号代表注释行 int ci = ln.indexOf('#'); if (ci >= 0) ln = ln.substring(0, ci); ln = ln.trim(); int n = ln.length(); if (n != 0) { if ((ln.indexOf(' ') >= 0) || (ln.indexOf('t') >= 0)) fail(service, u, lc, "Illegal configuration-file syntax"); int cp = ln.codePointAt(0); if (!Character.isJavaIdentifierStart(cp)) fail(service, u, lc, "Illegal provider-class name: " + ln); for (int i = Character.charCount(cp); i < n; i += Character.charCount(cp)) { cp = ln.codePointAt(i); if (!Character.isJavaIdentifierPart(cp) && (cp != '.')) fail(service, u, lc, "Illegal provider-class name: " + ln); } if (!providers.containsKey(ln) && !names.contains(ln)) names.add(ln); } return lc + 1; } //解析配置文件,解析指定的url配置文件 //使用parseLine方法进行解析,未被实例化的服务提供者会被保存到缓存中去 private Iterator parse(Class> service, URL u) throws ServiceConfigurationError { InputStream in = null; BufferedReader r = null; ArrayList names = new ArrayList<>(); try { in = u.openStream(); r = new BufferedReader(new InputStreamReader(in, "utf-8")); int lc = 1; while ((lc = parseLine(service, u, r, lc, names)) >= 0); } return names.iterator(); } //服务提供者查找的迭代器 private class LazyIterator implements Iterator { Classservice;//服务提供者接口 ClassLoader loader;//类加载器 Enumerationconfigs = null;//保存实现类的url Iterator pending = null;//保存实现类的全名 String nextName = null;//迭代器中下一个实现类的全名 private LazyIterator(Class service, ClassLoader loader) { this.service = service; this.loader = loader; } private boolean hasNextService() { if (nextName != null) { return true; } if (configs == null) { try { String fullName = PREFIX + service.getName(); if (loader == null) configs = ClassLoader.getSystemResources(fullName); else configs = loader.getResources(fullName); } } while ((pending == null) || !pending.hasNext()) { if (!configs.hasMoreElements()) { return false; } pending = parse(service, configs.nextElement()); } nextName = pending.next(); return true; } private S nextService() { if (!hasNextService()) throw new NoSuchElementException(); String cn = nextName; nextName = null; Class> c = null; try { c = Class.forName(cn, false, loader); } if (!service.isAssignableFrom(c)) { fail(service, "Provider " + cn + " not a subtype"); } try { S p = service.cast(c.newInstance()); providers.put(cn, p); return p; } } public boolean hasNext() { if (acc == null) { return hasNextService(); } else { PrivilegedActionaction = new PrivilegedAction () { public Boolean run() { return hasNextService(); } }; return AccessController.doPrivileged(action, acc); } } public S next() { if (acc == null) { return nextService(); } else { PrivilegedAction action = new PrivilegedAction() { public S run() { return nextService(); } }; return AccessController.doPrivileged(action, acc); } } public void remove() { throw new UnsupportedOperationException(); } } //获取迭代器 //返回遍历服务提供者的迭代器 //以懒加载的方式加载可用的服务提供者 //懒加载的实现是:解析配置文件和实例化服务提供者的工作由迭代器本身完成 public Iteratoriterator() { return new Iterator() { //按照实例化顺序返回已经缓存的服务提供者实例 Iterator> knownProviders = providers.entrySet().iterator(); public boolean hasNext() { if (knownProviders.hasNext()) return true; return lookupIterator.hasNext(); } public S next() { if (knownProviders.hasNext()) return knownProviders.next().getValue(); return lookupIterator.next(); } public void remove() { throw new UnsupportedOperationException(); } }; } //为指定的服务使用指定的类加载器来创建一个ServiceLoader public static ServiceLoaderload(Classservice, ClassLoader loader) { return new ServiceLoader<>(service, loader); } //使用线程上下文的类加载器来创建ServiceLoader public staticServiceLoaderload(Classservice) { ClassLoader cl = Thread.currentThread().getContextClassLoader(); return ServiceLoader.load(service, cl); } //使用扩展类加载器为指定的服务创建ServiceLoader //只能找到并加载已经安装到当前Java虚拟机中的服务提供者,应用程序类路径中的服务提供者将被忽略 public staticServiceLoaderloadInstalled(Classservice) { ClassLoader cl = ClassLoader.getSystemClassLoader(); ClassLoader prev = null; while (cl != null) { prev = cl; cl = cl.getParent(); } return ServiceLoader.load(service, prev); } public String toString() { return "java.util.ServiceLoader[" + service.getName() + "]"; } }
- ServiceLoader实现了Iterable接口,所以它有迭代器的属性,这里主要都是实现了迭代器的hasNext和next方法。这里主要都是调用的lookupIterator的相应hasNext和next方法,lookupIterator是懒加载迭代器。
- LazyIterator中的hasNext方法,静态变量PREFIX就是META-INF/services/目录,这也就是为什么需要在classpath下的META-INF/services/目录里创建一个以服务接口命名的文件。
- 通过反射方法Class.forName()加载类对象,并用newInstance方法将类实例化,并把实例化后的类缓存到providers对象中,(LinkedHashMap
类型)然后返回实例对象。
所以我们可以看到ServiceLoader不是实例化以后,就去读取配置文件中的具体实现,并进行实例化。而是等到使用迭代器去遍历的时候,才会加载对应的配置文件去解析,调用hasNext方法的时候会去加载配置文件进行解析,调用next方法的时候进行实例化并缓存。 所有的配置文件只会加载一次,服务提供者也只会被实例化一次,重新加载配置文件可使用reload方法。
5.2 缺陷- 不能按需加载,需要遍历所有的实现,并实例化,然后在循环中才能找到我们需要的实现。如果不想用某些实现类,或者某些类实例化很耗时,它也被载入并实例化了,这就造成了浪费。
- 获取某个实现类的方式不够灵活,只能通过 Iterator 形式获取,不能根据某个参数来获取对应的实现类。
- 多个并发多线程使用 ServiceLoader 类的实例是不安全的。
业界很多框架都是基于SPI机制实现的可插拔的功能,当需要扩展或者修改框架的功能时候,需掌握SPI的实现机制。



