栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

WebFlux上传下载Excel文件

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

WebFlux上传下载Excel文件

文章目录
  • 前言
  • 一、引入相关jar包
  • 二、开发过程
    • 1.Excel上传
      • 1.1 导入参数绑定
      • 1.2 导入功能实现
    • 2. Excel下载
  • 总结


前言

最近在做一个API网关产品,要开发一个API批量导入和导出的功能,因为网关使用的技术是spring cloud gateway,核心是WebFlux和reactor异步框架,导入使用的是spring-web的FilePart组件,一般导入使用的MultiPart在这里并不适用,在导出导出功能实现上,和webmvc有很多地方不一样,坑也比较多,网上也有很多类似的帖子及技术博客,但是在编码过程中还是有很多细节要注意,如果不是对这部分技术十分熟悉,其实很难完成这个功能的编码,下面具体介绍下实现过程及遇到的问题,不足之处还望指正。


一、引入相关jar包

	org.springframework.cloud
	spring-cloud-starter-gateway
	3.0.3
	

	com.alibaba
	easyexcel
	2.2.6

二、开发过程 1.Excel上传 1.1 导入参数绑定

导入接口定义:

@ApiOperation(value = "API批量导入", tags = {"API发布"})
@PostMapping(value = "/api/pass/integration/apiis/importInterfaces")
Mono> importInterfaces(ImportInterfaceParamDto importInterfaceParamDto) throws IOException;

小提示:如果导入只有文件参数,FilePart直接作为接口参数就可以了,如下这样

@ApiOperation(value = "API批量导入", tags = {"API发布"})
@PostMapping(value = "/api/pass/integration/apiis/importInterfaces")
Mono> importInterfaces(@RequestPart("file") FilePart filePart) throws IOException;

如果导入接口还要传递其他参数,和FilePart一起放在接口定义中,这么写是不行的,会获取不到二进制文件,比如下面这样:

@ApiOperation(value = "API批量导入", tags = {"API发布"})
@PostMapping(value = "/api/pass/integration/apiis/importInterfaces")
Mono> importInterfaces(@RequestPart("file") FilePart filePart, @RequestBody SPMSReq req) throws IOException;

这个时候就需要将FilePart和其他的参数一起封装成一个对象,然后作为接口参数定义,这样就可以绑定所以参数,如下:

@Data
@ApiModel(value = "API列表导入入参")
public class ImportInterfaceParamDto extends BaseReqBody {
    
    @ApiModelProperty(value = "请求参数",required = true)
    @NotNull
    private SPMSReq req;
        
    
    @ApiModelProperty(value = "文件", required = true)
    @NotNull
    private FilePart file;
}
1.2 导入功能实现

先贴一段网上通用的实现方法,作为参考

Path tempFile = Files.createTempFile("test", filePart.filename());
//NOTE 方法一
AsynchronousFileChannel channel =AsynchronousFileChannel.open(tempFile, StandardOpenOption.WRITE);
DataBufferUtils.write(filePart.content(), channel, 0).doOnComplete(() -> {
                    System.out.println("finish");
                }).subscribe();

//NOTE 方法二
filePart.transferTo(tempFile.toFile());

说明一下,方法二是不可行的,因为webflux是异步的,这种使用方式你会发现转换后文件是空的,因为是流处理还是异步的,这种方式看着很简洁,一行代码就可以搞定,其实是个坑,可能不是这种简单的用法,至少就这一行不行,所以得通过DataBuffer的方式去处理,那方法一就没问题了吗?
其实这样还是不行,因为你并不知道什么时候文件会读取结束,所以会出现一个现象,有时候顺利完成读取且可导入成功,这个在数据量比较少的时候没问题,你会觉得为很完美,其实是一个假象,数据量少异步是无法感知的,基本是秒处理,但是有时候就会抛异常,尤其是数量了大的时候,我使用的模板测试数据超过一千行时就已经出现问题,比如抛出下面这样的异常:

Could not open the specified zip entry source stream
...
java.io.EOFException: Unexpected end of ZLIB input stream
...

查看临时文件缓存目录下生成的文件,你会发现已损坏无法打开,像下面这样子,当出现这种情况肯定是程序问题,网上一大堆解释说因为什么意外导致文件被损坏,重新创建一个就好了等等等等,都是瞎扯淡,说一大堆也说不出个所以然来,其实是因为异步读取文件流,还没读完就被中断去执行其他任务,等回去继续执行时造成文件没有正确写入,导致文件损坏不可读取,使用debug追踪代码执行过程,你就能看到这一点

解决方法呢?方式1是可行的,用DataBuffer方式实现流读取,只不过需要把读取过程阻塞一下,等读取数据结束后,再去解析excel导入数据,这样就没问题了,但是不能直接调用block()去阻塞,否则会报如下异常:

java.lang.IllegalStateException: block()/blockFirst()/blockLast() are blocking, which is not supported in thread reactor-http-nio-2

可以采用java同步器CountDownLatch实现,或者使用publishOn重启另外一个线程,然后阻塞等待读取数据完成,我是用同步器实现的,如下:

FilePart file = interfaceParamDto.getFile();
// 解析excel文件
Path tempFilePath = Files.createTempFile("import_", ExcelTypeEnum.XLSX.getValue());
AsynchronousFileChannel channel =AsynchronousFileChannel.open(tempFilePath, StandardOpenOption.WRITE);
AtomicReference newFile = new AtomicReference<>();
AtomicReference> result = new AtomicReference<>();
CountDownLatch countDownLatch = new CountDownLatch(1);
DataBufferUtils.write(file.content(), channel, 0).doOnComplete(() -> countDownLatch.countDown()).subscribe(DataBufferUtils.releaseConsumer());
ExcelAnalysisListener listener = new ExcelAnalysisListener();
try {
	countDownLatch.await();
	newFile.set(tempFilePath.toFile());
	Assert.isTrue(newFile.get().exists() && newFile.get().length() > 0,MessageUtils.getMessage("message.gateway.publish.file.empty"));
	EasyExcelFactory.read(newFile.get(), ImportInterfaceDto.class, listener).sheet().doRead();
	result.set(listener.getDatas());
	uploadInterfaceDatas(interfaceParamDto, result.get());         		
} catch (Exception e) {
  countDownLatch.countDown();
  e.printStackTrace();
  throw new BusinessException(ReturnCodeEnum.DATA_BAD.getCode(), "upload excel has error:" + e.getMessage());
} finally {
  newFile.get().delete();
}

小提示:要注意哦,使用同步器,当程序出现异常时,必须要释放线程,不然线程会一直阻塞,异常无法正常抛出,请求一直没响应。

2. Excel下载

这里使用的是EasyExcel,导出的方式有很多种,我用的是按模板导出,EasyExcel还是很好用的,定义一个模板对象,使用@ExcelProperty标注表头,excel文件中对应使用{.xxxx}的方式绑定模板对象属性,这样你就可以任意导出了,如下:

DefaultDataBuffer dataBuffer = new DefaultDataBufferFactory().allocateBuffer();
OutputStream outputStream = dataBuffer.asOutputStream();
ClassPathResource classPathResource = new ClassPathResource("templates" + File.separator + "InterfaceExportTemplate.xlsx");
InputStream inputStream = classPathResource.getInputStream();
// 下拉框key转value
interfacelList.stream().forEach(item -> {
    translateBoxVal(item);
});
EasyExcel.write(outputStream, ExportInterfaceDto.class). withTemplate(inputStream).sheet("接口列表").doFill(interfacelList);
Flux dataBufferFlux = Flux.create((FluxSink emitter) -> {
    emitter.next(dataBuffer);
    emitter.complete();
});
return response.writeWith(dataBufferFlux);

还有一种方式,我从网上抄一个仅供参考:

ZeroCopyHttpOutputMessage zeroCopyResponse = (ZeroCopyHttpOutputMessage) response;
response.getHeaders().set(HttpHeaders.CONTENT_DISPOSITION, "attachment; filename=parallel.png");
response.getHeaders().setContentType(MediaType.IMAGE_PNG);
Resource resource = new ClassPathResource("parallel.png");
File file = resource.getFile();
return zeroCopyResponse.writeWith(file, 0, file.length());

总结

1、使用WebFlux、reactor做导入,要记住他是一个AIO,是异步的,reactor是一个反应式编程框架,其实说白了就是采用的观察者模式,所以不能按照顺序编程、命令编程的思维去理解它,认为他就是顺序执行的,其实不然;
2、WebFlux的subscribe、flatmap等是属于NonBlocking线程,不能使用block()/blockFirst()/blockLast()去阻塞它,如果需要使用同步功能,可以采用java的同步器,或者使用WebFlux提供的线程池开启另外一个线程,在那个线程阻塞等待处理结果;
2、使用同步器后者线程池阻塞线程时,如果出现异常,记得释放线程资源,让程序可以正常退出,不然会出现异常不能正常返回,请求一直超时位响应

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/974186.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号