1.前言
有一导出 数据量在百万至千万级左右
原来的导出方法是查询后的数据 全部塞到临时csv文件中 然后提供给浏览器下载 最后删除临时文件 但千万级数据会导致服务器cpu爆满卡死
我的思路是根据数据量分批查询 分批塞入csv文件 提供下载(下载后是单个csv文件)
此方法不会导致服务器卡死 因为是分批上传处理
这里列举几个其他方法 (导出多个csv文件 多个sheet页xls文件) 大家根据需求选择
最后导出效果 一百万条数据 5-7秒 一千万条数据 60秒左右
超过一百万条数据 用WPS打开会提示 下图使用NotePad++打开
2.导出步骤
Controller层
我是根据数据量循环次数的 缺点是多查一边全部数据 大家可以根据查询时间 分一天一天查sql
@ApiOperation(value = "历史数据查询导出", notes = "历史查询导出")
@GetMapping("/exportData")
public voidexportData(
@RequestParam String 查询参数,
...
...
HttpServletResponse response) throws IOException {
String sql = "SELECt count(1) count from where 查询参数";
//我这里的ClickHouse导出结果类型是List
大家需要根据需求 调整查询参数和原数据的处理
Utils
public class CsvFileUtil{
public static void exportCSVFile(String[] title, List> downloadList, int i, String absolutePath) throws IOException {
//这里开启了对同文件 追加上传数据 而不是新建文件 详情见拓展知识
BufferedWriter bufferedWriter = new BufferedWriter(new FileWriter(absolutePath, true));
//如果是第一次循环 添加表头
if (i == 0) {
writeHead(title, bufferedWriter);
//另起一行
bufferedWriter.newLine();
}
//循环list中数据 逐个添加
for (List list : downloadList) {
writeRow(list, bufferedWriter);
bufferedWriter.newLine();
}
bufferedWriter.close();
}
public static void writeRow(List row, BufferedWriter csvWriter) throws IOException {
int i = 0;
for (String data : row) {
csvWriter.write(data);
if (i != row.size() - 1) {
csvWriter.write(",");
}
i++;
}
}
public static void writeHead(String[] title, BufferedWriter bufferedWriter) throws IOException {
// 写表头
int i = 0;
for (String data : title) {
bufferedWriter.write(data);
if (i != title.length - 1) {
bufferedWriter.write(",");
}
i++;
}
}
public static void outCsvStreamCSV(HttpServletResponse response, String absolutePath) throws IOException {
java.io.OutputStream out = response.getOutputStream();
byte[] b = new byte[10240];
java.io.File fileLoad = new java.io.File(absolutePath);
response.reset();
response.setContentType("application/csv");
//可自定义文件名 我这里文件名前端处理了
response.setHeader("content-disposition", "attachment; filename=" + URLEncoder.encode("export.csv", "UTF-8"));
java.io.FileInputStream in = new java.io.FileInputStream(fileLoad);
int n;
//为了保证excel打开csv不出现中文乱码
out.write(new byte[]{(byte) 0xEF, (byte) 0xBB, (byte) 0xBF});
while ((n = in.read(b)) != -1) {
//每次写入out1024字节
out.write(b, 0, n);
}
in.close();
out.close();
}
public static boolean deleteFile(File file) {
// 如果文件路径所对应的文件存在,并且是一个文件,则直接删除
if (file.exists() && file.isFile()) {
return file.delete();
} else {
return false;
}
}
}
- > downloadList, int i, String absolutePath) throws IOException {
//这里开启了对同文件 追加上传数据 而不是新建文件 详情见拓展知识
BufferedWriter bufferedWriter = new BufferedWriter(new FileWriter(absolutePath, true));
//如果是第一次循环 添加表头
if (i == 0) {
writeHead(title, bufferedWriter);
//另起一行
bufferedWriter.newLine();
}
//循环list中数据 逐个添加
for (List
BufferedWriter流数据追加
如果只想在原有文件的基础上追加内容 就需要在创建写入流的时候多设置一个 append 的参数为 true 如不设置则导出多个csv文件 大家看需求设置
BufferedWriter bufferedWriter = new BufferedWriter(new FileWriter("绝对路径", true));
总结
重点1 在于分批查询sql 我是根据总条数 按20万条数据分割 也可以根据查询时间 对查询天数分割
重点2 根据循环 分批用流 塞到临时文件夹 提供给浏览器下载
最后 代码是死的 人是活的 大家需要根据业务需求来调整代码~
如文章有误或有导出疑问 欢迎留言



