栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Java大批量数据导出-csv格式

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Java大批量数据导出-csv格式

1.前言

有一导出 数据量在百万至千万级左右

原来的导出方法是查询后的数据 全部塞到临时csv文件中 然后提供给浏览器下载 最后删除临时文件 但千万级数据会导致服务器cpu爆满卡死

我的思路是根据数据量分批查询 分批塞入csv文件 提供下载(下载后是单个csv文件)

此方法不会导致服务器卡死 因为是分批上传处理

这里列举几个其他方法 (导出多个csv文件 多个sheet页xls文件) 大家根据需求选择

最后导出效果 一百万条数据 5-7秒 一千万条数据 60秒左右

超过一百万条数据 用WPS打开会提示 下图使用NotePad++打开


2.导出步骤

Controller层

我是根据数据量循环次数的 缺点是多查一边全部数据 大家可以根据查询时间 分一天一天查sql

    @ApiOperation(value = "历史数据查询导出", notes = "历史查询导出")
    @GetMapping("/exportData")
    public voidexportData(
        @RequestParam String 查询参数,
        ...
        ...
        HttpServletResponse response) throws IOException {
        String sql = "SELECt count(1) count from where 查询参数";
        //我这里的ClickHouse导出结果类型是List> 如有不同 自己可结合后续方法修改
        List> beans = ClickHouseUtils.execSQL(sql);
        int count = Integer.parseInt(beans.get(0).get("count").toString());
        //数据量分割值 
        int num = 200000;
        //循环次数
        int cycles = count / num;
        //余数
        int remainder = count % num;
        //文件存储路径 可以自定义
        String path = getDefaultBaseDir();
        //getCsvSpecialTime()是我自己写的获取时间接口
        String csvFile = "历史数据" + DateUtils.getCsvSpecialTime() + ".csv";
        //绝对路径 一定要具体到文件夹 文件名和后缀
        String absolutePath = path + "/" + csvFile;
        try {
        File file = new File(path);
            //检查是否存在此文件夹 如没有则创建
            if (!file.exists()) {
                if (file.mkdirs()) {
                    logger.info("目录创建成功");
                } else {
                    logger.error("目录创建失败");
                }
            }
        //表头
        String[] title = {"..",".."};
        for (int i = 0; i < cycles; i++) {
            sql = "SELECt * from where 查询参数 limit " + (i * num) + "," + num;
            List> beans1 = ClickHouseUtils.execSQL(sql);
            List> exportData = new ArrayList<>();
            for (Map bean : beans1) {
                List value = new ArrayList<>();
                value.add(bean.get("表字段").toString());
                ...
                ...
                exportData.add(value);
            }
            //上传csv文件到服务器
            CsvFileUtil.exportCSVFile(title, exportData, i, absolutePath);
        }
        if (remainder > 0) {
            sql = "SELECt * from where 查询参数 limit " + (num * cycles) + "," + ((num * cycles) + remainder);
            List> beans2 = ClickHouseUtils.execSQL(sql);
            List> exportData = new ArrayList<>();
            for (Map bean : beans2) {
                List value = new ArrayList<>();
                value.add(bean.get("表字段").toString());
                ...
                ...
                exportData.add(value);
            }
            CsvFileUtil.exportCSVFile(title, exportData, cycles, absolutePath);
        }
            //输出csv流文件,提供给浏览器下载
            CsvFileUtil.outCsvStreamCSV(response, absolutePath);
            //删除临时文件  不删除文件会残留在下载的路径
            CsvFileUtil.deleteFile(new File(absolutePath));
        } catch (
                IOException e) {
            e.printStackTrace();
            logger.error("导出失败");
        }
    }

大家需要根据需求 调整查询参数和原数据的处理

Utils
public class CsvFileUtil{

    
    public static void exportCSVFile(String[] title, List> downloadList, int i, String absolutePath) throws IOException {
        //这里开启了对同文件 追加上传数据 而不是新建文件 详情见拓展知识
        BufferedWriter bufferedWriter = new BufferedWriter(new FileWriter(absolutePath, true));
        //如果是第一次循环 添加表头
        if (i == 0) {
            writeHead(title, bufferedWriter);
            //另起一行
            bufferedWriter.newLine();
        }
        //循环list中数据 逐个添加
        for (List list : downloadList) {
            writeRow(list, bufferedWriter);
            bufferedWriter.newLine();
        }
        bufferedWriter.close();
    }

    
    public static void writeRow(List row, BufferedWriter csvWriter) throws IOException {
        int i = 0;
        for (String data : row) {
            csvWriter.write(data);
            if (i != row.size() - 1) {
                csvWriter.write(",");
            }
            i++;
        }
    }

    
    public static void writeHead(String[] title, BufferedWriter bufferedWriter) throws IOException {
        // 写表头
        int i = 0;
        for (String data : title) {
            bufferedWriter.write(data);
            if (i != title.length - 1) {
                bufferedWriter.write(",");
            }
            i++;
        }
    }

    
    public static void outCsvStreamCSV(HttpServletResponse response, String absolutePath) throws IOException {
        java.io.OutputStream out = response.getOutputStream();
        byte[] b = new byte[10240];
        java.io.File fileLoad = new java.io.File(absolutePath);
        response.reset();
        response.setContentType("application/csv");
        //可自定义文件名 我这里文件名前端处理了
        response.setHeader("content-disposition", "attachment; filename=" + URLEncoder.encode("export.csv", "UTF-8"));
        java.io.FileInputStream in = new java.io.FileInputStream(fileLoad);
        int n;
        //为了保证excel打开csv不出现中文乱码
        out.write(new byte[]{(byte) 0xEF, (byte) 0xBB, (byte) 0xBF});
        while ((n = in.read(b)) != -1) {
            //每次写入out1024字节
            out.write(b, 0, n);
        }
        in.close();
        out.close();
    }
    
    
    public static boolean deleteFile(File file) {
        // 如果文件路径所对应的文件存在,并且是一个文件,则直接删除
        if (file.exists() && file.isFile()) {
            return file.delete();
        } else {
            return false;
        }
    }

}

 

BufferedWriter流数据追加

如果只想在原有文件的基础上追加内容 就需要在创建写入流的时候多设置一个 append 的参数为 true 如不设置则导出多个csv文件 大家看需求设置

BufferedWriter bufferedWriter = new BufferedWriter(new FileWriter("绝对路径", true));

总结

重点1 在于分批查询sql 我是根据总条数 按20万条数据分割 也可以根据查询时间 对查询天数分割

重点2 根据循环 分批用流 塞到临时文件夹 提供给浏览器下载 

最后 代码是死的 人是活的 大家需要根据业务需求来调整代码~

如文章有误或有导出疑问 欢迎留言

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/978192.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号