栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 系统运维 > 运维 > Linux

从FTP服务器下载csv文件,并导入数据库

Linux 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

从FTP服务器下载csv文件,并导入数据库

从FTP服务器下载csv文件,并导入数据库 1.pom导入依赖

    com.opencsv
    opencsv
    4.6

2.设置实体
public static User setData(String[] strs, User user) {
    user.setId(strs[0].trim());
    user.setName(strs[1].trim());
    user.setSex(strs[2].trim());
    ......
    //生成随机主键
    user.setGkey(RandomUtil.randomStringUpper(32));

    return user;
}
3.导入数据库
@Override
public void importCsv(String fileName) {
    //文件路径
    String filePath = "ftp路径" + fileName + ".csv";
    File csvFile=null;
    OutputStream ops = null;
    CSVReader csvReader = null;
    try {
        long startTime = System.currentTimeMillis();
        //生成本地临时文件
        csvFile = File.createTempFile("tmp", filePath.substring(filePath.lastIndexOf(".")));
        logger.info("==========生成临时文件[" + csvFile.getPath() + "]==========");
        ops = new FileOutputStream(csvFile);
        logger.info("==========开始下载CSV文件,并写入临时文件...==========");
        Boolean isSucccess = FtpUtil.retrieveFile(filePath, ops);
        logger.info("==========写入临时文件成功与否[" + isSucccess + "]==========");
        if (isSucccess) {
            DataInputStream in = new DataInputStream(new FileInputStream(csvFile));
            csvReader = new CSVReader(new InputStreamReader(in, "utf-8"), 't',
                    CSVParser.DEFAULT_QUOTE_CHARACTER, CSVParser.DEFAULT_ESCAPE_CHARACTER);
            //循环外创建所需的所有对象,防止内存溢出
            String[] strs;
            List list = new ArrayList<>();
            User user;
            int i = 0, num = 0;
            logger.info("==========开始处理CSV文件数据...==========");
            long importTime = System.currentTimeMillis();
            long stopTime;
            while ((strs = csvReader.readNext()) != null) {
                //循环内赋值
                user = new User();
                // 将数据数据设置到实体对象中去
                list.add(setData(strs, user));
                i++;
                if (i == 1000) {
                    userMapper.insertUserList(list);
                    // 当 list 到达单批次最大数量后,执行保存数据操作,并清空list
                    list.clear();
                    //记录本次导入数据量
                    num += i;
                    stopTime = System.currentTimeMillis();
                    logger.info("==========已导入[" + num + "]条,耗时[" + (stopTime - importTime) / 1000 + "]秒==========");
                    i = 0;
                }
            }
            long endTime = System.currentTimeMillis();
            logger.info("==================================================");
            logger.info("文件名[call_detail_daily-" + fileName + ".csv]");
            logger.info("完整路径[" + filePath + "]");
            logger.info("共导入[" + num + "]条数据");
            logger.info("总耗时[" + (endTime - startTime) / 1000 + "]秒");
            logger.info("==================================================");
        }else {
            logger.info("==========文件["+filePath+"]下载失败或不存在==========");
        }
    } catch (Exception e) {
        logger.error("==========错误==========", e);
    } finally {
        // 关闭流
        if (csvReader != null) {
            try {
                csvReader.close();
            } catch (IOException e) {
                logger.error("==========错误==========", e);
            }
        }
        if (ops!=null){
            try {
                ops.close();
            } catch (IOException e) {
                logger.error("==========错误==========", e);
            }
        }
        if (csvFile.exists()) {
            //导入完成后删除本地临时文件
            boolean isDel = FileUtil.del(csvFile);
            logger.info("==========删除临时文件成功与否[" + isDel + "]==========");
        }
    }
}

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/324386.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号