栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 其他

探究在一个循环中,下载文件在HDFS上不存在会怎么样,某次的循环异常会不会影响整体的循环

其他 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

探究在一个循环中,下载文件在HDFS上不存在会怎么样,某次的循环异常会不会影响整体的循环

探究在一个循环中,指定的下载文件在HDFS上不存在会怎么样,某次的循环异常会不会影响整体的循环。

HDFS上文件如下图:

代码贴上:
 public static void test() throws Exception {

        //本地保存路径
        String downUrls = "D:/-------" ;

        //操作目录文件路径
        String fileHdfsUrls = "/uploadTest";

        //hdfs链接地址
        String hdfsUrls = "--------------";
//        创建文件夹
//        Path path = new Path("/uploadTest");
//        boolean mkdirs = fileSystem.mkdirs(path);
//        if (mkdirs){
//            System.out.println("chenggong");
//        }else {
//            System.out.println("shibai");
//        }

        //链接hdfs
        FileSystem fileSystem = HDFSTool.getActiveFs(hdfsUrls);
        System.out.println(fileSystem+"-------------------------------链接成功");


//        RemoteIterator iterator
//                = fileSystem.listFiles(path, false);

//        while (iterator.hasNext()) {
//            LocatedFileStatus next = iterator.next();
//            path = next.getPath();
//            String name = path.getName();
//            String hdfsFilePath = fileHdfsUrls + "/" + name;
//            HDFSTool.download(fileSystem, hdfsFilePath, downUrls, false);
//        }




        String path = fileHdfsUrls + "/" + "test" + " " + "(2).txt";
//        boolean delete = fileSystem.delete(new Path("/" + "test" + " " + "(2).txt"), true);
//        if (delete){
//            System.out.println("删除成功");
//        }else {
//            System.out.println("删除失败");
//        }

        //删除掉一个文件 还剩六个文件
        HDFSTool.rm(fileSystem,path);
        
        int a = 1;
        for (int i = 0; i < 7; i++) {

            String filePatnName = "test" + " " +  "(" + a + ")" + "." + "txt";

            String hdfsFilePath =  fileHdfsUrls + "/" + filePatnName;
            System.out.println(hdfsFilePath);

            HDFSTool.download(fileSystem, hdfsFilePath, downUrls, false);
            a++;
        }
    }

    public static void main(String[] args) throws Exception {
        test();
    }

}

注:注释部分为链接hdfs 遍历获取文件名称拼接 下载所有文件

测试结果:

单词循环异常不会影响整体循环。文件可以下载下来。

删除文件后下载结果:

控制台异常信息(截取部分):

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/279506.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号