栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 面试经验 > 面试问答

如何使用单个Spark上下文在Apache Spark中运行并发作业(动作)

面试问答 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

如何使用单个Spark上下文在Apache Spark中运行并发作业(动作)

尝试这样的事情:

    final JavaSparkContext sc = new JavaSparkContext("local[2]","Simple_App");    ExecutorService executorService = Executors.newFixedThreadPool(2);    // Start thread 1    Future<Long> future1 = executorService.submit(new Callable<Long>() {        @Override        public Long call() throws Exception { JavaRDD<String> file1 = sc.textFile("/path/to/test_doc1"); return file1.count();        }    });    // Start thread 2    Future<Long> future2 = executorService.submit(new Callable<Long>() {        @Override        public Long call() throws Exception { JavaRDD<String> file2 = sc.textFile("/path/to/test_doc2"); return file2.count();        }    });    // Wait thread 1    System.out.println("File1:"+future1.get());    // Wait thread 2    System.out.println("File2:"+future2.get());


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/486895.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号