栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

IDEA上运行Flink任务,面试总结

IDEA上运行Flink任务,面试总结

  1. JDK:1.8.0_211

  2. Maven:3.6.0

  3. IDEA:2018.3.5 (Ultimate Edition)

  4. Flink版本:1.9.2

关于正版IDEA

如何免费使用正版IDEA,可以参考《免费申请和使用IntelliJ IDEA商业版License指南》

开发
  1. 首先确保您电脑上maven已装好;

  2. 创建一个flink任务的maven工程,找个干净目录执行以下命令:

mvn

archetype:generate

-DarchetypeGroupId=org.apache.flink

-DarchetypeArtifactId=flink-quickstart-java

-DarchetypeVersion=1.9.2

  1. 按提示输入groupId、artifactId、version、package等内容:

  1. 现在maven工程已生成,用IDEA导入这个工程,如下图:

  1. 以maven的类型导入:

  1. 导入成功后的样子:

  1. 修改StreamingJob.java,加入功能是监听本地18081端口,得到的字符串做word count操作,完整代码在此下载:https://raw.githubusercontent.com/zq2599/blog_demos/master/files/StreamingJob.java

  1. 现在的代码已经能运行,但flink网页却还不能访问,会显示以下错误信息,需要继续做些设置:

  1. 下载flink-1.9.2安装包,这里面有flink网页服务用到的一个jar,地址是:https://www-eu.apache.org/dist/flink/flink-1.9.2/flink-1.9.2-bin-scala_2.11

《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》

【docs.qq.com/doc/DSmxTbFJ1cmN1R2dB】 完整内容开源分享

.tgz

  1. flink-1.9.2-bin-scala_2.11.tgz下载后解压,在lib目录下有个flink-dist_2.11-1.9.2.jar文件,记住此文件的位置,稍后会用到;

  2. 回到IDEA,在项目上点击右键,点击菜单Open Module Settings:

  1. 在弹出的窗口做如下操作,目的是给项目中增加jar:

  1. 弹出选择文件的窗口,请选择刚才准备好的文件flink-dist_2.11-1.9.2.jar:

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/671725.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号