Flink-任务提交
flink on zeppelin
org.apache.zeppelin.flink.FlinkScalaInterpreter
flink on yarn
命令行提交方式

yarn per-job
单任务Attach模式
默认是 Attach 模式,即客户端会一直等待直到程序结束才会退出。
通过 -m yarn-cluster 指定 Yarn 模式
Yarn 上显示名字为 Flink session cluster,这个 Batch 的 Wordcount 任务运行完会 FINISHED。
单任务Detached模式
由于是 Detached 模式,客户端提交完任务就退出了
Yarn 上显示为 Flink per-job cluster
yarn session
也有attach和detached模式的区分
Flink run 方式提交(推荐模式)
yarn session需要先启动一个集群,然后在提交作业。
对于Flink run直接提交作业就相对比较简单,不需要额外的去启动一个集群,直接提交作业,即可完成Flink作业。
命令: bin/flink run -m yarn-cluster examples/batch/WordCount.jar,注意使用参数-m yarn-cluster提交到yarn集群。
application mode
应用程序的main方法在jobManager上运行,创建仅仅在特定应用程序的作业之间共享的会话集群,在应用程序完成时终止。
提交任务到yarn并监控任务运行情况
./flink run -m yarn-cluster -p 4 -yjm 1024m -ytm 1096m -ynm 1 ../examples/batch/WordCount.jar
./flink run-application -t yarn-application ../examples/batch/WordCount.jar
指定application name为1
然后通过yarn-rest-api拿取任务信息
【参考文献】