0%

flink任务提交

Flink-任务提交

org.apache.zeppelin.flink.FlinkScalaInterpreter

命令行提交方式

yarn per-job

单任务Attach模式

默认是 Attach 模式,即客户端会一直等待直到程序结束才会退出。

通过 -m yarn-cluster 指定 Yarn 模式

Yarn 上显示名字为 Flink session cluster,这个 Batch 的 Wordcount 任务运行完会 FINISHED。

单任务Detached模式

由于是 Detached 模式,客户端提交完任务就退出了

Yarn 上显示为 Flink per-job cluster

yarn session

也有attach和detached模式的区分

Flink run 方式提交(推荐模式)

yarn session需要先启动一个集群,然后在提交作业。
对于Flink run直接提交作业就相对比较简单,不需要额外的去启动一个集群,直接提交作业,即可完成Flink作业。
命令: bin/flink run -m yarn-cluster examples/batch/WordCount.jar,注意使用参数-m yarn-cluster提交到yarn集群。

application mode

应用程序的main方法在jobManager上运行,创建仅仅在特定应用程序的作业之间共享的会话集群,在应用程序完成时终止。

提交任务到yarn并监控任务运行情况

./flink run -m yarn-cluster -p 4 -yjm 1024m -ytm 1096m -ynm 1 ../examples/batch/WordCount.jar

./flink run-application -t yarn-application ../examples/batch/WordCount.jar

指定application name为1

然后通过yarn-rest-api拿取任务信息

【参考文献】

  1. flink on yarn模式下两种提交job方式