Spark 三种提交模式:Standalone | yarn-client | yarn-cluster
一.Standalone 模式基于spark自己的 Master-Worker 集群。
就是之前的 spark-submit 提交的方式这里不再详细叙述。如果不清楚可以看这篇文章 如果要切换成第二种,第三种模式。将之前的submit脚本添加上--master 参数 设置为yarn-cluster 或yarn-client 即可。如果没有设置就是Standalone 模式。
二.基于YARN的yarn-cluster 模式
1.当我们使用spark submit 提交到yarn-cluster .此时发送请求到 ResourceManager 。 请求启动applicationMaster。applicationMaster启动后会向ResourceManager 请求container,ResourceManager接受到这个请求后会分配一个container.
2.然后在某个NodeManager上启动ApplicationMaster.ApplicationMaster(相当于driver)启动后会去和ResourceManager进行通信请求container 。
3.此时ResourceManager 会给 ApplicationMaster 分配一定量的 container 去启动executer.然后ApplicationMaster去连接其他的NodeManager。来启动executer。然后executer 启动后向ApplicationMaster反向注册。
三.基于YARN的yarn-client 模式
1.当我们使用spark submit 提交到yarn-client .本地会启动一个driver进程同时发送请求到 ResourceManager 。 请求启动ExecutorLanucher。ExecutorLanucher启动后会向ResourceManager请求 container,ResourceManager接受到这个请求后会分配一个container.
2.然后在某个NodeManager上启动ExecutorLanucher(其实类似与上文中的ApplicationMaster,但是功能有限,不同点在1,3) .ExecutorLanucher启动后会去和ResourceManager进行通信请求container 。
3.此时ResourceManager 会给 ApplicationMaster 分配一定量的 container 去启动executer.然后ExecutorLanucher去连接其他的NodeManager。来启动executer。但是executer 启动后向spark 本地的driver进程反向注册。
总结:yarn-client 用于调试 driver 启动在本地。本地可以看到log 方便调试。
而且本地调度会产生大量的网卡流量。
yarn-cluster 一般用于生产。但是调试不方便。
使用yarn 需要在spark-env.sh 中添加Hadoop home