本篇目录：
Hadoop生态圈中的调度组件-YARN
YARN：Hadoop集群中的同一资源调度系统。Hadoop0后引入，主要功能有：负责集群中资源的统一调度，响应客户端的请求。
Hadoop三大核心组件分别是HDFS、MapReduce和YARN。HDFS是Hadoop生态系统中的分布式文件系统，用于存储大规模数据集。HDFS将数据分布在多个节点上，支持数据冗余备份，确保数据的可靠性和高可用性。
yarn作为新生控件，主要管理hadoop各个模块运行过程中的任务调度，目前主要有公平调度与容量调度两种模型。如果需要其他组件，需要单独下载安装。
编写 Yarn 应用程序的客户端代码，该代码通常由一个提交 Yarn 应用程序的命令和一些相关的配置参数组成。 在客户端代码中，需要定义 Yarn 应用程序所需要的资源（如 CPU、内存、磁盘等）以及执行的任务数等。
Yarn资源调度器
1、Yarn 和 MR 的关系：Yarn 提供了一个资源管理器和调度器，可以将多个 MR 任务分配到不同的计算节点上执行，从而实现了分布式计算的功能。
2、ResourceManager(RM)： 负责对各NM上的资源进行统一管理和调度。将AM分配空闲的Container运行并监控其运行状态。对AM申请的资源请求分配相应的空闲Container。主要由两个组件构成：调度器和应用程序管理器。
3、YARN 调度器的工作就是根据既定策略为应用能够分配资源。
yarn三种调度器(资源调度策略或机制)
但是通过不断的探索 Yarn 的调度策略与可配置方案也可以逐渐接近目标。
在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个 难题，很难找到一个完美的策略可以解决所有的应用场景。为此Yarn提供了多种调度器 和可配置的策略供我们选择。
调度器的选择在Yarn中有三种调度器可以选择：FIFO Scheduler，Capacity Scheduler，FairS cheduler。
在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器负责资源的分配，而NodeManager则负责资源的供给和隔离。
YARN：Hadoop集群中的同一资源调度系统。Hadoop0后引入，主要功能有：负责集群中资源的统一调度，响应客户端的请求。
上节课我们讲了 MR job的提交YARN的工作流程 与 YARN的架构，本次课程详细讲讲YARN，多多总结。
到此，以上就是小编对于yarn资源调度流程的问题就介绍到这了，希望介绍的几点解答对大家有用，有任何问题和不懂的，欢迎各位老师在评论区讨论，给我留言。
微信扫一扫打赏
