队列管理托管Hadoop集群 UHadoop

ernest.wang 发布于2022-07-12 17:32 / 1525人阅读

摘要：最多可以使用的资源量，会保证每个队列使用的资源量不会超过该队列的最多可使用资源量。可向队列中提交应用程序的用户或用户组列表，默认情况下为，表示任何用户均可以向该队列提交应用程序。该队列的管理员列表。

队列管理

本篇目录

Hadoop配置队列

用户可于控制台-服务管理进行队列配置，具体可参考基本操作。

由于Fair Scheduler比Capacity Scheduler 支持的功能丰富，这里只介绍前者。

修改/home/hadoop/conf/yarn-site.xml

增加配置：

    <property>
      <name>yarn.scheduler.fair.allocation.filename>
      <value>fair-scheduler.xmlvalue>
      <description>默认会从HADOOOP_CONF_DIR路径下寻找description>
    property>
    <property>
      <name>yarn.scheduler.fair.allow-undeclared-poolsname>
      <value>falsevalue>
      <description>禁止创建为未指定队列名的任务创建新的队列，未指定队列的任务会使用默认队列资源description>
    property>

配置队列配额

cat fair-scheduler.xml

    
    <allocations>
            <queue name="root">             
                    <queue name="testqueue">
                    <minResources>1024mb,1vcoresminResources>
                    <maxResources>2048mb,2vcoresmaxResources>
                    <maxRunningApps>100maxRunningApps>
                    <schedulingPolicy>fairschedulingPolicy>
                    <weight>3.0weight>
                    <aclSubmitApps>* aclSubmitApps>
                    queue>
            queue>
    allocations>

队列属性说明：

1.minResources ：最少资源保证量，设置格式为“X mb, Y vcores”，当一个队列的最少资源保证量未满足时，它将优先于其他同级队列获得资源，对于不同的调度策略（后面会详细介绍），最少资源保证量的含义不同，对于fair策略，则只考虑内存资源，即如果一个队列使用的内存资源超过了它的最少资源量，则认为它已得到了满足；对于drf策略，则考虑主资源使用的资源量，即如果一个队列的主资源量超过它的最少资源量，则认为它已得到了满足。

2.maxResources：最多可以使用的资源量，fair scheduler会保证每个队列使用的资源量不会超过该队列的最多可使用资源量。

3.maxRunningApps：最多同时运行的应用程序数目。通过限制该数目，可防止超量Map Task同时运行时产生的中间输出结果撑爆磁盘。

4.minSharePreemptionTimeout：最小共享量抢占时间。如果一个资源池在该时间内使用的资源量一直低于最小资源量，则开始抢占资源。

5.schedulingMode/schedulingPolicy：队列采用的调度模式，可以是fifo、fair或者drf。

6.aclSubmitApps：可向队列中提交应用程序的Linux用户或用户组列表，默认情况下为“*”，表示任何用户均可以向该队列提交应用程序。需要注意的是，该属性具有继承性，即子队列的列表会继承父队列的列表。配置该属性时，用户之间或用户组之间用“，”分割，用户和用户组之间用空格分割，比如“user1, user2 group1,group2”。

7.aclAdministerApps：该队列的管理员列表。一个队列的管理员可管理该队列中的资源和应用程序，比如可杀死任意应用程序。

8.weight主要用在资源共享之时，weight越大，拿到的资源越多。比如一个pool中有20GB内存用不了，这时候可以共享给其他pool，其他每个pool拿多少，就是由权重决定的。

9.maxAMShare： application masters使用的内存比例限制取值范围是[0.0f, 1.0f], 默认值是0.5f， -1.0f 表示不进行检查。

10.fairSharePreemptionTimeout：公平共享量抢占时间。如果一个资源池在该时间内使用资源量一直低于公平共享量的fairSharePreemptionThreshold * 公平共享量，则开始抢占资源。

11.fairSharePreemptionThreshold：配合上面参数使用的。

也可通过以下参数设置上面部分属性的默认值

    defaultFairSharePreemptionTimeout
    userMaxAppsDefault
    defaultMinSharePreemptionTimeout
    defaultFairSharePreemptionThreshold
    queueMaxAppsDefault
    queueMaxAMShareDefault
    defaultQueueSchedulingPolicy
    queuePlacementPolicy

用户属性：

maxRunningApps: 目前只能限制用户提交任务数量

应用队列配置

修改fair-scheduler.xml文件，后推送到master节点上。然后在master1上以hadoop用户执行

yarn rmadmin -refreshQueues

注解：这个命令只能增加fair-scheduler.xml中的配置，不能删除掉原有的配置队列，如果要删除原来的配置要重启ressourcemanager

更详细的内容请参考官网说明

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/127046.html

基本操作托管Hadoop集群 UHadoop

摘要：监控数据查看监控数据查看用户可于产品界面右侧弹框中查看集群监控数据，也可进入监控视图中进行详细查看集群及各节点监控数据信息。基本操作本篇目录集群管理服务管理告警与监控数据均衡Yarn Application跟踪集群管理1、进入集群管理页面通过UHadoop集群列表页面进入集群管理页面：2、获取当前节点配置信息本例中，Master 节点数量 2，机型为 C1-large；Core 节点数量为...

ernest.wang 2022-07-12 17:10 评论0 收藏2236
托管Hadoop集群快速上手 UHadoop

摘要：也可以将托管集群设置为快捷方式，通过左侧快捷方式菜单栏点击进入。框架集群中仅部署。用于做存储集群，有专属的节点机型。节点管理节点，负责协调整个集群服务。目前仅节点支持绑定。通过云主机内网进行登录。登录密码为集群创建时设置的密码。快速上手本篇目录创建集群提交任务本文档将带领您如何创建UHadoop集群，并使用UHadoop集群完成数据处理任务。创建集群本章简单介绍了用户使用UHadoop服务...

ernest.wang 2022-07-12 17:31 评论0 收藏295
常见任务ERROR 托管Hadoop集群 UHadoop

摘要：常见任务常见任务常见任务本篇目录原因单个任务所分配较低，或者任务数据量教导，导致任务解决方法端提交任务时，尝试增大任务参数端尝试增大任务参数降低任务并行度，修改，添加原因提交任常见任务ERROR本篇目录java.lang.OutOfMemoryError: Java heap spacejava.lang.ClassNotFoundExceptionUser root cannot sub...

ernest.wang 2022-07-12 17:45 评论0 收藏550
元数据管理托管Hadoop集群 UHadoop

摘要：架构架构元数据管理元数据管理元数据管理创建集群时可在控制台开启元数据独立管理。若项目中已开启过元数据独立管理，则新集群开启该功能时，不再创建新的，而是将新集群的元数据存储于已有的中。元数据管理本篇目录介绍产品架构元数据管理介绍UHadoop 支持将 Hive-Metastore 的数据库独立于 Hadoop 集群部署，也支持多个集群访问同一个 Hive 元数据库，可在控制台对其做管理。产品...

ernest.wang 2022-07-12 17:38 评论0 收藏2953
Hue开发指南托管Hadoop集群 UHadoop

摘要：创建任务创建任务选择这个标签拖动到中。页面权限控制页面权限控制页面权限控制点击管理用户组选择要修改的组名称，设置相应权限并保存 Hue开发指南本篇目录1. 配置工作流2. Hue页面权限控制Hue是面向 Hadoop 的开源用户界面，可以让您更轻松地运行和开发 Hive 查询、管理 HDFS 中的文件、运行和开发 Pig 脚本以及管理表。服务默认已经启动，用户只需要配置外网IP，在防火墙中配...

ernest.wang 2022-07-12 17:04 评论0 收藏1340