资讯专栏INFORMATION COLUMN

基本操作 托管Hadoop集群 UHadoop

ernest.wang / 2516人阅读

摘要:监控数据查看监控数据查看用户可于产品界面右侧弹框中查看集群监控数据,也可进入监控视图中进行详细查看集群及各节点监控数据信息。

基本操作

本篇目录

集群管理服务管理告警与监控数据均衡Yarn Application跟踪

集群管理

1、进入集群管理页面

通过UHadoop集群列表页面进入集群管理页面:

2、获取当前节点配置信息

本例中,Master 节点数量 2,机型为 C1-large;Core 节点数量为 2,机型为 F1-large。

3、添加节点

点击添加节点后弹窗如下:

输入节点初始密码,点击确定,等待节点创建。

4、删除节点

选中需要下线的节点,先点击下线,待节点状态变为“不可用”时,点击删除。

如果节点长时间处于下线状态,可提工单处理。

5、集群登录

a) 通过控制台登录。如果节点机型是物理机,那么由于不同服务器厂商标准不同,暂不能通过控制台登录集群。

b) 绑定外网eip,本地可通过外网ssh连接登录。目前仅master节点支持绑定。Eip使用详情请见 EIP说明文档 本例中可通过”ssh root@106.75.135.10 -p22”进行登录。

c) 通过云主机(uhost)内网ssh进行登录。本例中可在云主机上通过”ssh root@10.13.186.23 -p22”进行登录。 登录密码为集群创建时设置的密码

6、节点密码重置

可在【节点管理】页面,对节点密码重置。

7、节点重启

目前节点的重启是通过【关机】【开机】实现的。

如有重启需求,请在【节点管理】页面中,先对节点【关机】,再对节点做【开机】。

服务管理

1、进入集群管理页面

通过右侧弹出框点击进入

2、应用开启

若创建时未选择部署该服务,可在控制台点击开启并选择所需版本。

3、服务关闭、重启

页面可进行相应服务关闭,以及服务重启

4、参数调整

4.1 点击参数配置可进行参数调整

4.2 在界面修改已有参数,修改后确认重启生效

4.3 新参数的配置添加

参数名称: 您需要添加的参数名称。

使用范围: 该参数所要应用的范围。目前支持cluster(整个集群)、master(所有master节点)、core(所有core节点)、task(所有task节点)。

文件: 参数应存在位置。

参数值: 您设置的参数值。

4.4 参数删除

一些非必要参数可在控制台进行删除操作。

5、配置队列

5.1 选择 应用-hadoop-队列配置 进行队列配置

5.2 选择 创建队列

5.3 输入队列名称,点击确定

5.4 修改队列配置

5.5 队列历史配置回退

若用户对队列配置进行修改后想要回退到历史配置,可使用此功能

更多关于队列配置内容可参考队列配置Apache官网介绍

告警与监控

1、告警模板设置

监控视图中修改相应集群和集群节点的告警模板。

也可到监控页面进行对应产品的告警设置与告警模板修改。

2、监控数据查看

用户可于产品界面右侧弹框中查看集群监控数据,也可进入监控视图中进行详细查看集群及各节点监控数据信息。

===== 外网访问配置 =====

绑定外网IP:

目前只支持对master节点配置外网IP,可以配置防火墙限制访问IP。

1.申请弹性IP

2.为Master节点绑定IP

3.设置防火墙策略

请参考:防火墙操作指南

4.为绑定外网IP的主机配置防火墙

数据均衡

选中数集群,在右侧的管理界面选中均衡数据按钮,均衡数据的过程会对集群的性能产生一定影响,持续时间根据集群内数据量,以及均衡程度而不同。

Yarn Application跟踪

控制台【Yarn Application跟踪】页面的信息来自集群中的 Yarn 服务。可查最近15天内提交的 Application 情况。

对于 MapReduce、Spark 类型 Application,可查子任务日志、以及 Application Master 日志详情。

暂不支持查看其他类型的 Application 详情。

Yarn Application 状态说明:

状态说明NEWApplication请求到ID和可用资源后,状态为NEWNEWSAVINGResourceManager接收到Application的详细资源请求后,状态为NEWSAVINGSUBMITTEDResourceManager存储Job信息后,状态为SUBMITTEDACCEPTEDResourceManager的Scheduler做资源、用户权限等验证,验证通过后,状态为ACCEPTEDRUNNING资源就绪,开始执行ApplicationFINISHEDJob如期执行完毕,状态为FINISHEDFAILED执行失败KILLED由用户终止了Job

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/126819.html

相关文章

  • 托管Hadoop集群 快速上手 UHadoop

    摘要:也可以将托管集群设置为快捷方式,通过左侧快捷方式菜单栏点击进入。框架集群中仅部署。用于做存储集群,有专属的节点机型。节点管理节点,负责协调整个集群服务。目前仅节点支持绑定。通过云主机内网进行登录。登录密码为集群创建时设置的密码。 快速上手本篇目录创建集群提交任务本文档将带领您如何创建UHadoop集群,并使用UHadoop集群完成数据处理任务。创建集群本章简单介绍了用户使用UHadoop服务...

    ernest.wang 评论0 收藏295
  • 常用操作 托管Hadoop集群 UHadoop

    摘要:查看上的历史日志查看上的历史日志任务的日志在任务运行结束之后会上传到上,当日志文件过大无法通过来查看时,可以通过将日志文件从上下载下来查看。挂载在允许的主机上执行 常用操作本篇目录应用的Web接口查看日志配置NFS挂载hdfs到本地应用的Web接口Hadoop 提供了基于 Web 的用户界面,可通过它查看您的 Hadoop 集群。Web 服务会在主节点上运行(Active NameNode或...

    ernest.wang 评论0 收藏1142
  • 元数据管理 托管Hadoop集群 UHadoop

    摘要:架构架构元数据管理元数据管理元数据管理创建集群时可在控制台开启元数据独立管理。若项目中已开启过元数据独立管理,则新集群开启该功能时,不再创建新的,而是将新集群的元数据存储于已有的中。 元数据管理本篇目录介绍产品架构元数据管理介绍UHadoop 支持将 Hive-Metastore 的数据库独立于 Hadoop 集群部署,也支持多个集群访问同一个 Hive 元数据库,可在控制台对其做管理。产品...

    ernest.wang 评论0 收藏2953
  • 配置openvpn 托管Hadoop集群 UHadoop

    摘要:设置,如果选择默认,可以直接回车设置,如果选择默认,可以直接回车创建的同时,也会给创建一个客户端文件,输入客户端文件名这里测试生成一个的文件一路回车下去,会生成文件客户端客户端客户端把部署时生成的客户端用户文件,拷贝到本地。 配置openvpn本篇目录1.服务端2.客户端3. 配置hosts按以下步骤,可以在绑定EIP的uhost安装openvpn,下面以centos7操作系统示例:1.服务...

    ernest.wang 评论0 收藏2154
  • 托管Hadoop集群-故障排查 UHadoop

    摘要:集群运行慢时,通常会在日志中可以查找到明显的异常,或者花费时间长的操作。检查集群节点的运行状态检查集群节点的运行状态管理群集上部署的各种服务。如果主节点遇到性能问题,整个群集都会受到影响。工作的不均衡分配可能会导致处理速度较慢。 故障排查本篇目录任务执行失败排查工具故障描述集群运行速度慢任务执行失败1.查看console输出日志查看任务执行时控制台输出的log,检查是否有ERROR2.查看任...

    ernest.wang 评论0 收藏2025

发表评论

0条评论

ernest.wang

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<