资讯专栏INFORMATION COLUMN

集群创建 智能大数据平台 USDP

ernest.wang / 3566人阅读

摘要:点击创建集群按钮开始创建集群资源点击创建集群按钮开始创建集群资源创建集群创建集群设置地域和可用区信息设置地域和可用区信息请根据您的需要,在创建集群向导中设置新集群所归属的地域及可用区信息。

集群创建

本篇目录

开始创建集群资源开始部署集群服务和组件

智能大数据平台USDP集群的创建过程,分为两个部分,即在公有云控制台中,创建USDP的集群资源,待创建完成后,进入您独享的USDP管理服务开始规划并创建大数据集群。

通过本篇指南,您可以了解到:

开始创建集群资源开始部署集群服务和组件

参考本篇指南,开始创建并部署您的第一个USDP集群吧。

开始创建集群资源

登陆UCloud云控制台

1 进入产品页面

进入公有云控制台首页后,点击左上角“全部产品”,在“数据分析”类目中点击“智能大数据平台USDP”,进入USDP集群管理页面。

ucloud_console_usdp

2 点击 创建集群 按钮开始创建USDP集群资源

3 设置地域和可用区信息

请根据您的需要,在创建集群向导中设置新集群所归属的地域及可用区信息。

4 集群和软件设置

在此模块需要您设置并完善新集群所属VPC和子网信息、集群名称填写、框架及版本信息。

集群名称也是高可用NameNode的Namespace名称,需要字母和数字的组合,首位必须是字母

5 节点设置

Master节点

管理节点,主要适合用于部署zookeeper、Journalnode、NameNode、Resourcemanager、Hmaster、Hive等管理服务,可视化组件如Hue、oozie也建议部署在Master节点上。

core节点

核心节点,适合用于存储数据(HDFS)与运行任务。建议部署datanode、nodemanager、regionserver等服务。

Task节点

适合用于补充计算资源,建议只部署Nodemanager

Monitor节点

适合用于部署AlterManager、Grafana、InfluxDB、NodeExporter、Prometheus、USDPMonitor等监控服务

6 访问设置

在此处填写该集群资源的所有节点root用户统一的密码。

7 等待集群部署

根据集群节点资源规模不同,可能需要的部署时间会有所差异,一般情况下,创建大约会在30分钟左右完成。如下图所示,状态为正在部署中。

当状态处于“运行”状态的时,即可点击 访问USDP 按钮,进入USDP管理页面进行集群服务规划及部署操作。

开始部署集群服务和组件

使用USDP管理控制台部署服务

在已创建的USDP集群条目右侧,点击 访问USDP 按钮,进入USDP自有管理控制台。

node_ucloud_usdp_console_entrance

1 进入登录页面登录到USDP管理控制台

第一次登录需要设置admin用户名的登录密码。如下所示:

2 添加服务和组件

在右上角“当前集群”右侧点击集群名称,点击选择"添加服务或组件",开始部署集群服务。

3 选择服务

USDP支持大数据生态服务较多,在集群安装时,用户根据业务需要,灵活选择所需安装的组件。

您可以在“服务组合方案”出从推荐方案ABC中进行选择,或“自定义”您需要的服务,其中“监控”服务是默认必须选择的,您无法取消。如下图所示:

4 选择组件安装

大数据生态各服务,均由不同的组件构成,安装集群时,用户可根据业务需求规划,将不同的服务及组件分别都安装到集群的那些节点上。

若用户选择安装的服务较多或如上图中用户选择推荐方案A(全量部署方案),由于组件选项非常多,建议采用“智能推荐”的方式进行选择,或者在“智能推荐”的基础上进行修改。如下图所示:

以下,USDP建议,请您参考: NameNode建议安装在usdp-xxx-masster的节点上,否则NameNode出现异常时,主从切换会失败。节点名称为usdp-xxx-masster的节点,建议用于部署zookeeper、Journalnode、NameNode、Resourcemanager、Hmaster、Hive等服务和组件的master节点,可视化和调度组件如Hue、oozie、kibana、zkui也建议部署在Master节点上。节点名称usdp-xxx-core核心节点,建议用于存储数据(HDFS)与运行任务。建议部署datanode、nodemanager、regionserver、presto work、impala。节点名称usdp-xxx-task的节点,建议用于部署计算资源,建议用来部署Nodemanager、Client。节点名称usdp-xxx-monitor的节点,建议用于部署AlterManager、Grafana、InfluxDB、NodeExporter、Prometheus、USDPMonitor等监控服务。

您也可根据您的需要,进行灵活规划并实时部署。

5 服务配置

USDP默认将自身管理元信息、集群中大数据服务的相关元信息,统一配置至Master1节点的MySQL数据库中,默认开启“元信息数据库统一配置”、默认填充该MySQL的相关连接信息,点击 测试连接 按钮即可测试是否正常,如下图所示:

元信息数据库配置涉及的服务有:HIVE、HUE、OOZIE、RANGER、UDS等五个服务。 MySQL版本:5.7.30

在此,请填写其他相关服务的配置信息,其中“ELASTICSEARCH”、“HDFS”、“KAFKA”、“KUDU”等相关数据存储目录信息。如下图所示:

“UDS”邮件服务器配置信息,可默认不填,并在集群安装完成后进入USDP控制台后,即可进入向导“下一步”。

元信息数据库独立配置

若用户计划将“HIVE”、“HUE”、“OOZIE”、“RANGER”、“UDS”等服务的元信息数据库独立管理,此时,可点击取消 “元信息数据库统一配置” 右侧的滑块,同时,下方页面即会显示这些服务所需的数据库连接填写的表单,按要求填写,并分别点击下方的 测试连接 按钮,按钮变为绿色,即为测试连接成功。此后,即可进入向导下一步中。如下图所示:

6 部署信息总览

至此,为您总览以上向导步骤中完成的所有选择及配置信息汇总展示,请确认无误后点击“开始部署”按钮开始集群的服务组件部署工作。如下图所示:

7 安装并启动服务

当服务安装发生错误时,您可以点击查看报错节点“失败”详情,参考详情提示信息,进行手动修复错误操作,之后点击“全部重试”按钮,重新进行服务组件部署工作。

部署过程中,各个节点正在进行的部署进展,均可通过进度条实时展示,可点击 “详情” 栏中的各个链接,查看当前进展详情,如下图所示:

点击对话框 - “安装任务栏” 的各个链接,几个查看其单个安装任务的执行日志,这将在安装过程中出错时变得很有用。如下图所示:

当安装过程中出现任务失败的情况,USDP会在左上角显示 全部重试 按钮,可点击重试安装。

待所有节点正常安装成功后,即可点击 完成 按钮,退出集群服务安装向导。此时新集群服务已安装完成。

其他更多操作,请参考本文档 “操作指南” 和 “开发指南” 相关章节文档内容。

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/126931.html

相关文章

  • 智能数据平台-服务管理 USDP

    摘要:进入首页后,点击左上角全部产品,在数据分析类目中点击智能大数据平台,进入集群管理页面。 服务管理本篇目录在公有云端USDP集群查看服务管理在USDP控制台查看集群服务管理在智能大数据平台USDP中,为便于用户对集群及相关服务的管理,USDP提供较为友好的服务管理功能,譬如集群资源管理与服务管理的分离管理、大数据服务的基本监控信息查看、服务配置文件修改、服务的组件启停及管理、服务的Web UI...

    ernest.wang 评论0 收藏588
  • 节点管理 智能数据平台 USDP

    摘要:进入首页后,点击左上角全部产品,在数据分析类目中点击智能大数据平台,进入集群管理页面。控制台集群节点管理详情关于大数据集群中各个节点管理功能配置修改等操作,均可参考此处完成。 节点管理本篇目录在公有云端USDP集群资源节点管理在USDP控制台查看集群节点管理在智能大数据平台USDP中,在云端实现了两层管理能力,即公有云端的集群资源管理控制,和USDP自身控制台的管理控制。为便于用户对集群资源...

    ernest.wang 评论0 收藏2014
  • 产品概述 智能数据平台 USDP

    摘要:产品概述产品概述本篇目录产品特点产品特点功能简介功能简介操作指南操作指南开发指南开发指南任务调度任务调度产品价格产品价格简称,是推出的云上智能化轻量级的大数据基础服务平台,能够帮您快速构建起大数据的分析处理能力。 产品概述本篇目录产品特点功能简介操作指南开发指南任务调度产品价格UCloud Smart Data Platform(简称 USDP),是 UCloud 推出的云上智能化、轻量级的...

    ernest.wang 评论0 收藏2529
  • 产品概述 智能数据平台 USDP

    摘要:产品概述产品概述产品概述本篇目录产品特点产品特点功能简介功能简介操作指南操作指南开发指南开发指南任务调度任务调度产品价格产品价格简称,是推出的云上智能化轻量级的大数据基础服务平台,能够帮您快速构建起大数据的分析处理能力。 产品概述本篇目录产品特点功能简介操作指南开发指南任务调度产品价格UCloud Smart Data Platform(简称 USDP),是 UCloud 推出的云上智能化、...

    ernest.wang 评论0 收藏1707
  • 产品概述 智能数据平台 USDP

    摘要:产品概述产品概述本篇目录产品特点产品特点功能简介功能简介操作指南操作指南开发指南开发指南任务调度任务调度产品价格产品价格简称,是推出的云上智能化轻量级的大数据基础服务平台,能够帮您快速构建起大数据的分析处理能力。 产品概述本篇目录产品特点功能简介操作指南开发指南任务调度产品价格UCloud Smart Data Platform(简称 USDP),是 UCloud 推出的云上智能化、轻量级的...

    ernest.wang 评论0 收藏2067

发表评论

1条评论

sunxiaoyong0307

评论于2022-09-14 16:11

节点组件多次安装重试仍失败
回复0 赞同0 删除

ernest.wang

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<