资讯专栏INFORMATION COLUMN

智能大数据平台 USDP服务配置文件管理

ernest.wang / 2295人阅读

摘要:原则举例当完成原则举例的场景后,此时,的三个节点的文件出现部分不一致情况,即的文件内容一致,而的与另外两个的文件内容不一致在这种情况下,再次同时在控制台中对的更改时,此时您会发现,出现了两个分组,即分配一组,独自属于另一组。

服务配置文件管理

本篇目录

在USDP控制台中更改服务配置文件逐一登陆服务分布式节点并更改其配置文件

在USDP中,无论USDP提供的那种集群组件服务,对于这些服务的配置文件修改,均可采用以下两种方式:

在USDP控制台中更改服务配置文件,这是我们强烈推荐方式逐一登陆服务分布式节点并更改其配置文件

通过本篇指南,您可以了解到:

在USDP控制台中更改服务配置文件配置文件默认分组配置文件分组手动调整服务组件重启提示逐一登陆服务分布式节点并更改其配置文件

下文以Zookeeper的配置文件修改为示例,介绍上述两种修改方式。

在USDP控制台中更改服务配置文件

为简化维护人员操作复杂度,USDP支持对同一服务的多个节点配置文件同时进行配置文件修改,亦可对该组件服务的单个节点配置文件进行修改,方法如下:

点击Zookeeper服务的标签页-按钮,选择需要修改配置文件的节点。如下图所示:

storage_zk_update

在选择节点对话框中勾选好节点后,点击按钮进入配置修改页面,如下图所示:

storage_zk_update1

USDP会将Zookeeper的所有配置文件内容加载到该页面的编辑框内,您可以翻阅查找需要修改的配置项后进行修改及参数调优。更改好配置文件后,即可点击“确定”按钮保存即可完成修改。

注意:以上图示例,一般情况下,Zookeeper对配置文件“Log4j.properties”内容要求在各个节点是一致的,因此,当您选择对Master1、Master2个节点的Log4j.properties文件进行配置修改并确定修改后,此次修改仅对Master1、Master2两个节点同时生效(因为Master1、Master2属于同一个“分组”),但Master3节点未勾选,则需要多带带再给Master3节点的Log4j.properties配置文件另行修改操作。

配置文件默认分组

USDP支持对同一服务的同一配置文件进行比对和自动分组,避免混乱,遵循以下分组原则:

原则1:该服务的多个节点上的同一配置文件内容一致,则默认分配到同一组;

原则2:该服务的多个节点上的同一配置文件内容部分不一致的,则按相同的分配一个组,不同的另行分组;

原则3:该服务的多个节点上的同一配置文件内容全部不一致的,则每个配置文件多带带分配一个组;

分组的意义,是对您在配置文件修改操作时能更好的结合您的调整计划,便于区分某些配置项作用域为局部,而非全局,哪些是全局,而非局部;而且,USDP的分组,是无状态的,即仅对本次配置文件修改时生效,USDP并不记录分组的状态;保存配置文件的修改时,USDP将根据配置文件所在分组,仅在同属该分组的节点上生效更改。

不好理解的话,还是以举例来辅助理解吧~

原则1举例:如本篇上文所述,同时对Zookeeper的Master1、Master2节点上的“Log4j.properties”配置文件做修改时,因修改前,这两个配置文件内容一致,因此在进入编辑配置文件页面时,这两个节点自动分配到同一个组(分组1)中(如上图);对该配置文件的任何修改,保存配置时会自动对该分组中的每个节点按更改后的内容保存。原则2举例:当完成原则1举例的场景后,此时,Zookeeper的三个节点的“Log4j.properties”文件出现部分不一致情况,即Master1、Master2的“Log4j.properties”文件内容一致,而Master3的与另外两个的“Log4j.properties”文件内容不一致;在这种情况下,再次同时在USDP控制台中对Master1、Master2、Master3的“Log4j.properties”更改时,此时您会发现,出现了两个分组,即Master1、Master2分配一组,Master3独自属于另一组。原则3举例:譬如Zookeeper的“myid”配置文件,Zookeeper要求各个节点上该配置文件的值均不同,因此,当您修改“myid”配置文件时,您会发现,每个节点均各自归属独立的一个分组。如下图所示:

storage_zk_update1_group2

storage_zk_update1_group3

配置文件分组手动调整

当集群节点较少是,对分布式服务的某一配置文件的修改,相对并不复杂;但当集群规模随业务的增长扩容,节点数增至几十、几百时,对部分服务的配置文件统一更改将带来很大不便利,虽然有很多方法,但均容易出错,即使写个脚本批量操作,也将在各种大小BUG中煎熬,而且灵活性不佳。因此,配置文件的默认分组及手动调整分组,成为了一个很灵活很高效好用的实用工具。

调整分组的方法如下:

将当前分组下的一个/多个节点,通过“创建新的分组”、“移至其他分组”的方式,调整原有的分组逻辑,如下图所示:

storage_zk_update1_group

图解:将“Log4j.properties”的四个节点的其中两个多带带的创建一个新分组。

此时,分组变为两个,且分组2中包含的节点即为上一步操作选择的两个节点,如下图所示:

storage_zk_update1_group1

storage_zk_update1_group1

服务组件重启提示

如下图所示,这里对YARN服务的“yarn-env.sh”进行修改(在文件末尾加了一行备注文字),保存更改后。

storage_zk_update1_group1

此时,左侧导航菜单处“YARN”服务后侧出现橙色叹号警示,提醒您执行服务重启生效。且YARN服务“组件管理”中亦有详细提示,如下图所示:

storage_zk_update1_group1

可根据您当前业务的重要性情况,在分析业务低峰期勾选提示项组件,执行滚动重启/批量重启。部分服务配置文件修改,与其关联性比较强的其他服务可能需要进行重启生效,其他的并非必须重启。

逐一登陆服务分布式节点并更改其配置文件

SSH登陆至服务所在节点,参考《各组件服务部署规则说明》- 组件服务配置文件目录 的描述,前往修改相应的配置文件。

譬如Zookeeper的“Log4j.properties”配置文件所在位置参考如下:

[root@usdp-********-master2 conf]# pwd/etc/udp/1.0.0.0/zookeeper/conf[root@usdp-********-master2 conf]# lsconfiguration.xsl  log4j.properties  zoo.cfg  zoo_sample.cfg[root@usdp-********-master2 conf]#

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/127236.html

相关文章

  • 智能数据平台-服务管理 USDP

    摘要:进入首页后,点击左上角全部产品,在数据分析类目中点击智能大数据平台,进入集群管理页面。 服务管理本篇目录在公有云端USDP集群查看服务管理在USDP控制台查看集群服务管理在智能大数据平台USDP中,为便于用户对集群及相关服务的管理,USDP提供较为友好的服务管理功能,譬如集群资源管理与服务管理的分离管理、大数据服务的基本监控信息查看、服务配置文件修改、服务的组件启停及管理、服务的Web UI...

    ernest.wang 评论0 收藏588
  • 本地直接访问云端USDP集群 智能数据平台 USDP

    摘要:本地直接访问云端集群本地直接访问云端集群本地直接访问云端集群配置方式概述配置方式概述该方式,是为的各个节点,单独绑定,结合云端防火墙策略对各节点实现访问限制和保护,并直接通过用户本地浏览器来访问管理控制台。 本地直接访问云端USDP集群配置方式概述:该方式,是为USDP的各个节点,单独绑定 EIP ,结合云端防火墙策略对USDP各节点实现访问限制和保护,并直接通过用户本地PC浏览器来访问US...

    ernest.wang 评论0 收藏781
  • 产品概述 智能数据平台 USDP

    摘要:产品概述产品概述本篇目录产品特点产品特点功能简介功能简介操作指南操作指南开发指南开发指南任务调度任务调度产品价格产品价格简称,是推出的云上智能化轻量级的大数据基础服务平台,能够帮您快速构建起大数据的分析处理能力。 产品概述本篇目录产品特点功能简介操作指南开发指南任务调度产品价格UCloud Smart Data Platform(简称 USDP),是 UCloud 推出的云上智能化、轻量级的...

    ernest.wang 评论0 收藏2529
  • 产品概述 智能数据平台 USDP

    摘要:产品概述产品概述产品概述本篇目录产品特点产品特点功能简介功能简介操作指南操作指南开发指南开发指南任务调度任务调度产品价格产品价格简称,是推出的云上智能化轻量级的大数据基础服务平台,能够帮您快速构建起大数据的分析处理能力。 产品概述本篇目录产品特点功能简介操作指南开发指南任务调度产品价格UCloud Smart Data Platform(简称 USDP),是 UCloud 推出的云上智能化、...

    ernest.wang 评论0 收藏1707
  • 产品概述 智能数据平台 USDP

    摘要:产品概述产品概述本篇目录产品特点产品特点功能简介功能简介操作指南操作指南开发指南开发指南任务调度任务调度产品价格产品价格简称,是推出的云上智能化轻量级的大数据基础服务平台,能够帮您快速构建起大数据的分析处理能力。 产品概述本篇目录产品特点功能简介操作指南开发指南任务调度产品价格UCloud Smart Data Platform(简称 USDP),是 UCloud 推出的云上智能化、轻量级的...

    ernest.wang 评论0 收藏2067
  • 产品概述 智能数据平台 USDP

    摘要:产品概述产品概述产品概述本篇目录产品特点产品特点功能简介功能简介操作指南操作指南开发指南开发指南任务调度任务调度产品价格产品价格简称,是推出的云上智能化轻量级的大数据基础服务平台,能够帮您快速构建起大数据的分析处理能力。 产品概述本篇目录产品特点功能简介操作指南开发指南任务调度产品价格UCloud Smart Data Platform(简称 USDP),是 UCloud 推出的云上智能化、...

    ernest.wang 评论0 收藏441

发表评论

0条评论

ernest.wang

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<