资讯专栏INFORMATION COLUMN

元数据管理 托管Hadoop集群 UHadoop

ernest.wang / 3402人阅读

摘要:架构架构元数据管理元数据管理元数据管理创建集群时可在控制台开启元数据独立管理。若项目中已开启过元数据独立管理,则新集群开启该功能时,不再创建新的,而是将新集群的元数据存储于已有的中。

元数据管理

本篇目录

介绍产品架构元数据管理

介绍

UHadoop 支持将 Hive-Metastore 的数据库独立于 Hadoop 集群部署,也支持多个集群访问同一个 Hive 元数据库,可在控制台对其做管理。

产品架构

Hive 元数据存储于 UCloud UDB MySQL 中。

元数据管理

创建集群时可在控制台开启元数据独立管理。

同一项目下,所有集群的 Hive 元数据均存储在同一数据库中。

若首次开启该功能,则 UHadoop 会为用户创建一个新的 UCloud UDB MySQL 。

若项目中已开启过元数据独立管理,则新集群开启该功能时,不再创建新的 UDB,而是将新集群的 Hive 元数据存储于已有的 UDB 中。

设置完成后,可在【元数据管理】页面查看数据库状态,UDB 名称固定为【uhadoop-metastore】。

数据库的监控信息可以在 UDB 控制台查看。为了保证 UHadoop 集群中任务的正常执行,请谨慎对此 UDB 做操作。

若集群开启了【元数据独立管理】,可在集群详情中查看到关联的 UDB MySQL 资源ID。

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/127120.html

相关文章

  • 托管Hadoop集群多少钱UHadoop

    摘要:产品价格产品价格产品价格托管集群价格根据节点类型及配置不同,北京上海广州香港可用区详细价格如下,其他可用区价格请咨询技术支持。 产品价格托管 Hadoop 集群价格根据节点类型及配置不同 ,北京、上海、广州、香港可用区详细价格如下,其他可用区价格请咨询技术支持。 节点类型机型名称CPU内存(G)硬盘(G)华北一E价格(元/月)国内其他可用区价格(元/月)Master&​Task​计算优化实例...

    ernest.wang 评论0 收藏3047
  • 托管Hadoop集群 快速上手 UHadoop

    摘要:也可以将托管集群设置为快捷方式,通过左侧快捷方式菜单栏点击进入。框架集群中仅部署。用于做存储集群,有专属的节点机型。节点管理节点,负责协调整个集群服务。目前仅节点支持绑定。通过云主机内网进行登录。登录密码为集群创建时设置的密码。 快速上手本篇目录创建集群提交任务本文档将带领您如何创建UHadoop集群,并使用UHadoop集群完成数据处理任务。创建集群本章简单介绍了用户使用UHadoop服务...

    ernest.wang 评论0 收藏295
  • 常用操作 托管Hadoop集群 UHadoop

    摘要:查看上的历史日志查看上的历史日志任务的日志在任务运行结束之后会上传到上,当日志文件过大无法通过来查看时,可以通过将日志文件从上下载下来查看。挂载在允许的主机上执行 常用操作本篇目录应用的Web接口查看日志配置NFS挂载hdfs到本地应用的Web接口Hadoop 提供了基于 Web 的用户界面,可通过它查看您的 Hadoop 集群。Web 服务会在主节点上运行(Active NameNode或...

    ernest.wang 评论0 收藏1142
  • Hue开发指南 托管Hadoop集群 UHadoop

    摘要:创建任务创建任务选择这个标签拖动到中。页面权限控制页面权限控制页面权限控制点击管理用户组选择要修改的组名称,设置相应权限并保存 Hue开发指南本篇目录1. 配置工作流2. Hue页面权限控制Hue是面向 Hadoop 的开源用户界面,可以让您更轻松地运行和开发 Hive 查询、管理 HDFS 中的文件、运行和开发 Pig 脚本以及管理表。服务默认已经启动,用户只需要配置外网IP,在防火墙中配...

    ernest.wang 评论0 收藏1340
  • 托管Hadoop集群-故障排查 UHadoop

    摘要:集群运行慢时,通常会在日志中可以查找到明显的异常,或者花费时间长的操作。检查集群节点的运行状态检查集群节点的运行状态管理群集上部署的各种服务。如果主节点遇到性能问题,整个群集都会受到影响。工作的不均衡分配可能会导致处理速度较慢。 故障排查本篇目录任务执行失败排查工具故障描述集群运行速度慢任务执行失败1.查看console输出日志查看任务执行时控制台输出的log,检查是否有ERROR2.查看任...

    ernest.wang 评论0 收藏2025

发表评论

0条评论

ernest.wang

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<