产品介绍

    智能大数据平台 USDP

    UCloud Smart Data Platform(简称 USDP),是 UCloud 推出的智能化、轻量级、适用于私有化部署至客户本地的大数据基础服务平台,通过自研的 USDP Manager 管理工具,支持用户创建大数据集群,在集群中部署 Hadoop、Hive、HBase、Spark、Flink、Presto、Atlas、Ranger 等众多开源大数据组件,并对这些组件进行配置管理、监控告警、故障诊断等智能化的运维管理,从而帮助您快速构建起大数据的分析处理能力。

产品优势

  • 全面兼容开源生态

    基于开放式的管理架构,USDP 集成了 30 余款开源的大数据组件,涵盖数据集成、数据存储、计算引擎、任务调度、权限管理等大数据处理的各个环节。用户可以根据自身业务特点和需求,从中选择相应的组件来搭建自己的大数据处理平台。

  • 无需担心业务绑定

    USDP 中所包含的大数据服务、组件,均遵守 Apache 2.0 开源协议,由于本身紧跟开源社区的步伐,用户可以随时进行自主替换、自主建设、自主数据迁移、集群迁移等,因此无需担心大数据业务与闭源服务绑定。

  • 傻瓜式部署方式

    为了能让用户体验到极简的大数据部署运维、管理方案,USDP提供了丰富详细的部署、操作文档,并且用户无需担心安装时准备众多内容,初始化环境只需要简单几步,即可自动完成配置。

  • 全面丰富的监控指标

    USDP 预置了丰富的监控指标,主要包括:JMX 全量指标、HTTP 常用指标、自定义指标,通过预置的监控模板,用户可以查看各类服务组件详细的监控指标,也可以自定义添加所需的监控指标。

  • 灵活便捷的告警服务

    USDP提供预置的告警模板,只需进行简单配置,即可实现向不同目标(微信、钉钉、邮件、接口调用等)发送集群异常告警。用户还可以对默认告警模板进行修改,或根据需要添加新的告警规则。

  • 信创支持

    全面信创适配,完成与国产主流硬件厂商的芯片适配,完成从国产主流服务器操作系统到大数据生态组件的兼容适配。

  • 灵活的交付模式

    支持USDP纯软件部署交付模式;支持USDP超融合一体机的软硬一体化交付模式。

  • 专业的技术支持

    UCloud大数据团队积淀了多年公有云大数据运维和业务调优经验,通过持续更新的知识库,可以为用户提供专家级的技术支持,解决大数据平台使用和维护的后顾之忧。

应用场景

  • 数据仓库

    目前国内常用的数仓模型为维度数仓,即按照事实表、维度表来构建数据仓库、数据集市。通过 USDP 管理平台,用户可以部署构建维度数仓所需的各项服务,帮助企业快速构建数据中台。

  • 数据仓库

    目前国内常用的数仓模型为维度数仓,即按照事实表、维度表来构建数据仓库、数据集市。通过 USDP 管理平台,用户可以部署构建维度数仓所需的各项服务,帮助企业快速构建数据中台。

  • 机器学习

    机器学习通过算法对大量数据进行分析,挖掘出其中蕴含的规律,并用于事物预测或者分类,有大量的计算需求。通过 USDP 支持的Spark、Flink 等分布式运算框架,可以高效的进行机器学习应用开发。

  • 机器学习

    机器学习通过算法对大量数据进行分析,挖掘出其中蕴含的规律,并用于事物预测或者分类,有大量的计算需求。通过 USDP 支持的Spark、Flink 等分布式运算框架,可以高效的进行机器学习应用开发。

  • 信息检索

    从海量数据中快速检索到所需信息,一直是数据应用的重要领域,USDP 平台集成了分布式搜索和分析引擎 Elasticsearch,能够提供高效的全文检索能力,可用于构建企业级搜索引擎、日志管理系统等。

  • 信息检索

    从海量数据中快速检索到所需信息,一直是数据应用的重要领域,USDP 平台集成了分布式搜索和分析引擎 Elasticsearch,能够提供高效的全文检索能力,可用于构建企业级搜索引擎、日志管理系统等。

组件清单

服务组件 私有化社区版 私有化专业版 组件说明
FLINK
 
 
分布式计算引擎
FLUME
 
 
数据采集与转储服务
HIVE
 
 
常用的 HQL 数仓工具
LIVY
 
 
Spark 的 REST 服务
PHOENIX
 
 
HBase SQL 化查询分析工具
SPARK
 
 
分布式计算引擎
SQOOP
 
 
数据采集与转储服务
TEZ
 
 
优化 MapReduce 任务的 DAG
YARN
 
 
分布式资源调度服务
ELASTICSEARCH
 
 
分布式全文检索数据库
HBASE
 
 
分布式非关系型数据库
HDFS
 
 
分布式存储服务
KAFKA
 
 
超高吞吐的分布式消息队列
ZOOKEEPER
 
 
分布式注册中心服务
HUE
 
 
可视化管理服务
KAFKAEAGLE
 
 
Kafka 可视化管理服务
KIBANA
 
 
为 ElasticSearch 提供 Web 页面分析入口
ZEPPELIN
 
 
可视化管理服务
ZKUI
 
 
Zookeeper 可视化管理服务
DOLPHINSCHEDULER
 
 
任务调度服务
AIRFLOW
 
 
任务调度服务
OOZIE
 
 
任务调度服务
RANGER
 
 
授权服务
DATAX  
 
数据采集与转储服务
IMPALA  
 
分布式计算服务
KYLIN  
 
数仓维度建模服务
PRESTO  
 
分布式计算服务
TRINO  
 
分布式计算服务
HUDI  
 
数据湖服务
NEO4J  
 
高性能的NOSQL图形数据库
ATLAS  
 
元数据管理服务
KERBEROS  
 
严格身份验证服务
LDAP  
 
统一用户认证
ALERTMANAGER
 
 
发送监控告警信息
GRAFANA
 
 
展示监控数据
INFLUXDB
 
 
存储监控数据
NODEEXPORTER
 
 
读取节点资源监控指标
PROMETHEUS
 
 
拉取监控数据

相关文档