UCloud Smart Data Platform(简称 USDP),是 UCloud 推出的智能化、轻量级、适用于私有化部署至客户本地的大数据基础服务平台,通过自研的 USDP Manager 管理工具,支持用户创建大数据集群,在集群中部署 Hadoop、Hive、HBase、Spark、Flink、Presto、Atlas、Ranger 等众多开源大数据组件,并对这些组件进行配置管理、监控告警、故障诊断等智能化的运维管理,从而帮助您快速构建起大数据的分析处理能力。
基于开放式的管理架构,USDP 集成了 30 余款开源的大数据组件,涵盖数据集成、数据存储、计算引擎、任务调度、权限管理等大数据处理的各个环节。用户可以根据自身业务特点和需求,从中选择相应的组件来搭建自己的大数据处理平台。
USDP 中所包含的大数据服务、组件,均遵守 Apache 2.0 开源协议,由于本身紧跟开源社区的步伐,用户可以随时进行自主替换、自主建设、自主数据迁移、集群迁移等,因此无需担心大数据业务与闭源服务绑定。
为了能让用户体验到极简的大数据部署运维、管理方案,USDP提供了丰富详细的部署、操作文档,并且用户无需担心安装时准备众多内容,初始化环境只需要简单几步,即可自动完成配置。
USDP 预置了丰富的监控指标,主要包括:JMX 全量指标、HTTP 常用指标、自定义指标,通过预置的监控模板,用户可以查看各类服务组件详细的监控指标,也可以自定义添加所需的监控指标。
USDP提供预置的告警模板,只需进行简单配置,即可实现向不同目标(微信、钉钉、邮件、接口调用等)发送集群异常告警。用户还可以对默认告警模板进行修改,或根据需要添加新的告警规则。
全面信创适配,完成与国产主流硬件厂商的芯片适配,完成从国产主流服务器操作系统到大数据生态组件的兼容适配。
支持USDP纯软件部署交付模式;支持USDP超融合一体机的软硬一体化交付模式。
UCloud大数据团队积淀了多年公有云大数据运维和业务调优经验,通过持续更新的知识库,可以为用户提供专家级的技术支持,解决大数据平台使用和维护的后顾之忧。
目前国内常用的数仓模型为维度数仓,即按照事实表、维度表来构建数据仓库、数据集市。通过 USDP 管理平台,用户可以部署构建维度数仓所需的各项服务,帮助企业快速构建数据中台。
目前国内常用的数仓模型为维度数仓,即按照事实表、维度表来构建数据仓库、数据集市。通过 USDP 管理平台,用户可以部署构建维度数仓所需的各项服务,帮助企业快速构建数据中台。
机器学习通过算法对大量数据进行分析,挖掘出其中蕴含的规律,并用于事物预测或者分类,有大量的计算需求。通过 USDP 支持的Spark、Flink 等分布式运算框架,可以高效的进行机器学习应用开发。
机器学习通过算法对大量数据进行分析,挖掘出其中蕴含的规律,并用于事物预测或者分类,有大量的计算需求。通过 USDP 支持的Spark、Flink 等分布式运算框架,可以高效的进行机器学习应用开发。
从海量数据中快速检索到所需信息,一直是数据应用的重要领域,USDP 平台集成了分布式搜索和分析引擎 Elasticsearch,能够提供高效的全文检索能力,可用于构建企业级搜索引擎、日志管理系统等。
从海量数据中快速检索到所需信息,一直是数据应用的重要领域,USDP 平台集成了分布式搜索和分析引擎 Elasticsearch,能够提供高效的全文检索能力,可用于构建企业级搜索引擎、日志管理系统等。
服务组件 | 私有化社区版 | 私有化专业版 | 组件说明 |
---|---|---|---|
FLINK |
|
|
分布式计算引擎 |
FLUME |
|
|
数据采集与转储服务 |
HIVE |
|
|
常用的 HQL 数仓工具 |
LIVY |
|
|
Spark 的 REST 服务 |
PHOENIX |
|
|
HBase SQL 化查询分析工具 |
SPARK |
|
|
分布式计算引擎 |
SQOOP |
|
|
数据采集与转储服务 |
TEZ |
|
|
优化 MapReduce 任务的 DAG |
YARN |
|
|
分布式资源调度服务 |
ELASTICSEARCH |
|
|
分布式全文检索数据库 |
HBASE |
|
|
分布式非关系型数据库 |
HDFS |
|
|
分布式存储服务 |
KAFKA |
|
|
超高吞吐的分布式消息队列 |
ZOOKEEPER |
|
|
分布式注册中心服务 |
HUE |
|
|
可视化管理服务 |
KAFKAEAGLE |
|
|
Kafka 可视化管理服务 |
KIBANA |
|
|
为 ElasticSearch 提供 Web 页面分析入口 |
ZEPPELIN |
|
|
可视化管理服务 |
ZKUI |
|
|
Zookeeper 可视化管理服务 |
DOLPHINSCHEDULER |
|
|
任务调度服务 |
AIRFLOW |
|
|
任务调度服务 |
OOZIE |
|
|
任务调度服务 |
RANGER |
|
|
授权服务 |
DATAX |
|
数据采集与转储服务 | |
IMPALA |
|
分布式计算服务 | |
KYLIN |
|
数仓维度建模服务 | |
PRESTO |
|
分布式计算服务 | |
TRINO |
|
分布式计算服务 | |
HUDI |
|
数据湖服务 | |
NEO4J |
|
高性能的NOSQL图形数据库 | |
ATLAS |
|
元数据管理服务 | |
KERBEROS |
|
严格身份验证服务 | |
LDAP |
|
统一用户认证 | |
ALERTMANAGER |
|
|
发送监控告警信息 |
GRAFANA |
|
|
展示监控数据 |
INFLUXDB |
|
|
存储监控数据 |
NODEEXPORTER |
|
|
读取节点资源监控指标 |
PROMETHEUS |
|
|
拉取监控数据 |