摘要:,企业大数据服务最佳选择对企业来说,只需五步,即可在分钟之内部署一套大数据服务来满足自身的各种需求,同时还可进行统一的数据管理,无论从成本还是效率来说,都是企业大数据服务最佳选择。
著名的 O"Reilly 公司断言:「数据是下一个 ‘Intel Inside’ ,未来属于利用数据并将其转换成产品的公司和人们。」
大数据隐含的巨大社会、经济价值已经引起了越来越多企业的关注,为了让用户获得更便捷、灵活、高效的大数据解决方案,减少海量数据分析、处理、查询的延迟,青云QingCloud 基于 SparkMR 推出新一代可提供计算、存储、分析、查询一站式全方位的大数据服务 QingMR 。
作为 SparkMR 的升级版本,QingMR 包含了 HDFS 分布式文件系统,Hadoop MapReduce 和 Spark 数据处理框架,YARN 集群资源调度系统和 Hive 数据仓库工具。同时,更近一步集成了极速海量数据 OLAP 引擎 Kyligence Analytics Platform (基于 Apache Kylin),实现海量数据极速分析及查询功能。
PS:当前支持的组件及版本如下:
Apache Hadoop 2.7.3
Apache Spark 2.2.0
Apache Hive 1.2.2
Kyligence Analytics Platform 2.5.6
QingMR 功能特点
灵活的计算模式选择
QingMR 在底层提供统一的 HDFS 作为数据存储引擎,在上层提供 Spark 及与 MapReduce 两种计算引擎,并提供 YARN 作为调度系统。用户可以轻松实现三种不同的计算模式,即 Spark Standalone、Spark on YARN 和 MapReduce on YARN 三者之间的切换。
极速海量数据查询
提供 PB 级数据集上的亚秒级查询能力。
与大数据及存储组件高可扩展性
QingMR 支持指定依赖服务的功能,即通过 AppCenter 2.0 框架内原生的应用感知机制,实现与其他大数据分析组件之间自动化的无缝集成。
QingMR 与 QingStor™ 对象存储平台也进行了预置集成,用户可以通过简单的配置即可开启对 QingStor™ 对象存储的支持,以应对海量大规模数据的存储问题。
定义调度器、代理用户等多租户功能的支持
QingMR 提供了 Spark 及 YARN 的自定义调度器的功能,开放了自定义 Hadoop 代理用户功能。
完善的服务级别监控
可视化展现整体服务的运行情况,提供监控告警、健康检查和服务自动恢复等功能。
强大的AI及数据科学开发环境
提供 Python 及 R 两种语言的运行环境,支持 Python 2 和 Python 3 互相切换。 预置了多个 Anaconda 发行版的数据科学包,为数据科学和机器学习/深度学习等 AI 开发场景。
QingMR 应用场景
流式数据处理
通过 QingMR Spark 计算引擎流数据处理能力,对企业实时数据流进行计算,满足对实效性要求较高计算,适用于实时监控、报警分析分等场景。
批量数据处理
通过 QingMR Hadoop MapReduce 提供强大的批量数据处理能力,帮助企业解决海量文件的分析处理问题,可用于日志分析等场景。
极速数据查询与分析
通过 QingMR 中集成的 Kyligence Analytics Platform,减少海量数据查询延迟,满足企业 OLAP 场景中极速分析查询的需求。
机器学习
基于 Spark 内存计算模型框架,利用 Mlib 提供的机器学习算法,实现个性化推荐、流失预测、精确营销、客户细分、客户研究、市场细分、价值评估等应用场景。
QingMR,企业大数据服务最佳选择
对企业来说,只需五步,即可在 3 分钟之内部署一套 QingMR 大数据服务来满足自身的各种需求,同时还可进行统一的数据管理,无论从成本还是效率来说,QingMR 都是企业大数据服务最佳选择。
未来,还会有更多基于 HDFS 的大数据应用被纳入到 QingMR 中,为用户提供功能更为强大、使用更加便捷的大数据服务。
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/8365.html
摘要:而用户能在同一平台上管理任何集群,轻松地充分利用的强大能力及其迅速壮大的生态系统。在本指南中,你将会了解如何快速上手。环境中的所有主机必须允许彼此间的流量能够进行跨主机联网。这一过程需要几分钟完成。如果服务正常,将会显示状态为绿色。 大家好,给大家介绍一下,这是帮助大家率先上手尝试Rancher 2.0的神器 @Rancher 2.0快速上手指南 内容导读 准备一台Linux主机 启...
摘要:而用户能在同一平台上管理任何集群,轻松地充分利用的强大能力及其迅速壮大的生态系统。在本指南中,你将会了解如何快速上手。环境中的所有主机必须允许彼此间的流量能够进行跨主机联网。这一过程需要几分钟完成。如果服务正常,将会显示状态为绿色。 大家好,给大家介绍一下,这是帮助大家率先上手尝试Rancher 2.0的神器 @Rancher 2.0快速上手指南 内容导读 准备一台Linux主机 启...
摘要:华为云服务成立于年,隶属于华为公司。京东云是京东集团旗下的云计算综合服务提供商,拥有全球领先的云计算技术和完整的服务平台。这些经过充分电商大促考验的技术服务,将会成为中国企业进行互联网转型的强劲动力。云计算 (cloud computing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。现阶段广为接受的是美国国家标准与技术研究院(NIS...
摘要:不过,云来了,以阿里云为代表的云服务商携云原生数据库发起了新一轮挑战。实际上,阿里云数据库技术也得到国际咨询机构的认可,在数据库魔力象限中,阿里云成为国内首个入选的科技公司。第三个是数据的安全隐私保护,这是阿里云数据库一直不敢放松的。数据库市场形成今天的格局已经很久了,商业数据库为王,这几乎没有变过。不过,云来了,以AWS、阿里云为代表的云服务商携云原生数据库发起了新一轮挑战。与以往历次的挑...
摘要:深圳已然成为全国范围内智能硬件的大本营基地。这必然会是一个双赢乃至多赢的典型案例,在百度飞桨的崛起过程中,国产深度学习框架成为全球领头羊重构当下深度学习的世界秩序也不是不可期待。 对广大消费者而言,AI已经不是一个陌生词汇,我们生活中能够接触到的消费产品,已经有相当一部分得到了AI的赋能。从...
阅读 1031·2021-09-04 16:40
阅读 3343·2021-07-28 00:13
阅读 2729·2019-08-30 11:19
阅读 2472·2019-08-29 12:29
阅读 3040·2019-08-29 12:24
阅读 1021·2019-08-26 13:28
阅读 2256·2019-08-26 12:01
阅读 3302·2019-08-26 11:35