管理Hadoop集群的5大工具

developerworks 发布于2019-04-25 17:06 / 3266人阅读

摘要：是对进行监控管理和生命周期管理的开源项目。是集群管理器，可以让用户在同一时间同意集群上运行多个任务或其他高性能应用。是一款的商业流通集群管理软件，该公司已加强支持。是端到端的管理产品，支持多个的分布。

当你利用Hadoop进行大数据分析和处理时，首先你需要确保配置、部署和管理集群。这个即不容易也没有什么乐趣，但却受到了开发者们的钟爱。本文提供了5款工具帮助你实现。

Apache Ambari

Apache Ambari是对Hadoop进行监控、管理和生命周期管理的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。Ambari向Hadoop MapReduce、HDFS、 HBase、Pig, Hive、HCatalog以及Zookeeper提供服务。

Apache Mesos

Apache Mesos是集群管理器，可以让用户在同一时间同意集群上运行多个Hadoop任务或其他高性能应用。Twitter的开放源代码经理Chris Aniszczyk表示，Mesos可以在数以百计的设备上运行，并使其更容易执行工作。

Platform MapReduce

Platform MapReduce提供了企业级可管理性和可伸缩性、高资源利用率和可用性、操作便利性、多应用支持以及一个开放分布式系统架构，其中包括对于Hadoop分布式文件系统（HDFS）和Appistry Cloud IQ的即时支持，稍后还将支持更多的文件系统和平台，这将确保企业更加关注将MapReduce应用程序转移至生产环境中。

StackIQ Rocks+ Big Data

StackIQ Rock+ Big Data是一款Rocks的商业流通集群管理软件，该公司已加强支持Apache Hadoop。Rock+支持Apache、Cloudera、Hortonworks和MapR的分布，并且处理从裸机服务器来管理Hadoop集群配置的整个过程。

Zettaset Orchestrator

Zettaset Orchestrator是端到端的Hadoop管理产品，支持多个Hadoop的分布。Zettaset吹捧Orchestrator的基于UI的经验和MAAPS（管理、可用性、自动化、配置和安全）的处理能力。

服务器托管超融合服务器 hadoop集群管理 hadoop运维管理工具 hadoop的集群搭建 hadoop集群的搭建

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/3758.html

想要从大数据中获益？请先做好Hadoop管理

摘要：公司的团队在对数据湖泊进行性能管理时，考虑的十分周全。和其他演讲者认为，对于那些试图从大数据中获益的企业来说，有效的管理是必须的。为了在监测数据上完成更高级的聚合，该公司还建立了一个本地管理控制台，称为。 Hadoop管理正在成为大数据用户和供应商首先考虑的分部署处理框架，它在企业的业务运营中中扮演着越来越重要角色。Comcast公司的IT团队在对Hadoop数据湖泊进行性能管理时，考虑的十...

Bmob 2019-04-25 17:19 评论0 收藏0
福布斯：Hadoop——你不得不了解的大数据工具

摘要：框架成为当今大数据处理背后的最具影响力的发动机。机器学习各类组织需求的不同导致相关的数据形形色色，对这些数据的分析也需要多样化的方法。提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。 Hadoop带来了廉价的处理大数据（大数据的数据容量通常是10-100GB或更多，同时数据种类多种多样，包括结构化、非结构化等）的能力。但这与之前有什么不同？现今企业...

jsyzchen 2019-04-25 17:03 评论0 收藏0
在 OpenStack 上部署 Hadoop

摘要：看一个用例场景大量的数据存储在关系数据库管理系统环境中。当数据集越来越大时，关系数据库管理系统表现不佳。可在几分钟内部署集群。像其他服务一样，服务可以通过强大的和仪表板进行管理。编排即服务用于配置和编排数据处理集群的部署。 OpenStack 控制计算、存储和网络资源池。本文主要关注 OpenStack 如何在大数据用例中扮演关键角色。OpenStack 上的大数据现在，数据随处生成，数据量...

luffyZh 2019-04-25 17:20 评论0 收藏0
行业厂商推出管理Hadoop集群新的可视化工具

摘要：用于管理大数据系统的新工具以不同的方式寻求解决这一问题。施泰因巴赫表示，公司日前推出了版本许可证的开源项目，并提供了大象博士代码。的可视化管理指标新的仪表盘和可视化数据也被添加到，这是公司开发的一个开源的管理工具。 Hadoop生态系统组成部分的广度是其优势之一，但这也是一个弱点：行业开发商可以找到一个流媒体框架，适合几乎任何大数据用柱状数据存储或其他类型的架构模块，而如何将这些碎片组合在一...

cfanr 2019-04-25 17:17 评论0 收藏0
图文并茂：5分钟了解Hadoop

摘要：它作为许可协议下的一个开源工具于年被正式发布。它是根据的许可协议发布。这是的存储系统，它把数据分解处理成称之为块的较小部分。在这些节点上对数据进行处理并把结果返回到主节点。原文链接：http://www.bigdata-startups.com/BigData-startup/what-is-hadoop-and-five-reasons-organisations-use-hadoop-...

FleyX 2019-04-25 17:17 评论0 收藏0