学习Hadoop大数据基础框架

amc 发布于2019-08-16 13:42 / 872人阅读

摘要：大快的大数据通用计算平台，已经集成相同版本号的开发框架的全部组件。，更是集成了大快的大数据一体化开发框架开发框架提供了大数据搜索自然语言处理和人工智能开发中常用的二十多个类，通过总计一百余种方法，实现了倍以上的开发效率的提升。

什么是大数据？进入本世纪以来，尤其是2010年之后，随着互联网特别是移动互联网的发展，数据的增长呈爆炸趋势，已经很难估计全世界的电子设备中存储的数据到底有多少，描述数据系统的数据量的计量单位从MB（1MB大约等于一百万字节）、GB（1024MB）、TB（1024GB），一直向上攀升，目前，PB（等于1024TB）级的数据系统已经很常见，随着移动个人数据、社交网站、科学计算、证券交易、网站日志、传感器网络数据量的不断加大，国内拥有的总数据量早已超出 ZB（1ZB=1024EB，1EB=1024PB）级别。
传统的数据处理方法是：随着数据量的加大，不断更新硬件指标，采用更加强大的CPU、更大容量的磁盘这样的措施，但现实是：数据量增大的速度远远超出了单机计算和存储能力提升的速度。
而“大数据”的处理方法是：采用多机器、多节点的处理大量数据方法，而采用这种新的处理方法，就需要有新的大数据系统来保证，系统需要处理多节点间的通讯协调、数据分隔等一系列问题。
总之，采用多机器、多节点的方式，解决各节点的通讯协调、数据协调、计算协调问题，处理海量数据的方式，就是“大数据”的思维。其特点是，随着数据量的不断加大，可以增加机器数量，水平扩展，一个大数据系统，可以多达几万台机器甚至更多。

Hadoop最初主要包含分布式文件系统HDFS和计算框架MapReduce两部分，是从Nutch中独立出来的项目。在2.0版本中，又把资源管理和任务调度功能从MapReduce中剥离形成YARN，使其他框架也可以像MapReduce那样运行在Hadoop之上。与之前的分布式计算框架相比，Hadoop隐藏了很多繁琐的细节，如容错、负载均衡等，更便于使用。
Hadoop也具有很强的横向扩展能力，可以很容易地把新计算机接入到集群中参与计算。在开源社区的支持下，Hadoop不断发展完善，并集成了众多优秀的产品如非关系数据库HBase、数据仓库Hive、数据处理工具Sqoop、机器学习算法库Mahout、一致性服务软件ZooKeeper、管理工具Ambari等，形成了相对完整的生态圈和分布式计算事实上的标准。
大快的大数据通用计算平台（DKH），已经集成相同版本号的开发框架的全部组件。如果在开源大数据框架上部署大快的开发框架，需要平台的组件支持如下：
数据源与SQL引擎：DK.Hadoop、spark、hive、sqoop、flume、kafka
数据采集：DK.hadoop
数据处理模块：DK.Hadoop、spark、storm、hive
机器学习和AI：DK.Hadoop、spark
NLP模块：上传服务器端JAR包，直接支持
搜索引擎模块：不独立发布
大快大数据平台（DKH）,是大快公司为了打通大数据生态系统与传统非大数据公司之间的通道而设计的一站式搜索引擎级，大数据通用计算平台。传统公司通过使用DKH，可以轻松的跨越大数据的技术鸿沟，实现搜索引擎级的大数据平台性能。
 DKH，有效的集成了整个HADOOP生态系统的全部组件，并深度优化，重新编译为一个完整的更高性能的大数据通用计算平台，实现了各部件的有机协调。因此DKH相比开源的大数据平台，在计算性能上有了高达5倍（最大）的性能提升。
 DKH，更是通过大快独有的中间件技术，将复杂的大数据集群配置简化至三种节点（主节点、管理节点、计算节点），极大的简化了集群的管理运维，增强了集群的高可用性、高可维护性、高稳定性。
 DKH，虽然进行了高度的整合，但是仍然保持了开源系统的全部优点，并与开源系统100%兼容，基于开源平台开发的大数据应用，无需经过任何改动，即可在DKH上高效运行，并且性能会有最高5倍的提升。
 DKH，更是集成了大快的大数据一体化开发框架（FreeRCH）, FreeRCH开发框架提供了大数据、搜索、自然语言处理和人工智能开发中常用的二十多个类，通过总计一百余种方法，实现了10倍以上的开发效率的提升。
 DKH的SQL版本，还提供了分布式MySQL的集成，传统的信息系统，可无缝的实现面向大数据和分布式的跨越。
DKH标准平台技术构架图

托管Hadoop集群 USDP大数据平台大数据框架hadoop和spark 大数据框架学习大数据三大框架学习大数据学习基础

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/72183.html

零基础学习hadoop开发先明白这层关系

摘要：零基础学习开发先明白这层关系大数据无疑是当前互联网领域受关注热度最高的词之一，大数据技术的应用正在潜移默化中对我们的生活和工作产生巨大的改变。将零基础学习开发这个问题换个说法也许就更容易让人明白了，比如学习需要具备什么基础知识。零基础学习hadoop开发先明白这层关系大数据hadoop无疑是当前互联网领域受关注热度最高的词之一，大数据技术的应用正在潜移默化中对我们的生活和工作产生巨大...

silencezwm 2019-08-16 13:37 评论0 收藏0
想学大数据？大数据处理的开源框架推荐

摘要：大数据通常是不确定的，而多数处理框架已经适应了这一特性。正如其名，大数据通常以其大量的数据为特征，而这要求巨大乃至理论上无限的存储容量。栈是大数据处理框架的祖师爷，并且已经成为这些技术汇集的事实上的平台。欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 本文讨论大数据处理生态系统和相关的架构栈，包括对适应于不同任务的多种框架特性的调研。除此之外，文章还从多个层次对框架进行...

ralap 2019-08-06 14:16 评论0 收藏0
大数据学习路线

摘要：学习资料大数据最权威和最全面的学习资料就是官方文档。热门的大数据框架社区都比较活跃版本更新迭代也比较快，所以其出版物都明显滞后于其实际版本，基于这个原因采用书本学习不是一个最好的方案。一、大数据处理流程 showImg(https://segmentfault.com/img/remote/1460000019667336?w=740&h=417);上图是一个简化的大数据处理流程图，...

widuu 2019-07-16 14:52 评论0 收藏0
Hadoop家族学习路线图

摘要：本文为家族开篇，家族学习路线图目录家族产品家族学习路线图家族产品截止到年，根据的统计，家族产品已经达到个接下来，我把这个产品，分成了类。家族学习路线图下面我将分别介绍各个产品的安装和使用，以我经验总结我的学习路线。 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, ...

includecmath 2019-04-25 17:11 评论0 收藏0
原创翻译 | Hadoop和企业信息管理：利用大数据的解决方案

摘要：年看起来是在开源开发和更多的商业选择方面在企业层面上，由于企业信息管理仍然需要更多改进的大数据解决方案。是支持大数据的技术的极好解决方案，可以为业务用户提供真正的好处。到目前为止，许多想要管理多结构的大数据的组织可能会依赖来交付理想的结果。过去几年，大数据在全球商业环境中的重要性已得到坚定的确认。2017年看起来是 Apache Hadoopimplementation (在开源...

YacaToy 2019-04-25 17:20 评论0 收藏0