资讯专栏INFORMATION COLUMN

一图解说Hadoop的发展历程

Null / 1991人阅读

摘要:这一切是如何开始的上庞大的数据使用抓取数据要保存上庞大的数据应运而生如何使用这些庞大的数据采用或任何的流管道语言构建框架用于编码并进行分析如何获取日志,点击流,日志,服务器日志等非结构化数据和将数据加载到中,关系型数据库也能够加入到队伍中编

       1. 这一切是如何开始的—Web上庞大的数据!

  2. 使用Nutch抓取Web数据

  3. 要保存Web上庞大的数据——HDFS应运而生

  4. 如何使用这些庞大的数据?

  5. 采用Java或任何的流/管道语言构建MapReduce框架用于编码并进行分析

  6. 如何获取Web日志,点击流,Apache日志,服务器日志等非结构化数据——fuse,webdav, chukwa, flume, Scribe

  7. Hiho和sqoop将数据加载到HDFS中,关系型数据库也能够加入到Hadoop队伍中

  8. MapReduce编程需要的高级接口——Pig, Hive, Jaql

  9. 具有先进的UI报表功能的BI工具- Intellicus

  10. Map-Reduce处理过程使用的工作流工具及高级语言

  11. 监控、管理hadoop,运行jobs/hive,查看HDFS的高级视图—Hue, karmasphere, eclipse plugin, cacti, ganglia

  12. 支持框架—Avro (进行序列化), Zookeeper (用于协同)

  13. 更多高级接口——Mahout, Elastic map Reduce

  14. 同样可以进行OLTP——HBase

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/3689.html

相关文章

  • 从“软件”到“服务“——【对象存储】发展历程(上)

    摘要:现在还有一种趋势,就是直接在对象存储上跑等工具,不再依赖于。小结在对象存储大规模普及之前,大量的数据存储和处理就已经存在。 导语 据IDC的分析师预测,2025年,全球范围内的数据量将增长到163 ZB,相较于2016年的16.1 ZB,十年间将增长1000%。面对飞速增长的数据量,企业和机构在未来又将如何存储这些数据呢? ![在这里插入图片描述](showImg(https://se...

    warnerwu 评论0 收藏0
  • CloudBest:科普 | 一图看懂 5G 从哪来

    摘要:一个人的气质里有走过的路读过的书爱过的人又经历了哪些故事呢引子一部高清电影秒秒钟就能下载下来远程游戏再也不会有卡顿和延迟的感觉了依托也出现了一系列的新东西,比如,车联网自动驾驶远程控制等等那从哪来的呢她经历了怎样的故事才走到如今的样子本期将一个人的气质里有走过的路、读过的书、爱过的人5G 又经历了哪些故事呢?引子一部高清电影 秒秒钟 就能下载下来远程游戏再也不会有卡顿和延迟的感觉了依托 5G...

    Tecode 评论0 收藏0
  • 回顾2016年最受关注深度学习发展历程

    摘要:年是深度学习高速发展的一年。在下面的篇幅中,笔者将带大家一起回顾一下年深度学习领域都发生了哪些值得关注的大事。深度学习技术为这种方式提供了可能。在上,暴风雪公司宣布将开发一个对深度学习系统更加友好的,从而正式开启与团队的合作。 2016 年,人工智能发展火热。作为人工智能一个重要分支的深度学习,也正在受到大家越来越多的关注。2016 年是深度学习高速发展的一年。在这一年中,无论是工业界...

    genedna 评论0 收藏0
  • 回顾2016年最受关注深度学习发展历程

    摘要:年是深度学习高速发展的一年。在下面的篇幅中,笔者将带大家一起回顾一下年深度学习领域都发生了哪些值得关注的大事。深度学习技术为这种方式提供了可能。在上,暴风雪公司宣布将开发一个对深度学习系统更加友好的,从而正式开启与团队的合作。 2016 年,人工智能发展火热。作为人工智能一个重要分支的深度学习,也正在受到大家越来越多的关注。2016 年是深度学习高速发展的一年。在这一年中,无论是工业界...

    hedzr 评论0 收藏0
  • Hadoop之父Doug Cutting:AI将为Hadoop社群未来带来挑战

    摘要:在本次会议召开之前,君对这位之父进行了专访。不过,他也坦言,和机器学习领域无疑是未来面临的挑战之一,目前许多机器学习跟技术许多都是开放源代码技术,革命不是由单一组织推动。在今年四月底正式于纽交所上市,发行价为每股美元。 7月13日~15日,全球最较高级大数据会议Strata Data Conference在北京召开。在会议上,我们看到了一个熟悉的身影——Hadoop之父、Cloudera 首...

    SHERlocked93 评论0 收藏0

发表评论

0条评论

Null

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<