摘要：具体的实施可能有所不同，但根据我的经验，它们是最常见的七种项目。这通常意味着很多容器包。这些项目通常与号或号重合，但增加了各自的范围和特点。，这些几乎都是和项目。几年前我已经实施了这些项目中的部分案例，使用的是其它技术。
如果您的 Hadoop 项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。
有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火爆的 Hadoop、Spark 和 Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，它们是最常见的七种项目。
项目一：数据整合
称之为 “企业级数据中心” 或 “数据湖”，这个想法是你有不同的数据源，你想对它们进行数据分析。这类项目包括从所有来源获得数据源 (实时或批处理) 并且把它们存储在 hadoop 中。有时，这是成为一个 “数据驱动的公司” 的第一步; 有时，或许你仅仅需要一份漂亮的报告。“企业级数据中心” 通常由 HDFS 文件系统和 HIVE 或 IMPALA 中的表组成。未来，HBase 和 Phoenix 在大数据整合方面将大展拳脚，打开一个新的局面，创建出全新的数据美丽新世界。
销售人员喜欢说 “读模式”，但事实上，要取得成功，你必须清楚的了解自己的用例将是什么 (Hive 模式不会看起来与你在企业数据仓库中所做的不一样)。真实的原因是一个数据湖比 Teradata 和 Netezza 公司有更强的水平扩展性和低得多的成本。许多人在做前端分析时使用 Tabelu 和 Excel。许多复杂的公司以 “数据科学家” 用 Zeppelin 或 IPython 笔记本作为前端。
项目二：专业分析
许多数据整合项目实际上是从你特殊的需求和某一数据集系统的分析开始的。这些往往是令人难以置信的特定领域，如在银行领域的流动性风险 / 蒙特卡罗模拟分析。在过去，这种专业的分析依赖于过时的，专有的软件包，无法扩大数据的规模经常遭受一个有限的功能集 (大部分是因为软件厂商不可能像专业机构那样了解的那么多)。
在 Hadoop 和 Spark 的世界，看看这些系统大致相同的数据整合系统，但往往有更多的 HBase，定制非 SQL 代码，和更少的数据来源 (如果不是的)。他们越来越多地以 Spark 为基础。
项目三：Hadoop 作为一种服务
在 “专业分析” 项目的任何大型组织 (讽刺的是，一个或两个 “数据整理” 项目) 他们会不可避免地开始感觉 “快乐”(即，疼痛) 管理几个不同配置的 Hadoop 集群，有时从不同的供应商。接下来，他们会说，“也许我们应该整合这些资源池，” 而不是大部分时间让大部分节点处于资源闲置状态。它们应该组成云计算，但许多公司经常会因为安全的原因 (内部政治和工作保护) 不能或不会。这通常意味着很多 Docker 容器包。
我没有使用它，但最近 Bluedata(蓝色数据国际中心) 似乎有一个解决方案，这也会吸引小企业缺乏足够的资金来部署 Hadoop 作为一种服务。
项目四：流分析
很多人会把这个 “流”，但流分析是不同的，从设备流。通常，流分析是一个组织在批处理中的实时版本。以反洗钱和欺诈检测：为什么不在交易的基础上，抓住它发生而不是在一个周期结束? 同样的库存管理或其他任何。
在某些情况下，这是一种新的类型的交易系统，分析数据位的位，因为你将它并联到一个分析系统中。这些系统证明自己如 Spark 或 Storm 与 Hbase 作为常用的数据存储。请注意，流分析并不能取代所有形式的分析，对某些你从未考虑过的事情而言，你仍然希望分析历史趋势或看过去的数据。
项目五：复杂事件处理
在这里，我们谈论的是亚秒级的实时事件处理。虽然还没有足够快的超低延迟 (皮秒或纳秒) 的应用，如高端的交易系统，你可以期待毫秒响应时间。例子包括对事物或事件的互联网电信运营商处理的呼叫数据记录的实时评价。有时，你会看到这样的系统使用 Spark 和 HBase——但他们一般落在他们的脸上，必须转换成 Storm，这是基于由 LMAX 交易所开发的干扰模式。
在过去，这样的系统已经基于定制的消息或高性能，从货架上，客户端 - 服务器消息产品 - 但今天的数据量太多了。我还没有使用它，但 Apex 项目看起来很有前途，声称要比 Storm 快。
项目六：ETL 流
有时你想捕捉流数据并把它们存储起来。这些项目通常与 1 号或 2 号重合，但增加了各自的范围和特点。(有些人认为他们是 4 号或 5 号，但他们实际上是在向磁盘倾倒和分析数据。)，这些几乎都是 Kafka 和 Storm 项目。Spark 也使用，但没有理由，因为你不需要在内存分析。
项目七：更换或增加 SAS
SAS 是精细，是好的但 SAS 也很贵，我们不需要为你的数据科学家和分析师买存储你就可以 “玩” 数据。此外，除 SAS 可以做或产生漂亮的图形分析外，你还可以做一些不同的事情。这是你的 “数据湖”。这里是 IPython 笔记本 (现在) 和 Zeppelin(以后)。我们用 SAS 存储结果。
当我每天看到其他不同类型的 Hadoop，Spark，或 Storm 项目，这些都是正常的。如果你使用 Hadoop，你可能了解它们。几年前我已经实施了这些项目中的部分案例，使用的是其它技术。
如果你是一个老前辈太害怕 “大” 或 “做” 大数据 Hadoop，不要担心。事情越变越多，但本质保持不变。你会发现很多相似之处的东西你用来部署和时髦的技术都是围绕 Hadooposphere 旋转的。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/3940.html
摘要：摘要是一个项目，它被标榜为快如闪电的集群计算。它拥有一个繁荣的开源社区，并且是目前最活跃的项目。提供了一个更快更通用的数据处理平台。更多经典案例介绍期待下回分解。。。 摘要 Spark是一个Apache项目，它被标榜为快如闪电的集群计算。它拥有一个繁荣的开源社区，并且是目前最活跃的Apache项目。Spark提供了一个更快、更通用的数据处理平台。和Hadoop相比，Spark可以让你的...
摘要：摘要是一个项目，它被标榜为快如闪电的集群计算。它拥有一个繁荣的开源社区，并且是目前最活跃的项目。提供了一个更快更通用的数据处理平台。更多经典案例介绍期待下回分解。。。 摘要 Spark是一个Apache项目，它被标榜为快如闪电的集群计算。它拥有一个繁荣的开源社区，并且是目前最活跃的Apache项目。Spark提供了一个更快、更通用的数据处理平台。和Hadoop相比，Spark可以让你的...
摘要：为了履行这一承诺，优步依赖于在每个层面做出数据驱动的决策。完整性和延迟之间的权衡在计算时，随着我们在流式处理增量处理和批处理之间变换，我们面临着相同的根本权衡。 优步的任务是提供对每个人来说，在任何地方都可以获得像自来水一样可靠的出行服务。为了履行这一承诺，优步依赖于在每个层面做出数据驱动的决策。大部分的决策都得益于更快的数据处理。例如，使用数据来理解一个地区以便于增加业务，或城市运营团队对...
摘要：大数据运维更偏向于大数据生态的大数据应用运维。后面我们会上大数据开发课程，其实大数据开发和大数据运维课程很多跟运维课程是重叠的，只是掌握的着重点不同。因材施教，重点会针对每个小伙伴的情况，基本水平，确立职业规划，基于职业规划定制学习计划。 一.大数据运维相关答疑与概述 1.0 课程与老师介绍...
摘要：大家好，我是冰河有句话叫做投资啥都不如投资自己的回报率高。马上就十一国庆假期了，给小伙伴们分享下，从小白程序员到大厂高级技术专家我看过哪些技术类书籍。 大家好，我是...
阅读 1087·2021-11-11 10:57
阅读 3484·2021-09-07 10:10
阅读 3305·2021-08-03 14:03
阅读 2958·2019-08-30 13:45
阅读 575·2019-08-29 11:19
阅读 929·2019-08-28 18:07
阅读 2940·2019-08-26 13:55
阅读 678·2019-08-26 12:17
