摘要:云和大数据也不例外。最终观点基于以上考虑建立一套固有的基础架构,你将会看到大数据和云之间是一种天作之合的组合。
在2013年三月音乐电影艺术节上,Motley Fool的Tim Byers说过:在很多方面,云和大数据越来越密不可分且功能相似-云资源用来支撑大数据的存储及项目,而且大数据相对于云来说是一个庞大的业务案例。大数据和云技术的最终联姻,必定是天作之合。
听起来虽然浪漫,但我们知道一种深度组合不可能在一夜之间就发生,它需要付出很多努力。云和大数据也不例外。
大数据能带来什么?
在这个过份炒作的组合里,大数据除了那些好听的名词,大数据本身责任重大,大数据所有所要做的就是为你的组织机构带来有用的信息。但在把大数据技术应用前,请先回答以下这些问题:
● 你拥有的数据到底有多庞大,你目前的架构能保证扩展这些量吗?
● 你的数据在结构、半结构、非结构方面有什么特征?目前来说,你的系统架构和技术是否能支撑这些不同类型的数据?
● 你的数据来自哪里?内部?外部? 开源数据?大数据随之带来是丰富的数据源,包括快速增长的新旧数据。
最重要的是:在大数据真正应用初期,需要界定业务问题及大数据所能带来的价值。
云能带来什么?
如果大数据真的是主角,那么云则带来可靠、稳定的基础,例如,基础架构,提供一些多样化的架构选择:
● 内部私有云:虚拟化、基于内部防火墙专注体系架构
● 外部私有云:共享的、基于外部防火墙可定制的主机体系架构
● 共有云:基于第三方的共享主机体系结构
● 混合云:基于自有部署、私有云(内部、外部)和公有云的环境
云也同时加速了变革、敏捷化、高速扩容及低成本的组合。
逐步变得得心应手
如果你回答了所有我提出的关于大数据的问题,同时理解云能带来什么,那你就可以去冒险了。但是像其它组合一样,这个过程中有一些事你需要搞清楚,下面七点你需要考虑一下:
开源代码:
开源软件是大数据的核心,特别是Hadoop和它很众多相关的项目。好消息是开源软件是免费的,但是不管是自我部署还是安装在云中,都需要对整个开源体系有个固有的理解。
数据存储及处理:
大数据有很多要处理的阶段,包括筛选、预处理、处理、长期或短期的数据存储。每个阶段都可能用到云体系的不同方面。例如,你可以在私有内部云中筛选和预处理数据令其以结构化、自我部署;在私有云中处理结构化的数据;在公有云中长期存储数据。
技术:
大数据所用的到技术在企业内部无法获取,像开源软件(如:Hadoop),云集成,安全及分析工具,这些技术非常少但非常重要,是业务分析师和数据科学家在整个云里都会用到。
支持:
对于大数据需要的软硬件及技术,一个组织需要决定谁能对整个可扩展体系统进行支持,如果你只是对内部私有云感兴趣,那么IT部门就能管理它。但是你关心的防火墙外的,你需要第三方的支持,例如软件供应商或是云服务提供商,通过他们来维护及管理它的架构体系。
性能:
随着数据越来越多,性能的问题也会随之而来,如果数据跨国家跨洲存储,你需要考虑在上传数据及访问数据带来的网路情况,其结果会是糟透的.数据访问量会为系统架构带来瓶劲同时用户满意度降低。
集成:
在大数据的早期阶段,不管是自我部署或是云,你只是在多带带的环境处理数据。接下来,你想把数据和现有的应用、系统、过程进行集成。这种云与内外部系统的集成迫使公司重新检测现有的技术。
隐私:
通过大数据,企业机构很容易从现有或加工后的数据获取信息,例如社交,
开源及机器学习数据,并且与现有的业务和分析数据进行组合,这是之前从未发生过的。这对于客户将产生神奇而且变革性分析层面。但是与之而来也存在挑战,这
些分析层面很有可能会侵犯客户的隐私,需要非常留心。
最终观点:基于以上考虑建立一套固有的基础架构,你将会看到大数据和云之间是一种天作之合的组合。
简介: Tamara Dull,SAS Emerging Technologies的董事,超过25年技术服务经验,在数据分析,设计,开发方面很强的实力。
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/4073.html
摘要:云计算是一种计算资源,集合了海量的数据处理,与大数据人工智能都有着紧密联系,而粒计算正是处理海量数据,尤其是不确定性数据的好手。 云计算,不必细说谁都知道是什么,人们多多少少都有所耳闻。云计算是继20世纪80年代大型计算机到C/S转变之后,IT界的又一次巨变,它通过互联网将某计算任务分布到大量的计算机上,并可...
摘要:云计算是一种计算资源,集合了海量的数据处理,与大数据人工智能都有着紧密联系,而粒计算正是处理海量数据,尤其是不确定性数据的好手。 云计算,不必细说谁都知道是什么,人们多多少少都有所耳闻。云计算是继20世纪80年代大型计算机到C/S转变之后,IT界的又一次巨变,它通过互联网将某计算任务分布到大量的计算机上,并可配置共享计算的资源池,且共享软件资源和信息可以按需提供给用户的一种技术。云计算真正作...
摘要:模块化工业云计算架构成功了实现资源按需分配,其计算存储和能够按照不同的应用需要,随意组合出满足不同计算需求的资源池,基于的产品在设计之初就将计算存储和分解成不同的模块,然后再根据具体应用的需要,将这些独立的模块按需配比组合成一个个物理实体。 全球智能云计算服务平台、网关、嵌入式计算机及行业应用平台MICA作为全新的ICT计算基础架构,如何满足资源按需分配的需求?英特尔如何在通信和网络安全市...
摘要:云计算是什么大数据是什么云计算和大数据有什么区别云计算和大数据关联又是什么估计很多人都不是很清楚这两者到底代表什么。云计算和大数据的关系云计算是基础,没有云计算,无法实现大数据存储与计算。云计算是什么?大数据是什么?云计算和大数据有什么区别?云计算和大数据关联又是什么?估计很多人都不是很清楚这两者到底代表什么。如果要了解云计算和大数据的意思和关系,那我们就要先对这两个词进行了解,分别了解两者...
摘要:黑龙江也将发展云计算和大数据产业作为培育壮大新字号的重中之重。为此,来自黑龙江代表团的全国人大代表哈尔滨工业大学校长周玉建议,在黑龙江建立我国云计算和大数据产业基地。同时,黑龙江还进行了云计算和大数据产业基地建设的大量准备工作。全国人大代表、哈尔滨工业大学校长周玉。杨海全 摄我国将大数据产业作为重点发展的战略性新兴产业,并将大数据产业生态体系建设列为发展重点之一。黑龙江也将发展云计算和大数据...
阅读 1527·2021-11-24 10:17
阅读 1026·2021-09-29 09:43
阅读 2158·2021-09-23 11:21
阅读 2146·2019-08-30 14:13
阅读 1288·2019-08-29 13:58
阅读 3149·2019-08-28 17:51
阅读 1791·2019-08-26 13:29
阅读 2964·2019-08-26 10:13