大数据处理架构SEARCH AGGREGATION

首页/精选主题/

大数据处理架构

大数据平台

...rm(简称 USDP),是 UCloud 推出的云上智能化、轻量级的大数据基础服务平台,能够帮您快速构建起大数据的分析处理能力。 USDP 构建于 UCloud 的云服务上,无缝集成云端 IaaS 资源能力,通过自研的 USDP Manager 管理工具,支持用户...

大数据处理架构问答精选

大数据分布的架构怎么做调优呢?

回答:这个太范化了吧。大数据架构选择的方案就有很多,海量数据的即席查询本省就是业内目前的痛点,暂时没有太好的解决方案,kylin等框架也只是一个折中方案,如果你不是要求海量数据分析的秒级响应的话sparkSql、presto等都是不错的方案,分钟级别可以返回。

Paul_King | 411人阅读

高性能数据架构是您数字议程的重中之重吗?

回答:现在有幸参与传统银行数字化转型,负责技术架构部分的转型设计。高性能的数据架构(High Performance Data Architecture),正是我们架构转型的重点。随着科技的蓬勃发展、社交网络的广泛使用、线上消费的普及、数据挖掘的技术提升等大趋势,全球银行业正迎来一场声势浩大的数字化创新浪潮。数字化为消费者的生活及行为模式带来翻天覆地的变化,也孵化出一批新型的金融科技(Fintech)竞...

Lowky | 343人阅读

支撑日活百万用户的高并发系统,应该如何设计其数据库架构? ?

回答:以mysql为列:1:支撑高并发系统,一定会涉及事务,所以数据库引擎必选innodb,innodb支持事务,事务级别根据业务而定,如果业务数据一致性要求很高,事务就开启序列化级别,这样就完全隔离事务,但是会导致锁资源竞争加剧。mysql的性能有一定的降低。2:读写分离,数据库分成主库和从库,主库负责写数据,丛库负责读数据。注意主从数据库数据一致性问题。3:冷热数据分离,美团,饿了么部分设计采用冷热...

Vultr | 874人阅读

大数据时代,如何理解“大数据”?

回答:目前阶段大数据技术及体系已经逐渐趋于成熟,不再是以概念贯穿的模式,大数据越来越多的被使用,伴随互联网化的发展更多的企业信息化已经由IT时代转变为DT时代,以数据为核心,用数据进行决策,基于数据驱动企业的创新与发展,相信在将来大数据也会有更广泛的应用空间,对于大数据的理解主要分为以下几个层面。1.数据来源:对于大数据时代而言更多强调基于业务数据的沉淀,在一定规模的数据上进行进一步的分析、处理、转换,...

arashicage | 940人阅读

大数据开发、大数据分析、大数据运维主要工作各是什么?哪个好?

回答:在大数据领域大概有四个大的工作方向,除了大数据平台应用及开发、大数据分析与应用和大数据平台集成与运维之外,还有大数据平台架构与研发,除了以上四个大的工作方向之外,还有一个工作方向是大数据技术推广和培训,这部分工作目前也有不少人在从事。大数据平台架构与研发主要的工作内容是研发底层的大数据平台,这部分工作的难度较高,从事这部分工作的研发级岗位也并不多。现在不少技术研发团队都以Hadoop、Spark平...

zhangxiangliang | 2647人阅读

大数据究竟是什么?大数据有哪些技术呢?

回答:近几年,大数据的概念逐渐深入人心,大数据的趋势越来越火爆。但是,大数据到底是个啥?怎么样才能玩好大数据呢?大数据的基本含义就是海量数据,麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。数字经济的要素之一就是大数据资源,现在大家聊得最多的大数据是基于已经存在的...

khlbat | 503人阅读

大数据处理架构精品文章

  • 掌握新变革,解密新趋势|msup第29届MPD软件管理工作坊成功召开

    ...品的支撑。一个让人眼前一亮的新功能,高可用强扩展的架构,大数据和个性化搜索引擎以及测试对产品质量的保障,都与产品的市场表现息息相关。当然,稳定的产品离不开优质的团队做支撑。 市场竞争的愈发激烈要求软件...

    lunaticf 评论0 收藏0
  • 云计算和数据:成功组合指南

    ...些问题:    ● 你拥有的数据到底有多庞大,你目前的架构能保证扩展这些量吗?    ● 你的数据在结构、半结构、非结构方面有什么特征?目前来说,你的系统架构和技术是否能支撑这些不同类型的数据?    ● 你的数据...

    XBaron 评论0 收藏0
  • 技术咖云集 GIAC 2017全球互联网架构会圆满落幕

    2017年12月22日-23日,由高可用架构技术社区联合麦思博(msup)有限公司共同主办的 GIAC全球互联网架构大会在上海光大会展中心成功举行。 本届全球互联网架构大会以改变未来的互联网构建方式为主题,分为经典架构、D...

    MoAir 评论0 收藏0
  • 技术咖云集 GIAC 2017全球互联网架构会圆满落幕

    2017年12月22日-23日,由高可用架构技术社区联合麦思博(msup)有限公司共同主办的 GIAC全球互联网架构大会在上海光大会展中心成功举行。 本届全球互联网架构大会以改变未来的互联网构建方式为主题,分为经典架构、D...

    Kylin_Mountain 评论0 收藏0
  • GIAC 2017全球互联网架构会最新日程

    12月22日至23日,高可用架构和msup联合主办的GIAC 全球互联网架构大会将于上海光大会展中心举行。GIAC 全球互联网架构大会是高可用架构技术社区推广的面向架构师、技术负责人及高端技术从业人员的技术架构大会。GIAC于2016...

    617035918 评论0 收藏0
  • GIAC 2017全球互联网架构会最新日程

    12月22日至23日,高可用架构和msup联合主办的GIAC 全球互联网架构大会将于上海光大会展中心举行。GIAC 全球互联网架构大会是高可用架构技术社区推广的面向架构师、技术负责人及高端技术从业人员的技术架构大会。GIAC于2016...

    Imfan 评论0 收藏0
  • 数据分布式存储的部署模式:分离式or超融合

    ...骤升导致的另一方资源枯竭,从而影响性能并在整个基础架构中产生的涟漪效应;和在超融合部署方式在集群规模较大后,网络、硬盘、服务器发生故障的概率都会增大;以及数据重删、压缩、加密纠删码等功能、故障的自修复...

    gnehc 评论0 收藏0
  • 云计算时代,数据中心架构三层到二层的演变

    ...络特性可以通过升级设备或线路来提升,但是有些与网络架构有关。升级或者改动网络架构带来的风险和成本是巨大的,因此在架设数据中心初始,网络架构的选择和设计尤其需要谨慎。 那么,从过去的传统数据中心,到如今...

    刘玉平 评论0 收藏0
  • 云计算时代,数据中心架构三层到二层的演变

    ...络特性可以通过升级设备或线路来提升,但是有些与网络架构有关。升级或者改动网络架构带来的风险和成本是巨大的,因此在架设数据中心初始,网络架构的选择和设计尤其需要谨慎。 那么,从过去的传统数据中心,到如今...

    seasonley 评论0 收藏0
  • 数据面临的挑战:当数据遭遇云计算

    ...和预见的系统扩容、升级路线图。   云计算环境作为大数据处理平台 1.云计算环境中基本计算单元的分化   企业云计算平台上虽然有多个并行计算的CPU,但并没有创造出具有超强数据处理能力的超级CPU,因此云计算平台需...

    forsigner 评论0 收藏0
  • 数据面临的挑战:当数据遭遇云计算

    ...和预见的系统扩容、升级路线图。  云计算环境作为大数据处理平台  1.云计算环境中基本计算单元的分化   企业云计算平台上虽然有多个并行计算的CPU,但并没有创造出具有超强数据处理能力的超级CPU,因此云计算平台...

    Berwin 评论0 收藏0
  • 数据下的数据分析-Hadoop架构解析

    ...文主要介绍一种基于Hadoop平台的多维分析和数据挖掘平台架构。   大数据分析的分类   Hadoop平台对业务的针对性较强,为了让你明确它是否符合你的业务,现粗略地从几个角度将大数据分析的业务需求分类,针对不同的具...

    Anchorer 评论0 收藏0
  • TOP100summit:【分享实录】链家网数据平台体系构建历程

    ...报表支持者,向当下数据平台方转变的这一历程,通过对数据处理流程的梳理,构建一体化的数据接入/计算/展示的开放平台,提升数据运转效率,快速满足集团内数据需求。 一、背景简介 链家网自2014年成立后,全面推进020战...

    Yu_Huang 评论0 收藏0
  • ZB 级的数据探索与应用实践「附 PPT」

    ...的结果输出。 再往后发展,如果业务还是异常繁重,数据处理不过来,我们就可以把明细数据层 HBase 里面的数据拿出来,放到 Spark 和 Flink 这两个流计算框架中进行预聚合,然后对接到 OLTP 系统,提供后台服务。 可见,大...

    YFan 评论0 收藏0
  • 移动数据平台架构思想以及实践经验

    ...样,系统同时具有了低延迟实时处理能力,也具有离线大数据处理能力。之后通过数据服务层,把两个视图合并起来,对外提供服务。在外部看来,这是一个完整的视图。 就这样,通过 lambda 架构我们可以将实时处理和批处理系...

    leone 评论0 收藏0

推荐文章

相关产品

<