数据湖架构SEARCH AGGREGATION

首页/精选主题/

数据湖架构

云数据库MongoDB

云数据库MongoDB是基于成熟云计算技术的高可用、高性能的数据库服务,完全兼容MongoDB 协议,支持灵活部署,除副本集实例架构外,云数据库MongoDB还提供分片集群架构来满足海量数据业务场景;同时提供灾备、备份、监控告警...

数据湖架构问答精选

大数据分布的架构怎么做调优呢?

回答:这个太范化了吧。大数据架构选择的方案就有很多,海量数据的即席查询本省就是业内目前的痛点,暂时没有太好的解决方案,kylin等框架也只是一个折中方案,如果你不是要求海量数据分析的秒级响应的话sparkSql、presto等都是不错的方案,分钟级别可以返回。

Paul_King | 423人阅读

高性能数据架构是您数字议程的重中之重吗?

回答:现在有幸参与传统银行数字化转型,负责技术架构部分的转型设计。高性能的数据架构(High Performance Data Architecture),正是我们架构转型的重点。随着科技的蓬勃发展、社交网络的广泛使用、线上消费的普及、数据挖掘的技术提升等大趋势,全球银行业正迎来一场声势浩大的数字化创新浪潮。数字化为消费者的生活及行为模式带来翻天覆地的变化,也孵化出一批新型的金融科技(Fintech)竞...

Lowky | 354人阅读

支撑日活百万用户的高并发系统,应该如何设计其数据库架构? ?

回答:以mysql为列:1:支撑高并发系统,一定会涉及事务,所以数据库引擎必选innodb,innodb支持事务,事务级别根据业务而定,如果业务数据一致性要求很高,事务就开启序列化级别,这样就完全隔离事务,但是会导致锁资源竞争加剧。mysql的性能有一定的降低。2:读写分离,数据库分成主库和从库,主库负责写数据,丛库负责读数据。注意主从数据库数据一致性问题。3:冷热数据分离,美团,饿了么部分设计采用冷热...

Vultr | 895人阅读

软件产品架构中什么是单体架构、SOA架构、微服务架构?

回答:软件产品架构是不断迭代演化的,从单体服务架构发展到现在的服务化、微服务的架构。单体架构单体架构就是所有的业务模块都是耦合在一个项目中,开发、部署都在一起;如果其中一个模块需要上线升级,那么所有模块都要一起启停;在早期,单体架构的项目团队成员需要是全栈,因为前端、后端、数据库都是一波人负责,后来开始进行了逻辑分层,团队也分成了前端 UI 团队、后端和 DBA 团队,每个团队都有自己负责的职责。然而随...

khs1994 | 1511人阅读

该如何理解“超融合架构”?

回答:超融合是什么参考维基百科中的超融合定义:超融合基础架构(hyper-converged infrastructure)是一个软件定义的 IT 基础架构,它可虚拟化常见硬件定义系统的所有元素。HCI 包含的最小集合是:虚拟化计算(hypervisor),虚拟存储(SDS)和虚拟网络。HCI 通常运行在标准商用服务器之上。超融合基础架构(hyper-converged infrastructure)与...

mdluo | 756人阅读

系统架构如何进行性能优化?

回答:从系统架构本身来说,一般系统优化主要从三个方面入手,数据持久层、业务逻辑层和前端展示层。数据持久层限制系统性能主要有两个方面,一是数据库自身的性能,二是对数据库操作的方式,数据库自身相对简单,一般通过优化配置、采用高可用方案、搭建集群或者使用性能更好的数据库来提升性能;数据库操作主要是数据库读写操作,可以通过SQL优化的方式来提升读写速度,或者通过缓存的方式减低并发、提升性能。业务逻辑层代码层面常...

senntyou | 808人阅读

数据湖架构精品文章

  • Data Lakehouse数据到底是什么呢?

    数据湖(Data Lake),湖仓一体(Data Lakehouse)俨然已经成为了大数据领域最为火热的流行词,在接受这些流行词洗礼的时候,身为技术人员我们往往会发出这样的疑问,这是一种新的技术吗,还是仅仅只是概念上的翻新(新瓶装旧...

    Tecode 评论0 收藏0
  • 行业+云:品高云布局未来

    ...面实现弹性能力的云平台、第一个采用容器架构来支撑大数据能力的平台、以及去年我们提出的在云中交付机器学习人工智能这样的业务能力。截至2017年底,品高云的产品激活量已达到了3万台,其中最长的客户稳定使用时间已...

    shiweifu 评论0 收藏0
  • 2019年微服务实践第一课,网易&谐云&蘑菇街&奥思技术大咖深度分享

    ...各个微服务可被独立部署,服务间是松耦合的关系,以及数据和治理的去中心化管理。微服务能够帮助企业应对业务复杂、频繁更新以及团队规模庞大带来的挑战,实现IT对业务创新的驱动。 1月12日,网易云主办的微服务实践...

    genedna 评论0 收藏0
  • TB级大数据如何采用UCloud USQL数据分析降本90%

    当前,大数据的价值已无需赘述,作为衡量一个公司核心能力的最底层标准,数据的建设也面临着诸多难题。为了帮助企业用户解决大数据分析门槛高、效率低的问题,UCloud USQL数据湖分析应运而生,可轻松完成面向海量数据的...

    Tecode 评论0 收藏0
  • 阿里云存储,让更多的创新在身边发生

    ...云计算的一小步,但可能是存储行业的一大步。 关于数据存储,学究们可以追溯到远古时期最早的结绳计数,或是以龟甲上刻下的第一个字为源头……时间和方式可能并不重要,重要的是数据存储自此而始。 对于现代人来说...

    pingan8787 评论0 收藏0
  • 云原生成为新常态,人工智能为此准备好了吗

    ...、部署多云战略、将移动应用程序纳入云端、构建可行的数据湖,以及使用数据的民主化。这些分析工具对于帮助行业部门成为人工智能驱动型企业至关重要。人工智能不仅仅是一种技术,也是一种不可忽视的商业模式转变。云...

    jzman 评论0 收藏0
  • Hadoop新角色:辅助数据仓库

    曾经有段时间,大概两年前,SQL-on-Hadoop就要打开Hadoop的数据访问。这是基于以下两个原因:SQL自有的那些特征,消除Hadoop/MapReduce专家对数据访问的排他性。是的,一些架构细节也是重要的,比如SQL引擎是否直接触及Hadoop集群的...

    joyvw 评论0 收藏0
  • 为什么我们需要数据?

    ...个新名词了?先说我的想法,其实还是用户需求驱动数据服务,大家开始关注 Data Lake 的根本原因是用户需求发生了质变,过去的数据仓库模式以及涉及到的相关组件没有办法满足日益进步的用户需求。趋势这里聊一个很重...

    Tecode 评论0 收藏0
  • 数据中台:宜信敏捷数据中台建设实践|分享实录

    ...容来源:宜信技术学院第2期技术沙龙-线上直播|宜信敏捷数据中台建设实践 分享嘉宾:宜信数据中台平台团队负责人 卢山巍 导读:宜信于2017年推出了一系列大数据开源工具,包括大家熟悉的DBus、Wormhole、Moonbox、Davinci等,在技...

    mtunique 评论0 收藏0
  • 如何保证Hadoop数据不变成“数据洪水”

    数据湖的提出距今已经有了几年时间了,特别是在当今时代中,基于Hadoop建立的数据湖在大数据处理中占有的位置越来越重要。但是如何保证数据湖不像南方水灾一样泛滥,依然是一个耐人寻味的话题。数据湖已满,如何防泛...

    frontoldman 评论0 收藏0
  • 数据数据仓库的区别

    ...631.png style=max-width:650px/>1、数据结构:数据仓库只能存储经过处理和提炼的数据,而数据湖存储尚未出于某种目的处理的原始数据。因此,数据湖需要比数据仓库大得多的存储容量,且数据灵活、分...

    评论 收藏
  • 孔明说天有不测风云,我说无灾备不上云

    ...欠东风。现在公共云混战,我想说,无灾备不上云,保护数据,未雨绸缪,带了雨伞,还需雨衣。未雨绸缪,到底是带雨伞还是雨衣呢?时代在变,人的追求也在变。随着公共云对企业用户的影响加深,一大批上云企业越来越重...

    stormgens 评论0 收藏0
  • 思考:真正的分布式数据库是否让“数据”概念成为历史?

    ...最近吴宁川一篇《厉害了,蚂蚁金服!创造了中国自己的数据库OceanBase》报道了OceanBase诞生的前因后果。内容非常详实,值得分享。同时自己也分享几点杂想: 第一,杀熟不仅仅是大数据时代的产物 之前从某网平台爆出的订购...

    zhaot 评论0 收藏0
  • 思考:真正的分布式数据库是否让“数据”概念成为历史?

    ...最近吴宁川一篇《厉害了,蚂蚁金服!创造了中国自己的数据库OceanBase》报道了OceanBase诞生的前因后果。内容非常详实,值得分享。同时自己也分享几点杂想: 第一,杀熟不仅仅是大数据时代的产物 之前从某网平台爆出的订购...

    番茄西红柿 评论0 收藏0
  • 思考:真正的分布式数据库是否让“数据”概念成为历史?

    ...最近吴宁川一篇《厉害了,蚂蚁金服!创造了中国自己的数据库OceanBase》报道了OceanBase诞生的前因后果。内容非常详实,值得分享。同时自己也分享几点杂想: 第一,杀熟不仅仅是大数据时代的产物 之前从某网平台爆出的订购...

    incredible 评论0 收藏0

推荐文章

相关产品

<