大数据系统架构SEARCH AGGREGATION

首页/精选主题/

大数据系统架构

UCloudStor 统一存储

...统一存储层,为应用提供块、对象及文件存储服务,打破数据调度壁垒;同时提供多种应用接口,适用于虚拟化、云计算、大数据、物联网及企业应用等使用场景。纯软件定义存储系统,采用领先的全分布式架构,无单点故障,...

大数据系统架构问答精选

大数据分布的架构怎么做调优呢?

回答:这个太范化了吧。大数据架构选择的方案就有很多,海量数据的即席查询本省就是业内目前的痛点,暂时没有太好的解决方案,kylin等框架也只是一个折中方案,如果你不是要求海量数据分析的秒级响应的话sparkSql、presto等都是不错的方案,分钟级别可以返回。

Paul_King | 411人阅读

支撑日活百万用户的高并发系统,应该如何设计其数据库架构? ?

回答:以mysql为列:1:支撑高并发系统,一定会涉及事务,所以数据库引擎必选innodb,innodb支持事务,事务级别根据业务而定,如果业务数据一致性要求很高,事务就开启序列化级别,这样就完全隔离事务,但是会导致锁资源竞争加剧。mysql的性能有一定的降低。2:读写分离,数据库分成主库和从库,主库负责写数据,丛库负责读数据。注意主从数据库数据一致性问题。3:冷热数据分离,美团,饿了么部分设计采用冷热...

Vultr | 874人阅读

如何从零开始、系统地学习大数据?

回答:随着大数据技术开始逐渐落地应用,未来不仅IT互联网领域的从业者需要掌握大数据技术,传统行业从业者也需要掌握一定的大数据技术,尤其是管理类岗位,掌握大数据技术对于提升自身的资源整合能力,以及扩展自身的能力边界,都有比较积极的意义。从我近些年带大数据方向研究生的情况来看,早期选择大数据方向的同学,往往都来自于数学、统计学和计算机大类专业的同学,近两年管理学专业的同学也开始选择大数据方向了,这是一个明显...

moven_j | 827人阅读

系统架构如何进行性能优化?

回答:从系统架构本身来说,一般系统优化主要从三个方面入手,数据持久层、业务逻辑层和前端展示层。数据持久层限制系统性能主要有两个方面,一是数据库自身的性能,二是对数据库操作的方式,数据库自身相对简单,一般通过优化配置、采用高可用方案、搭建集群或者使用性能更好的数据库来提升性能;数据库操作主要是数据库读写操作,可以通过SQL优化的方式来提升读写速度,或者通过缓存的方式减低并发、提升性能。业务逻辑层代码层面常...

senntyou | 780人阅读

分布式架构和分布式系统存储研发的区别是什么?

回答:分布式架构是软件系统分布式系统存储是基于存储、服务器、数据库技术、容灾热备等技术的系统集成数字经济时代,各个企业、个人都在生产数据,利用数据,数据也在社会中不断流动、循环,为这个时代创造着价值与机遇。尽管数据如此珍贵,但我们仍然会听到在集中式存储场景中,由于网络攻击、火灾、地震而造成数据故障、丢失等问题。为了防止数据出现故障、数据丢失、服务器出错、数据无法恢复等情况,越来越多企业开始把集中存储转变...

cocopeak | 390人阅读

高性能数据架构是您数字议程的重中之重吗?

回答:现在有幸参与传统银行数字化转型,负责技术架构部分的转型设计。高性能的数据架构(High Performance Data Architecture),正是我们架构转型的重点。随着科技的蓬勃发展、社交网络的广泛使用、线上消费的普及、数据挖掘的技术提升等大趋势,全球银行业正迎来一场声势浩大的数字化创新浪潮。数字化为消费者的生活及行为模式带来翻天覆地的变化,也孵化出一批新型的金融科技(Fintech)竞...

Lowky | 343人阅读

大数据系统架构精品文章

  • 数据面临的挑战:当数据遭遇云计算

    大数据正在彻底改变IT世界。那么,什么样的数据谈得上数据呢?   根据IDC的报告,未来十年全球大数据将增加50倍。仅在2011年,我们就将看到1.8ZB(也就是1.8万亿GB)的大数据创建产生。这相当于每位美国人每分钟写3条Tweet,而...

    forsigner 评论0 收藏0
  • 数据面临的挑战:当数据遭遇云计算

           大数据正在彻底改变IT世界。那么,什么样的数据谈得上数据呢?  根据IDC的报告,未来十年全球大数据将增加50倍。仅在2011年,我们就将看到1.8ZB(也就是1.8万亿GB)的大数据创建产生。这相当于每位美国人每分钟写3条...

    Berwin 评论0 收藏0
  • 数据分布式存储的部署模式:分离式or超融合

    大数据分布式存储的部署模式:分离式or超融合数据中心内部系统的核心要求是稳定可靠,一是指系统在运行过程中有能力提供连续可靠的服务,长时间无故障运行;二是指当故障发生之后,有能力快速定位,及时排查,...

    gnehc 评论0 收藏0
  • 从零到百亿互联网金融架构发展史

    ...项垂直业务系统搭建上线、产品端极大丰富用户投资、大数据平台研究并使用 第三代架构特点;SOA治理,使用zookeeper作为注册中心,dubbo做监控和调度中心;cas实现单点登录,使用shiro做权限控制 第四代架构特点;全面启用微服...

    mrcode 评论0 收藏0
  • 从零到百亿互联网金融架构发展史

    ...项垂直业务系统搭建上线、产品端极大丰富用户投资、大数据平台研究并使用 第三代架构特点;SOA治理,使用zookeeper作为注册中心,dubbo做监控和调度中心;cas实现单点登录,使用shiro做权限控制 第四代架构特点;全面启用微服...

    U2FsdGVkX1x 评论0 收藏0
  • GIAC 2017全球互联网架构会最新日程

    ...应用都需要有 APM 体系,可以随时分析性能的情况;在大数据时代,随着数据规模的增加以及硬件计算能力的提升,数据库的使用也发生了重大的变化;最重要的,整个 DevOps 也在进化到人工智能时代,监控、服务治理、调度这...

    617035918 评论0 收藏0
  • GIAC 2017全球互联网架构会最新日程

    ...应用都需要有 APM 体系,可以随时分析性能的情况;在大数据时代,随着数据规模的增加以及硬件计算能力的提升,数据库的使用也发生了重大的变化;最重要的,整个 DevOps 也在进化到人工智能时代,监控、服务治理、调度这...

    Imfan 评论0 收藏0
  • Sybase与美地森携手打造全球领先的云架构数据仓库平台

    大数据时代为数据存储带来压力,越来越多的组织需要在云计算的技术基础上搭建起能够存储大量结构化和非结构化数据的存储平台。云存储应云而生。   所谓云存储,是指通过集群应用、网格技术或分布式文件系统等...

    desdik 评论0 收藏0
  • TOP100summit:【分享实录】链家网数据平台体系构建历程

    本篇文章内容来自2016年TOP100summit 链家网大数据部资深研发架构师李小龙的案例分享。编辑:Cynthia 李小龙:链家网大数据部资深研发架构师,负责大数据工具平台化相关的工作。专注于数据仓库、任务流调度、元数据管理、...

    Yu_Huang 评论0 收藏0
  • 云计算和数据:成功组合指南

    ...艺术节上,Motley Fool的Tim Byers说过:在很多方面,云和大数据越来越密不可分且功能相似-云资源用来支撑大数据的存储及项目,而且大数据相对于云来说是一个庞大的业务案例。大数据和云技术的最终联姻,必定是天作之合。  ...

    XBaron 评论0 收藏0
  • 应用案例:SequoiaDB+Spark搭建医院临床知识库系统

    ...的第三方接口整合应用,IT在医疗领域已经进入了一个大数据时代,随着HIS的广泛应用及其功能的不断完善,HIS收集了大量的医疗数据。 进入2012年,大数据及相关的大数据处理技术越来越多地被国人提及,人们也普遍的接受大...

    guqiu 评论0 收藏0
  • 从小白程序员一路晋升为厂高级技术专家我看过哪些书籍?(建议收藏)

    ...出版的技术图书 即将出版的《深入理解XXXXXXXXX》 《海量数据处理与大数据技术实战》 《MySQL技术大全:开发、优化与运维实战》 《深入理解高并发编程》 《并发编程核心知识》 《冰河的渗透实战笔记》 《我要进大厂系列之面...

    sf_wangchong 评论0 收藏0
  • 技术咖云集 GIAC 2017全球互联网架构会圆满落幕

    ...、微服务架构及 Serverless、中间件平台、容器、AI DevOps、数据库、大前端、Fintech、机器学习、人工智能、智能硬件、效率管理等 20 个技术专题。 史海峰、惠新宸、袁进辉、沈剑、陈皓等经验丰富的一线技术团队带头人现场分享...

    MoAir 评论0 收藏0
  • 技术咖云集 GIAC 2017全球互联网架构会圆满落幕

    ...、微服务架构及 Serverless、中间件平台、容器、AI DevOps、数据库、大前端、Fintech、机器学习、人工智能、智能硬件、效率管理等 20 个技术专题。 史海峰、惠新宸、袁进辉、沈剑、陈皓等经验丰富的一线技术团队带头人现场分享...

    Kylin_Mountain 评论0 收藏0
  • 专访58沈剑:除了架构,我还想认真谈谈管理

    ...系统,以及很多太短的通用平台与系统,主要关注架构、数据库、O2O等方面的技术。 壹佰案例: 作为同时负责过58同城和58到家业务的架构师,可否从架构方向谈下两项业务的技术难点有何不同? 沈剑:58同城是一个信息平台...

    masturbator 评论0 收藏0

推荐文章

相关产品

<