大数据架构与系统SEARCH AGGREGATION

首页/精选主题/

大数据架构与系统

UCloudStor 统一存储

...统一存储层,为应用提供块、对象及文件存储服务,打破数据调度壁垒;同时提供多种应用接口,适用于虚拟化、云计算、大数据、物联网及企业应用等使用场景。纯软件定义存储系统,采用领先的全分布式架构,无单点故障,...

大数据架构与系统问答精选

大数据分布的架构怎么做调优呢?

回答:这个太范化了吧。大数据架构选择的方案就有很多,海量数据的即席查询本省就是业内目前的痛点,暂时没有太好的解决方案,kylin等框架也只是一个折中方案,如果你不是要求海量数据分析的秒级响应的话sparkSql、presto等都是不错的方案,分钟级别可以返回。

Paul_King | 412人阅读

支撑日活百万用户的高并发系统,应该如何设计其数据库架构? ?

回答:以mysql为列:1:支撑高并发系统,一定会涉及事务,所以数据库引擎必选innodb,innodb支持事务,事务级别根据业务而定,如果业务数据一致性要求很高,事务就开启序列化级别,这样就完全隔离事务,但是会导致锁资源竞争加剧。mysql的性能有一定的降低。2:读写分离,数据库分成主库和从库,主库负责写数据,丛库负责读数据。注意主从数据库数据一致性问题。3:冷热数据分离,美团,饿了么部分设计采用冷热...

Vultr | 874人阅读

如何从零开始、系统地学习大数据?

回答:随着大数据技术开始逐渐落地应用,未来不仅IT互联网领域的从业者需要掌握大数据技术,传统行业从业者也需要掌握一定的大数据技术,尤其是管理类岗位,掌握大数据技术对于提升自身的资源整合能力,以及扩展自身的能力边界,都有比较积极的意义。从我近些年带大数据方向研究生的情况来看,早期选择大数据方向的同学,往往都来自于数学、统计学和计算机大类专业的同学,近两年管理学专业的同学也开始选择大数据方向了,这是一个明显...

moven_j | 828人阅读

大三信息管理与信息系统专业有点迷茫,女生,数据库sql语句学的比较拿手,做数据库工程师有前途吗?

回答:我认为专业还是选你自己喜欢的比较好,因为喜欢你才会用心去做,才会坚持。前途这个东西,就是坚持不懈。

nanchen2251 | 795人阅读

系统架构如何进行性能优化?

回答:从系统架构本身来说,一般系统优化主要从三个方面入手,数据持久层、业务逻辑层和前端展示层。数据持久层限制系统性能主要有两个方面,一是数据库自身的性能,二是对数据库操作的方式,数据库自身相对简单,一般通过优化配置、采用高可用方案、搭建集群或者使用性能更好的数据库来提升性能;数据库操作主要是数据库读写操作,可以通过SQL优化的方式来提升读写速度,或者通过缓存的方式减低并发、提升性能。业务逻辑层代码层面常...

senntyou | 781人阅读

分布式架构和分布式系统存储研发的区别是什么?

回答:分布式架构是软件系统分布式系统存储是基于存储、服务器、数据库技术、容灾热备等技术的系统集成数字经济时代,各个企业、个人都在生产数据,利用数据,数据也在社会中不断流动、循环,为这个时代创造着价值与机遇。尽管数据如此珍贵,但我们仍然会听到在集中式存储场景中,由于网络攻击、火灾、地震而造成数据故障、丢失等问题。为了防止数据出现故障、数据丢失、服务器出错、数据无法恢复等情况,越来越多企业开始把集中存储转变...

cocopeak | 391人阅读

大数据架构与系统精品文章

  • GIAC 2017全球互联网架构会最新日程

    ...应用都需要有 APM 体系,可以随时分析性能的情况;在大数据时代,随着数据规模的增加以及硬件计算能力的提升,数据库的使用也发生了重大的变化;最重要的,整个 DevOps 也在进化到人工智能时代,监控、服务治理、调度这...

    617035918 评论0 收藏0
  • GIAC 2017全球互联网架构会最新日程

    ...应用都需要有 APM 体系,可以随时分析性能的情况;在大数据时代,随着数据规模的增加以及硬件计算能力的提升,数据库的使用也发生了重大的变化;最重要的,整个 DevOps 也在进化到人工智能时代,监控、服务治理、调度这...

    Imfan 评论0 收藏0
  • 从小白程序员一路晋升为厂高级技术专家我看过哪些书籍?(建议收藏)

    ...出版的技术图书 即将出版的《深入理解XXXXXXXXX》 《海量数据处理与大数据技术实战》 《MySQL技术大全:开发、优化与运维实战》 《深入理解高并发编程》 《并发编程核心知识》 《冰河的渗透实战笔记》 《我要进大厂系列之面...

    sf_wangchong 评论0 收藏0
  • Sybase美地森携手打造全球领先的云架构数据仓库平台

    大数据时代为数据存储带来压力,越来越多的组织需要在云计算的技术基础上搭建起能够存储大量结构化和非结构化数据的存储平台。云存储应云而生。   所谓云存储,是指通过集群应用、网格技术或分布式文件系统等...

    desdik 评论0 收藏0
  • 技术咖云集 GIAC 2017全球互联网架构会圆满落幕

    ...、微服务架构及 Serverless、中间件平台、容器、AI DevOps、数据库、大前端、Fintech、机器学习、人工智能、智能硬件、效率管理等 20 个技术专题。 史海峰、惠新宸、袁进辉、沈剑、陈皓等经验丰富的一线技术团队带头人现场分享...

    MoAir 评论0 收藏0
  • 技术咖云集 GIAC 2017全球互联网架构会圆满落幕

    ...、微服务架构及 Serverless、中间件平台、容器、AI DevOps、数据库、大前端、Fintech、机器学习、人工智能、智能硬件、效率管理等 20 个技术专题。 史海峰、惠新宸、袁进辉、沈剑、陈皓等经验丰富的一线技术团队带头人现场分享...

    Kylin_Mountain 评论0 收藏0
  • 阿里,B站小伙伴奉献的中高级数据运维学习课程规划,高薪原来需要掌握这些

    一.大数据运维相关答疑与概述 1.0 课程与老师介绍          本课程是专门培养大数据运维与架构方向专业人才的体系化课程。课程所有讲师小伙伴全部是在职的知名企业大数据开发专...

    renweihub 评论0 收藏0
  • 数据分布式存储的部署模式:分离式or超融合

    大数据分布式存储的部署模式:分离式or超融合数据中心内部系统的核心要求是稳定可靠,一是指系统在运行过程中有能力提供连续可靠的服务,长时间无故障运行;二是指当故障发生之后,有能力快速定位,及时排查,...

    gnehc 评论0 收藏0
  • SQL on Hadoop在快手数据平台的实践优化 | 分享实录

    快手大数据架构工程师钟靓 本文是根据快手大数据架构工程师钟靓于 5月18-19日在A2M人工智能与机器学习创新峰会《SQL on Hadoop在快手大数据平台的实践与优化》演讲中的分享内容整理而成。 内容简介:本文主要从SQL on Hadoop...

    hedge_hog 评论0 收藏0
  • 数据面临的挑战:当数据遭遇云计算

    大数据正在彻底改变IT世界。那么,什么样的数据谈得上数据呢?   根据IDC的报告,未来十年全球大数据将增加50倍。仅在2011年,我们就将看到1.8ZB(也就是1.8万亿GB)的大数据创建产生。这相当于每位美国人每分钟写3条Tweet,而...

    forsigner 评论0 收藏0
  • 数据面临的挑战:当数据遭遇云计算

           大数据正在彻底改变IT世界。那么,什么样的数据谈得上数据呢?  根据IDC的报告,未来十年全球大数据将增加50倍。仅在2011年,我们就将看到1.8ZB(也就是1.8万亿GB)的大数据创建产生。这相当于每位美国人每分钟写3条...

    Berwin 评论0 收藏0
  • 专访58沈剑:除了架构,我还想认真谈谈管理

    ...系统,以及很多太短的通用平台与系统,主要关注架构、数据库、O2O等方面的技术。 壹佰案例: 作为同时负责过58同城和58到家业务的架构师,可否从架构方向谈下两项业务的技术难点有何不同? 沈剑:58同城是一个信息平台...

    masturbator 评论0 收藏0
  • 什么是数据技术架构

    大数据的应用开发过于偏向底层,具有学习难度大,涉及技术面广的问题,这制约了大数据的普及。现在需要一种技术,把大数据开发中一些通用的,重复使用的基础代码、算法封装为类库,降低大数据的学习门槛,降低开...

    ningwang 评论0 收藏0
  • 微服务架构可视化平台实践

    ...下游依赖关系图,在故障发生时,开发人员可以借助依赖数据快速定位到问题的来源,极大缩短问题修复时间(MTTR)。借助架构图,我们还可以梳理出系统中存在的强弱依赖,在业务高峰期对弱依赖进行降级,或者针对系统依...

    Cristalven 评论0 收藏0
  • 应用案例:SequoiaDB+Spark搭建医院临床知识库系统

    ...的第三方接口整合应用,IT在医疗领域已经进入了一个大数据时代,随着HIS的广泛应用及其功能的不断完善,HIS收集了大量的医疗数据。 进入2012年,大数据及相关的大数据处理技术越来越多地被国人提及,人们也普遍的接受大...

    guqiu 评论0 收藏0

推荐文章

相关产品

<