处理海量数据SEARCH AGGREGATION

首页/精选主题/

处理海量数据

ElasticSearch

...磁盘的使用,对海量日志数据存储、检索、分析有效提升处理效率。

处理海量数据问答精选

为什么SQL处理数据比Java快?

回答:使用SQL处理数据时,数据会在数据库内直接进行处理,而且sql处理本身可以对sql语句做优化,按照最优的策略自动执行。使用Java处理时,需要把数据从数据库读入到Java程序内存,其中有网络处理和数据封装的操作,数据量比较大时,有一定的延迟,所以相对来说数据处理就慢一些。当然,这个只是大体示意图,实际根据业务不同会更复杂。两者侧重的点不同,有各自适合的业务领域,需要根据实际情况选用合适的方式。

stefanieliang | 1544人阅读

你处理过的最大的数据量是多少?你是如何处理的?

回答:我是做JAVA后台开发的,目前为止最多处理过每天600万左右的数据!数据不算特别多,但是也算是经历过焦头烂额,下面浅谈下自己和团队怎么做的?后台架构:前置部门:负责接收别的公司推过来的数据,因为每天的数据量较大,且分布不均,使用十分钟推送一次报文的方式,使用batch框架进行数据落地,把落地成功的数据某个字段返回给调用端,让调用端验证是否已经全部落地成功的,保证数据的一致性!核心处理:使用了spr...

李增田 | 1058人阅读

hadoop任务,给定数据量和处理逻辑(Sql、UDF等),如何预估计算时间与资源?有没有实际案例?

回答:首先明确下定义:计算时间是指计算机实际执行的时间,不是人等待的时间,因为等待时间依赖于有多少资源可以调度。首先我们不考虑资源问题,讨论时间的预估。执行时间依赖于执行引擎是 Spark 还是 MapReduce。Spark 任务Spark 任务的总执行时间可以看 Spark UI,以下图为例Spark 任务是分多个 Physical Stage 执行的,每个stage下有很多个task,task 的...

silenceboy | 905人阅读

移动托管怎么处理

问题描述:关于移动托管怎么处理这个问题,大家能帮我解决一下吗?

崔晓明 | 627人阅读

转移密码收到怎么处理

问题描述:关于转移密码收到怎么处理这个问题,大家能帮我解决一下吗?

bbbbbb | 632人阅读

cms空间不足怎么处理

问题描述:关于cms空间不足怎么处理这个问题,大家能帮我解决一下吗?

付伦 | 721人阅读

处理海量数据精品文章

  • 数据时代 Hadoop解决数据处理三瓶颈

    海量数据处理的三个主要因素        越来越多的大企业的数据集以及创建需要的一切技术,包括存储、网络、分析、归档和检索等,这些被认为是海量数据。这些大量信息直接推动了存储、服务器以及安全的发展。同时也是...

    Pandaaa 评论0 收藏0
  • 云计算与粒计算

    ...现已成为研究模糊的、不较精确的、不完整的及海量信息处理的重要工具。粒计算是一个含义广泛的术语,覆盖了所有有关粒的理论、方法学、技术和工具的研究,并认为粒计算是模糊信息粒化、Rough集理论和区间计算的超集,...

    lifefriend_007 评论0 收藏0
  • 云计算与粒计算

    ...现已成为研究模糊的、不较精确的、不完整的及海量信息处理的重要工具。粒计算是一个含义广泛的术语,覆盖了所有有关粒的理论、方法学、技术和工具的研究,并认为粒计算是模糊信息粒化、Rough集理论和区间计算的超集,...

    kamushin233 评论0 收藏0
  • 数据简介

    ...生的数据量相比以前有了爆炸式的增长,以前传统的数据处理技术已经无法胜任,需求催生技术,一套用来处理海量数据的技术应运而生,这就是发数据技术。梳理海量数据的核心技术:海量数据的储存(分布式)海量数据的运...

    Tecode 评论0 收藏0
  • 从Hadoop框架与MapReduce模式中谈海量数据处理

    ...术,且它还牵扯到了一个我更加感兴趣的话题:海量数据处理。    由此,最近凡是空闲时,便在看Hadoop,MapReduce海量数据处理这方面的论文。但在看论文的过程中,总觉得那些论文都是浅尝辄止,常常看的很不...

    Shisui 评论0 收藏0
  • 什么是粒计算?和云计算有什么关系?

    ...多样化的市场应用需求。粒计算的基本问题然而,人类在处理大量复杂信息时.由于人类认知能力有限,往往会把大量复杂信息按其各自特征和性能将其划分为若干较为简单的块.每个被分出来的块就被看成是一个粒。实际上,...

    saucxs 评论0 收藏0
  • 什么是粒计算?和云计算有什么关系?

    ...多样化的市场应用需求。粒计算的基本问题然而,人类在处理大量复杂信息时.由于人类认知能力有限,往往会把大量复杂信息按其各自特征和性能将其划分为若干较为简单的块.每个被分出来的块就被看成是一个粒。实际上,...

    RobinTang 评论0 收藏0
  • 2017安防云计算核心技术探讨

    ...,整个安防平台呈现出数据量超大、数据类型多样、数据处理逻辑复杂、数据清洗、数据共享、数据挖掘难度高等处理难题,对安防厂商提出了巨大的挑战。其中主要表现在智能交通行业领域中海量的交通流信息和卡口过车抓拍...

    TalkingData 评论0 收藏0
  • 只需五步,三分钟极速部署企业级大数据平台服务

    ...捷、灵活、高效的大数据解决方案,减少海量数据分析、处理、查询的延迟,青云QingCloud 基于 SparkMR 推出新一代可提供计算、存储、分析、查询一站式全方位的大数据服务 QingMR 。 作为 SparkMR 的升级版本,QingMR 包含了 HDFS 分布...

    darcrand 评论0 收藏0
  • 图文并茂:5分钟了解Hadoop

    ...孩子给自己的大象玩具起的名字。因为原有的数据存储和处理工具对于处理互联网泡沫之后开始出现的海量数据显得力不从心, 所以开发了Hadoop。首先,谷歌提出了MapReduce构架,它能够应对来自整合全球信息任务所产生的数据流...

    FleyX 评论0 收藏0
  • QQ亿级日活跃业务后台核心技术揭秘

    ...从可用性的维度提升海量服务的可靠性及海量服务的故障处理方式,包括:SNG后台架构的概览;面向海量服务的设计原则。腾讯海量服务的后台设计一般通用的解决方案是什么,包括如何提升海量服务的高可用性,如何从架构层...

    Taste 评论0 收藏0
  • QQ亿级日活跃业务后台核心技术揭秘

    ...从可用性的维度提升海量服务的可靠性及海量服务的故障处理方式,包括:SNG后台架构的概览;面向海量服务的设计原则。腾讯海量服务的后台设计一般通用的解决方案是什么,包括如何提升海量服务的高可用性,如何从架构层...

    terro 评论0 收藏0
  • 数据下的数据分析-Hadoop架构解析

    ...的需求,可以采用精心设计的传统关系型数据库组成并行处理集群,或者采用一些内存计算平台,或者采用HDD的架构,这些无疑都需要比较高的软硬件成本。目前比较新的海量数据实时分析工具有EMC的Greenplum、SAP的HANA等。   ...

    Anchorer 评论0 收藏0
  • 云存储主要技术路线选型比较

    ...主要特点如下: 1)联机业务数据库:面向实时交易业务处理过程中的数据存储和访问,主要特点包括业务访问并发量很高、实时性和可用性很高、每天数据量较大等,数据表内容可达到几千万甚至几亿条记录; 2)批量业务数...

    zlyBear 评论0 收藏0
  • 云存储主要技术路线选型比较

    ...的主要特点如下:1)联机业务数据库:面向实时交易业务处理过程中的数据存储和访问,主要特点包括业务访问并发量很高、实时性和可用性很高、每天数据量较大等,数据表内容可达到几千万甚至几亿条记录;2)批量业务数据库...

    阿罗 评论0 收藏0

推荐文章

相关产品

<