资讯专栏INFORMATION COLUMN

大数据分析druid(大数据实时统计分析数据存储)

felix0913 / 2201人阅读

摘要:俗名德鲁伊是一个为在大数据集之上做实时统计分析而设计的开源数据存储。下文都以德鲁伊代表为什么创建德鲁伊在最近几年,互联网技术的快速增长已经产生了大量由机器产生的数据。通过请求访问数据库

什么是druid

与某连接池同名,但完全是两个东西。Druid(俗名德鲁伊)是一个为在大数据集之上做实时统计分析而设计的开源数据存储。这个系统集合了一个面向列存储的层,一个分布式、shared-nothing(共享)的架构,和一个高级的索引结构,来达成在秒级以内对十亿行级别的表进行任意的探索分析。下文都以德鲁伊代表druid

为什么创建德鲁伊

在最近几年,互联网技术的快速增长已经产生了大量由机器产生的数据。多带带来看,这些数据包含很少的有用信息,价值都是很低的。虽然有基础设施可以处理,但是价格极高
随后出现了的hadoop擅长的是存储和获取大规模数据,但是它并不提供任何性能上的保证它能多快获取到数据。而且不能保证存入的数据立即可见
Metamarkets的产品开发在尝试了关系型数据库管理系统和NoSQL架构后。得到一个结论,就是在开源的世界里,并没有可以充分满足我们需求的系统。最后我们创建了Druid

druid支持的查询类型 timeseries类型

基于时间范围查询的类型

topN类型

基于单维度的排名查询

groupby类型

基于多维度的分组查询

具体如何使用详见官方文档
http://druid.io/docs/0.12.1/q...

简单地说就是拼接符合要求的json。通过http请求访问数据库

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/76523.html

相关文章

  • SegmentFault D-Day 北京:数据

    摘要:很开心在这么冷的天和大家相聚在熟悉的咖啡聊大数据,感谢北京小伙伴踩着冰渣子来参加本场大数据为主题的活动。此次足以见开发者们对大数据这一前沿领域技术的兴趣。 很开心在这么冷的天和大家相聚在熟悉的 3W 咖啡聊大数据,感谢北京小伙伴踩着冰渣子来参加本场大数据为主题的 D-Day 活动。此次沙龙由 SegmentFault 家 Adele 主持,这一次选择了一个相对陌生的主题,但仍然吸引了很...

    vspiders 评论0 收藏0
  • 数据挑战——如何使用Druid实现数据聚合

    摘要:经过反复挑选,云智慧透视宝选择了用于大数据实时查询和分析的高容错高性能开源分布式系统,接下来就由透视宝开发工程师为我们详细解读,云智慧是如何利用实现数据聚合的。 应用性能管理的本质就是通过对业务数据和IT系统性能数据的准确抓取和深度分析,为企业业务和IT的可持续发展提供平台支撑。而云智慧透视宝产品在得到越来越多客户认可的同时,业务数据也在急剧增加,无论是数据存储还是数据查询,都会给原...

    wanghui 评论0 收藏0
  • 如何使用 Cloud Insight SDK 实现 Druid 监控?

    摘要:并且也已经计划将用于生产环境中。由于被监控的机器处于内网环境下,并不能与外网通讯。如是将这个指标的数值自增,并且标签信息为,而采样率为采样率通过参数来设置采样率。采样率会传递至,所以最终发送的数值,为计算采样率后的真实数值。 Druid 简介与用途 首先说明,这里所说的 Druid 并不是阿里巴巴的数据库连接池项目,而是 Eric Tschetter 创立的一个开源的分布式实时处理系统...

    awkj 评论0 收藏0
  • 数据学习一般都需要学习哪些知识

    摘要:大数据架构设计阶段分布式。大数据数据采集阶段。大数据,或称巨量资料,指的是需要新处理模式才能具有更强的决策力洞察力和流程优化能力的海量高增长率和多样化的信息资产。大数据的特点大量高速多样价值密度真实性。基础阶段:Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis。hadoop mapreduce hdfs yarn:hadoop大数据存储阶段:hb...

    Tecode 评论0 收藏0
  • 据实践】Kafka生产者编程(5)——ProducerConfig详解(下)

    摘要:前言上一篇文章大数据实践生产者编程详解上中,对的相关配置项进行了部分介绍,在本文章中,将继续完成剩下配置项的介绍。在前面的文章大数据实践生产者编程中,对有详细讲解。重要性低类型默认值,表示不能被使用配置,用于事务的递交。 前言 上一篇文章【大数据实践】Kafka生产者编程(4)——ProducerConfig详解(上)中,对kafka producer的相关配置项进行了部分介绍,在本文...

    codecook 评论0 收藏0

发表评论

0条评论

felix0913

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<