摘要：报表内业务通常存在以下几个难题变更频繁。尤其是类企业，报表需求是非常的频繁变更单，因此很难将报表需求进行固化，进行针对化的优化。实时性表现在数据更新的实时性以及加载报表的实时性。
Background
对于任何企业服务（SaaS）或者面向大众（To C）的系统，报表是内部运营中最重要的部分。报表内业务通常存在以下几个难题：
变更频繁。尤其是SaaS类企业，报表需求是非常的频繁变更单，因此很难将报表需求进行固化，进行针对化的优化。
SQL复杂。报表通常是直接从源数据库通过SQL的方式加载出来，计算与查询都非常复杂，没办法简单的完全优化。
实时性。实时性是报表业务最具有价值的点。实时性表现在数据更新的实时性以及加载报表的实时性。如果加载一个报表需要半小时那自然是极大的消耗耐心的事情。
那么，我们对于报表业务的架构需求就很清晰了：
满足数据增长的需求。AWS Redshift与Google Cloud Big Query 都是现代的海量存储分析引擎，我们优先选择它们。
尽可能的实时性。 这要求我们在ETL阶段，最好可以使用MySQL Slave的方式进行数据提取。
尽可能的灵活机动性。 这要求不能进行任何的预计算。
业务架构big_query.jpg
挑选合适的ETL工具进行从生产环境的transactional database中提取数据。
ETL将数据写入到数据仓库中(全量数据库仓库，半年热数据仓库集)。
BI 应用程序或者自己开发的API连接到数据库仓库进行数据读写。
为什么需要热数据仓库?因为从redshift/big query等系统查询数据是秒级响应，做不到毫秒级响应。当我们需要最快速的出面向C端的报表业务的时候，延迟是很重要的。而通常，C端报表的数据时长比较短。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/110750.html
摘要：一名词解释，英文是中文被解释为商业智能，是一种帮助企业更好地利用数据来提高决策质量的技术集合，是一个从大量数据中挖掘信息和知识的过程。大数据，英文是，通过算法直接分析来自不同渠道和格式的海量数据，发现数据之间的相关性。 BI与大数据已经是现代社会的热词，但很多人并不能区别两者之间的关系。本文就请来权威解读关于它们的定义，两者间的区别与联系，以及相关的工作职责。 111 一、名词解释BI...
摘要：一名词解释，英文是中文被解释为商业智能，是一种帮助企业更好地利用数据来提高决策质量的技术集合，是一个从大量数据中挖掘信息和知识的过程。大数据，英文是，通过算法直接分析来自不同渠道和格式的海量数据，发现数据之间的相关性。 BI与大数据已经是现代社会的热词，但很多人并不能区别两者之间的关系。本文就请来权威解读关于它们的定义，两者间的区别与联系，以及相关的工作职责。 111 一、名词解释BI...
摘要：功能使用报表软件，还是那个公式报表多样的格式动态的数据。这也是报表区别于数据库软件的一大特点数据库软件没有实现报表软件的格式多样化的特性。企业应用情况国内大部分企业还是使用的报表软件，主要用以解决企业内数据统计和展示的需求。 商业智能、报表都是当下信息时代的热词，但是报表工具和BI的区别和联系究竟是什么呢?小编这就一文解决这普遍存在的困惑，从产品理念、典型应用场景、功能使用、面向群体、...
摘要：功能使用报表软件，还是那个公式报表多样的格式动态的数据。这也是报表区别于数据库软件的一大特点数据库软件没有实现报表软件的格式多样化的特性。企业应用情况国内大部分企业还是使用的报表软件，主要用以解决企业内数据统计和展示的需求。 商业智能、报表都是当下信息时代的热词，但是报表工具和BI的区别和联系究竟是什么呢?小编这就一文解决这普遍存在的困惑，从产品理念、典型应用场景、功能使用、面向群体、...
摘要：功能使用报表软件，还是那个公式报表多样的格式动态的数据。这也是报表区别于数据库软件的一大特点数据库软件没有实现报表软件的格式多样化的特性。企业应用情况国内大部分企业还是使用的报表软件，主要用以解决企业内数据统计和展示的需求。 商业智能、报表都是当下信息时代的热词，但是报表工具和BI的区别和联系究竟是什么呢?小编这就一文解决这普遍存在的困惑，从产品理念、典型应用场景、功能使用、面向群体、...
阅读 2623·2021-11-24 09:39
阅读 3464·2021-10-27 14:19
阅读 1872·2021-08-12 13:25
阅读 2237·2019-08-29 17:07
阅读 1006·2019-08-29 13:44
阅读 464·2019-08-27 14:27
阅读 935·2019-08-26 12:17
阅读 326·2019-08-23 17:16
