摘要：数据出来后，阿里云还要在全球范围内调度流量，一丝一毫的不准确都可能导致很严重的后果，所以对于数据的准确性要求很高。阿里云更多的是做实时数据分析。
想要实现优质高速的互联网视频服务，一定离不开高质量的内容分发网络服务，就是我们常说的CDN，在10月13日云栖大会视频多媒体分论坛上，阿里云高级技术专家空见为大家讲解了CDN服务过程中，数据处理、安全监测、日志分析、智能分析是如何为CDN赋能的。下面是演讲主要内容提炼：
一、业务背景目前阿里云CDN的节点的数量超过1200个，可承载的带宽能力超过80Tbps，基本能覆盖国内一半的分发要求，海外的部署也是十分广泛的。在产品方面，CDN包括PCDN、安全加速、全站加速等各种子产品，因为分析的场景不同，所以对数据平台的扩展性也提出了更高的要求。从业务规模来看，阿里云CDN现在线上跑着百万级的域名，每个域名的分析都要做，比传统CDN高了两个量级。如此庞大的业务，对于用户内容的分发是好事情，对数据的回收和分析，却是一个不小的挑战。
二、数据需求CDN的数据有三个关键字：海量、可靠、实时。
海量，CDN目前每秒钟有大几千万的数据访问，每天会沉淀出来5PB的系统日志，所以离线数据通常在EB级别，这个对实时计算和离线分析都有很大的压力；在监控这块阿里云CDN每天达到千亿级别，而且每年CDN数据增长都在100%之上，所以系统必须要有很强的扩展性，并提前设计好各个环节。
可靠，CDN的数据一定要是准确的，不能有毛刺的数据。因为数据的应用场景是很苛刻的，比如计费和监控，不能出现纰漏，不能漏报误报。数据出来后，阿里云CDN还要在全球范围内调度流量，一丝一毫的不准确都可能导致很严重的后果，所以对于数据的准确性要求很高。第二是系统本身的稳定，系统各个环境不能有明显的瓶颈，系统要有足够强的容灾能力，系统的自动恢复方案也要是充分的。
实时，在从前，阿里云CDN是五分钟分析一次数据，不管是计量还是计费，都以这个为标准。现在，因为有了更多的业务场景，以直播为例，如果一个主播推流断掉了，不能马上发现的话，影响的可能就是几十、上百万的用户的观看体验。所以，在实时性上，阿里云CDN现在能做到分钟以及秒级的实时，也就是说，在整个数据的要求上来看，不仅吞吐量要大，延迟也要足够低。
如此大规模的数据，如此严苛的要求，阿里云CDN又如何应对呢？
三、数据收集下面我们看看阿里云CDN在数据收集方面是怎么做的。现在整个系统数据量化的程度还是比较高的，不光是用户的访问数据，系统的操作数据也是可以量化的。下面是数据收集全貌图：
数据来源，有两个方面，一个是左边的节点，另一个是右边的用户。
先从从左边的边缘节点来看，它是从全球的边缘节点去采集和处理，上面的数据大部分都是访问、回源的日志，节点之间互相探测的日志等，在总数据中占比80%以上。这里的数据量级非常大，而且本身CDN就是分布式系统，所以阿里云CDN将一部分数据分析工作在节点上就先完成了，比如通用的流量、命中率、QPS等指标，会在节点上做预处理，同时，全量的数据也会通过流式传输往数据中心去走。
右面是用户数据，通过浏览器或SDK来访问我们内容的用户，还包括系统上的用户，包括管理员管理配置、业务人员在后台对线上资源进行调配等，一般这里的数据直接通过流式传输平台SLS客户端直接发出。
在中心传输这一层，阿里云CDN采用阿里云本身的SLS产品，SLS支持对数据进行抽取、转化、分发、检索等功能，本身比较灵活，满足了ETL的场景，并且可以在上面做一些客户定制化的处理。SLS下来后，再用Blink对数据进行流式处理，它有一个好处就是中间状态可以保存，不需要应用和外部的第三方存储再做交互，能够满足数据定制化分析的一些场景。原始的访问及分析后的业务数据，最终会沉淀存储在ODPS中。用户也可以选择其他存储方式，比如可以提供文件下载功能的对象存储OSS。另外，时序数据也会存在OTS数据库中，以备实时检索。
以上的数据收集，基本上都是采用阿里云的产品，阿里云CDN的技术专家们只需要把系统串联起来，保证整体可用性即可，如此，就能将更多精力集中在数据的分析和应用上了。
四、数据分析在数据分析这块，离线方面会做的轻一点，做运营报表和数据挖掘。阿里云CDN更多的是做实时数据分析。这两个分析系统，会将数据最终汇集到专家系统，用于检测这些数据有没有异常，找到异常问题的定位。找到问题根源后，根据其他平台产生的数据，关联起来，用机器学习的算法做一个问题的分类。
数据分析的使用场景包括：
自动化运维，通过机器资源、线上问题的收敛，阿里云CDN目前只需要三个运维就足够了；
智能调度，实时根据大区、节点的情况，合理调度流量和进行节点建设；
用户画像，相当于给用户提供一个体检，给出当前服务的建议，优化业务；
事件中心，记录当前节点上正在发生的事件，关注网络抖动和发布情况。
左边是官网的截图，用户可以根据自己想要的维度，关注各类报表，看到CDN使用的情况。
中间是内部的监控系统，分钟+秒级监控，用于问题的复排和打标。
右边是事件的数据，显示当前整个平台的流量、事件等级和汇集情况等。
除了业务层数据，阿里云CDN和阿里云IDST联合，对CDN上分发的文本、图片、视频等内容进行鉴定，筛查涉黄等违规内容，防止IP被封。
六、总结整个CDN数据化为了驱动系统，形成下发、执行、采集、分析的闭环。
在分享的最后，空见总结道：“从业务接入层，我们可以提供方便、快捷的接入环境；在策略执行层，我们可以快速把操作发布到线上，达到秒级生效；在数据生产层，我们将把所有的系统都量化起来，采集到海量、有效的数据；在决策中心层，我们相应对数据进行收敛，只关注关键数据指标，整个是一个闭环的过程。有了数据化的系统，后面的自动化、智能化才有更多发挥的空间。”
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/33798.html
摘要：数据出来后，阿里云还要在全球范围内调度流量，一丝一毫的不准确都可能导致很严重的后果，所以对于数据的准确性要求很高。阿里云更多的是做实时数据分析。 想要实现优质高速的互联网视频服务，一定离不开高质量的内容分发网络服务，就是我们常说的CDN，在10月13日云栖大会视频多媒体分论坛上，阿里云高级技术专家空见为大家讲解了CDN服务过程中，数据处理、安全监测、日志分析、智能分析是如何为CDN赋能...
摘要：摘要本文由阿里视频云高级技术专家空见撰写，主要介绍的历史特性如何使用和使用之后的性能对比验证。实践证明解决了的一些顽疾，在性能上提升显著，最终正式考虑制定的计划，最后决定以为基础起草，的部分设计人员也被邀请参与了的设计。 摘要： 本文由阿里视频云高级技术专家空见撰写，主要介绍HTTP2.0的历史、特性、如何使用和使用之后的性能对比验证。 背景介绍 要了解HTTP2.0，先了解一下HT...
摘要：讲解从三个部分展开短视频应用场景阿里云短视频解决方案阿里云对短视频用户体验的相关优化。同时，为了面对业务的突发流量，阿里云提供了超过的带宽储备，为持续增长的业务保驾护航。二播放卡顿是指在播放过程中的不流畅情况，会严重影响用户体验。 深圳云栖大会已经圆满落幕，在3月29日飞天技术汇-弹性计算、网络和CDN专场中，阿里云CDN高级技术专家周哲为我们带来了《海量短视频极速分发》的主题分享，带...
摘要：每一个工程师都是对业务场景极其了解的码农加入阿里云后，作为视频云的产品架构师，开始更多的与行业客户沟通视频业务的解决方案，拓展云的边界。如何利用阿里云的技术能力，更好的服务客户业务，服务客户。 摘要： 有人会问，码农和工程师有区别吗？有什么区别？相信每个人都有不同的理解。 你敲下的每一行代码，你想过他会如何在计算机上运行吗？你想过你的这一行代码会产生多少cache miss吗？你想...
摘要：目前，高德主要有地图导航两个产品，以及地图，同时还开放了服务，方便移动开发者更好地为用户提供高质量基于位置的服务。另外，高德经常有大型活动，用户访问量会在某个阶段激增，这时就需基于阿里云的弹性伸缩服务，就能实现快速扩展的基础设施。 摘要： 云计算带来的变革不言而喻，作为一种新型的IT交付模式，切实为企业节省IT成本、加快IT与企业业务结合效率、提升创新能力、加强管理水平以及增强系统本身...
阅读 423·2023-04-25 19:43
阅读 3615·2021-11-30 14:52
阅读 3413·2021-11-30 14:52
阅读 3345·2021-11-30 14:49
阅读 3275·2021-11-30 14:49
阅读 3520·2021-11-29 11:00
阅读 3486·2021-11-29 11:00
阅读 3516·2021-11-29 11:00
