SQL资深专家，居然是这样智能挖掘异常日志

Winer 发布于2019-06-26 18:22 / 924人阅读

摘要：例如，判断机器的延时是否正常，部分是否正常。通常，我们对于异常的数据，要及时的报警，以尽快的处理。算法的迅猛发展，给异常日志挖掘提供了新的方向。然后检测目标数据是否落在了正态分布的边缘位置，如果落在了边缘位置，则认为是一个异常数据。

提取异常日志是个大难题

面对海量的日志(TB乃至PB级别），如何从日志中挖掘出异常信息对于大部分的开发者而言是一个大难题。例如，判断机器的延时是否正常，部分request是否正常。通常，我们对于异常的数据，要及时的报警，以尽快的处理。

通常我们是怎么搞得呢？在以前，依赖于开发者的经验，来根据某些特定的特征，判断是否达到了阈值，例如根据延时是否达到了某个特定的值，或者http 响应码5xx的比例达到了某个阈值。这个阈值，依赖于资深的开发者的丰富的经验。

AI dev/ops

AI算法的迅猛发展，给异常日志挖掘提供了新的方向。大名鼎鼎的AI领域专家吴恩达(Andrew NG)，在他所教授的Machine Learning课程中提供了一种Abnormal　Detection算法。算法通过训练数据集，获得一个正态分布。然后检测目标数据是否落在了正态分布的边缘位置，如果落在了边缘位置，则认为是一个异常数据。

算法步骤：

确定要训练的feature，可以是单个指标，比如latency，也可以是复合指标，例如CPU/NetFlow

在训练数据集上，求得均值μ和方差σ^2

对新数据求方程P(x)＝

接下来，我们介绍如何在SQL中使用该算法来检测异常。

日志服务提供的异常检测算法

以延时为例，我们来看哪些延时是异常的。延时的分布一般是这样的：

不满足正太的需求，要把上述图形转化成正太分布，对latency 求对数：log(latency)
　

值μ和方差σ^2:

stddev即标准差
variance即方差
avg_ln即ln(latency)的均值
avglatency即latency的均值

提取异常数据

| select latency  where  pow(e(), - pow((ln(latency) - 8.223) ,2)/2/0.3975) /sqrt(2*pi()) / 0.53  < 0.01 order by latency desc

把方差标准差和均值带入公式，使用where筛选出来小于0.01的结果，即异常值。可以看到，获得的结果，明显大于军latency的均值。

混合云服务器托管数据挖掘专家人工智能专家异常数据挖掘人工智能专家介绍

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/19716.html

阿里巴巴智能监控新场景的探索

摘要：摘要智能监控是智能运维的子领域，详细分析。我和我的团队在阿里内部的分工是横向去看阿里巴巴业务指标的监控，我们就以这个话题展开。分享分为五个环节，从阿里巴巴不同的业态，特别是新的业态带来的挑战讲起。摘要：智能监控是智能运维的子领域，详细分析。 showImg(https://segmentfault.com/img/remote/1460000017348788); 作者简介王肇...

wwq0327 2019-06-24 18:14 评论0 收藏0
阿里云高级技术专家空见： CDN的数据化之路

摘要：数据出来后，阿里云还要在全球范围内调度流量，一丝一毫的不准确都可能导致很严重的后果，所以对于数据的准确性要求很高。阿里云更多的是做实时数据分析。想要实现优质高速的互联网视频服务，一定离不开高质量的内容分发网络服务，就是我们常说的CDN，在10月13日云栖大会视频多媒体分论坛上，阿里云高级技术专家空见为大家讲解了CDN服务过程中，数据处理、安全监测、日志分析、智能分析是如何为CDN赋能...

番茄西红柿 2019-07-16 14:29 评论0 收藏0
阿里云高级技术专家空见： CDN的数据化之路

摘要：数据出来后，阿里云还要在全球范围内调度流量，一丝一毫的不准确都可能导致很严重的后果，所以对于数据的准确性要求很高。阿里云更多的是做实时数据分析。想要实现优质高速的互联网视频服务，一定离不开高质量的内容分发网络服务，就是我们常说的CDN，在10月13日云栖大会视频多媒体分论坛上，阿里云高级技术专家空见为大家讲解了CDN服务过程中，数据处理、安全监测、日志分析、智能分析是如何为CDN赋能...

rollback 2019-06-21 16:11 评论0 收藏0
你和阿里资深架构师之间，差的不仅仅是年龄（进阶必看）

摘要：导读阅读本文需要有足够的时间，笔者会由浅到深带你一步一步了解一个资深架构师所要掌握的各类知识点，你也可以按照文章中所列的知识体系对比自身，对自己进行查漏补缺，觉得本文对你有帮助的话，可以点赞关注一下。目录一基础篇二进阶篇三高级篇四架构篇五扩导读：阅读本文需要有足够的时间，笔者会由浅到深带你一步一步了解一个资深架构师所要掌握的各类知识点，你也可以按照文章中所列的知识体系对比自身，对自己...

huaixiaoz 2019-08-15 15:24 评论0 收藏0