摘要：日志采集器文件数据采集端，负责数据读取过滤以及上送。任务执行文件数据归集任务。数据发布器发布已读取上来的文件数据。支持启停文件数据归集功能，可动态选择需要读取的文件。支持按日小时或分钟查看不同时间的文件数据。
本周我们向大家介绍UAVStack中的文件数据归集功能。该功能可以有效解决日志查找费时和日志文件丢失等问题，帮助快速定位解决问题，规避日志访问权限可能带来的安全风险。
前言在分布式微服务架构下，单个应用中往往包含很多实例。日常工作中，我们常常需要查看应用运行过程中产生的日志。但登陆服务器从大量实例中查找目标日志耗时耗力；有时日志文件还会在应用重启过程中丢失。
UAVStack的文件数据归集功能不仅能够集中所有业务的日志，方便工程师更加轻松地查找相关日志，进而快速定位、解决问题；还能省去服务器权限授予环节，有效规避日志访问权限可能带来的安全风险。
架构归集的文件数据包含应用日志、调用链跟踪、浏览器跟踪和线程分析的数据；也可以在启动参数中配置任意文件路径，配置其它任意文件；还支持UAVStack自身日志文件的归集控制。整体架构如下：
● Source：落盘后的数据文件，包括应用日志文件、调用链数据文件、浏览器数据文件和线程分析数据文件。
● 日志采集器：文件数据采集端，负责数据读取、过滤以及上送。
● Channel：数据消费队列，UAVStack使用的消息队列是RocketMQ。
● Sink：从Channel中拉取文件数据，分发到别处。UAVStack默认分发到数据库ElasticSearch，用于存储归集上送的文件数据。
采集模块UAVStack的文件数据归集是MonitorAgent的Feature。MonitorAgent以守护进程的形式部署，如若死掉将会立即重启，重启后可继续归集文件数据。主要模块如下：
● 归集任务控制器：控制下发归集的任务，包括正在运行的任务和已存在的任务；定时轮询归集任务，构建可执行的归集任务。
● 归集任务调度器：定时调度归集任务。
● 任务：执行文件数据归集任务。
● 数据读取器：读取、过滤文件数据。
● 数据发布器：发布已读取上来的文件数据。
归集过程● 开启归集：文件数据归集模块自动发现应用日志的画像信息，并进行处理，判断应用日志画像信息是否更新；用户可控制应用日志、调用链跟踪、浏览器跟踪和线程分析的归集功能。AppHub支持启停文件数据归集功能，可动态选择需要读取的文件。
● 归集任务下发：当用户触发归集后，AppHub端会开启文件数据归集任务并自动下发，生成数据归集任务，写到任务列表中，并持久化到本地文件task.cache中。
● 归集任务控制：定时任务轮询管理任务列表，分别构建可执行的归集任务,并通过ForkJoin提交。
● 文件数据读取：读取ForkJoin提交的每个任务。其中需要处理的日志文件都是通过具体的类进行操作处理。这些类包括RandomAccessFile类，其中seek()方法随机访问文件，read()方法读取文件数据。另外，数据位置定时更新任务能够将读取到的数据的位置更新到本地文件position.cache，供下一次文件读取使用。
● 文件数据过滤：根据配置的日志策略，对读取的日志进行正则表达式的匹配过滤，完成日志数据取舍。
● 文件数据发布：归集上来的日志数据，可按照不同的发布类型走不同的发布实现逻辑，发布到指定的目的地。UAVStack默认发布到RocketMQ中，并支持自定义发布。
另外，HM服务拉取RocketMQ中指定topic的日志数据，处理成相应的格式后存储到ElasticSearch数据库中。
文件数据展示通过AppHub可以查看归集上来的应用日志、调用链跟踪、浏览器跟踪和线程分析的文件数据。由AppHub调用后台服务的http查询接口，通过HM日志数据服务读取数据库，进行文件数据的查询和展示，如下图所示：
文件数据的展示效果如下：
● 支持查看不同应用集群、应用实例和日志文件的归集数据。
● 支持按日、小时或分钟查看不同时间的文件数据。
● 支持按升序或降序查看文件数据。
● 支持关键字搜索，多个关键字用空格分开，表示“或”连接，即任意一个关键字匹配即可；多个关键字用“+”分开，表示“与”连接，即所有关键字都匹配的日志信息；如果同时使用空格和“+”，则“或”连接优先；如果关键字首尾都加“*”，则表示模糊匹配，展示所有匹配结果。
● 点击单行日志，支持向前、向后滚动查看日志信息，如下图：
文件数据关联对于归集上来的应用日志、调用链跟踪和浏览器跟踪数据，可进行相互关联；浏览器跟踪数据可关联调用链跟踪数据，调用链跟踪数据可关联应用日志数据，如下图所示：
文件数据预警归集后的文件数据支持预警，可针对文件数据中是否出现关键字或者关键字出现的次数配置预警策略。预警策略触发后可通过邮件、短信、微信等方式通知用户，也可通过Http形式通知第三方应用系统。
总结UAVStack的文件数据收集功能已被广泛使用，是具备较高可用性和可靠性的分布式服务。如果需要归集的日志量较大，仅需增加UAVStack自身的HM服务，可扩展性较强。
官方网站：https://uavorg.github.io/main/
开源地址：https://github.com/uavorg
UAVStack已在Github上开放源码，并提供了安装部署、架构说明和用户指南等双语文档，欢迎访问-给星-拉取~~~
作者： 段德华 宜信技术学院
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/8578.html
摘要：页面展示的统计追踪等信息则通过的接口获取四功能展示数据库监控目前已实现的功能有分类统计数据库连接池监控慢耗时分布统计慢统计慢追踪以及调用链日志关联功能。 作者： 王林林 出处：UAVStack智能运维 来源：宜信技术学院技术沙龙001期|AI中台：一种敏捷的智能业务支持方案|宜信技术沙龙 3月28日晚8点线上直播，点击报名 UAVStack是一个全维监控与应用运维平台。UAV.Mon...
摘要：页面展示的统计追踪等信息则通过的接口获取四功能展示数据库监控目前已实现的功能有分类统计数据库连接池监控慢耗时分布统计慢统计慢追踪以及调用链日志关联功能。 作者： 王林林 出处：UAVStack智能运维 来源：宜信技术学院技术沙龙001期|AI中台：一种敏捷的智能业务支持方案|宜信技术沙龙 3月28日晚8点线上直播，点击报名 UAVStack是一个全维监控与应用运维平台。UAV.Mon...
摘要：注入机制作为工作的基础，也为无侵入捕获应用数据提供可能。代码注入机制结合和技术，在应用字节码加载到之前进行字节码改写。当然，修改字节码文件流的动作是在中进行的。 UAVStack的中间件增强框架专题（MOF）】为大家详细讲述UAV中的MOF Agent是如何借助javaagent（premain）和javaassist技术在对应用无侵入的前提下完成数据捕获的。欢迎继续关注UAVStac...
摘要：本文为大家讲解中的框架。在系统中，中间件增强框架探针提供了应用画像及性能数据收集等功能，其中数据收集功能主要采集四类数据实时数据画像数据调用链接数据生成以及线程数据分析数据。提供服务，供后续抓取使用，其中服务注册了三个，分别为。 本文为大家讲解MOF中的CaptureFramework框架。该框架提供统一的数据抓取行为和生成抓取结果能力，实现实时数据采集。 背景 应用服务监控是智能运维...
摘要：拓展阅读调用链系列解读中的贪吃蛇调用链系列轻调用链实现在中，协议的请求响应模型是由规范容器如实现的。在这篇文章中，我会向大家具体介绍如何从零开始捕获和。配置以后，我们就可以从的方法中获取到和后文简称和了。三获取和获取的方式大体相同。 拓展阅读：调用链系列（1）：解读UAVStack中的贪吃蛇 调用链系列（2）：轻调用链实现 在Java中，HTTP协议的请求/响应模型是由Servlet规...
阅读 2638·2021-11-25 09:43
阅读 1062·2021-11-24 09:39
阅读 1894·2021-09-30 09:47
阅读 1111·2021-09-22 15:15
阅读 2121·2021-09-10 10:51
阅读 1687·2019-08-30 15:55
阅读 2839·2019-08-30 11:06
阅读 777·2019-08-30 10:53
