资讯专栏INFORMATION COLUMN

Logtail从入门到精通(三):机器分组配置

FuisonDesign / 1835人阅读

摘要:自定义标识机器组基于集团内数年来的运维经验总结,我们设计了一种灵活性更高使用更加便捷耦合度更低的配置机器管理方式自定义标识机器分组。填写机器组配置。单击确认结束配置。

摘要: 基于集团内数年来的Agent运维经验总结,我们设计了一种灵活性更高、使用更加便捷、耦合度更低的配置&机器管理方式:自定义标识机器分组。此种方式对于动态环境非常适用,尤其适用于弹性伸缩服务和swarm、pouch(阿里docker)、Kubernetes等容器环境。

什么是机器分组

上一篇中我们对机器分组进行了简单的介绍,从更通俗的角度讲:机器分组就是一批产生相同日志的机器,一般情况下是一组应用,比如Nginx、MongoDB、HDFS等集群。通常一个机器分组下会产生多种日志,会分别采集到多个logstore。而同时一个机器也可以扮演多种角色(比如同时担当前端和后端的角色,既部署了Nginx也部署了应用worker),因此一个机器也会属于多个机器分组中。所以我们有了以下的机器分组模型:

机器分组类型

目前我们支持了两种不同的机器分组,分别是IP标识和自定义标识分组。

IP标识机器组
IP标识的机器组通俗易懂,非常易于上手,只需简单的将IP输入到分组里即可完成配置,同时也支持一个分组里面输入多个IP。

IP标识的机器组虽然配置简单,但存在非常大的缺陷:不支持动态缩扩容。在实际使用中机器组中机器经常会发生变化(例如机器替换、服务扩容/缩容),尤其在使用弹性伸缩服务、Kubernetes容器服务更为明显,如果没有及时同步更新或忘记配置,新增加的机器便无法采集到日志。

自定义标识机器组
基于集团内数年来的Agent运维经验总结,我们设计了一种灵活性更高、使用更加便捷、耦合度更低的配置&机器管理方式:自定义标识机器分组。

自定义标识机器分组操作非常简单:机器上设置一个或多个标识,并把机器组配置为自定义标识类型(userdefined-id),输入相应的标识,机器组即会自动匹配。

此种方式对于动态环境非常适用,尤其适用于弹性伸缩服务和swarm、pouch(阿里docker)、Kubernetes等容器环境。只需在虚拟机镜像、DockerFile或Kubernetes的yaml模板等提前配置好标识,后续扩容的机器一上线就会立即加入到对应的机器分组中,并根据对应机器分组上的采集配置开始工作。

使用方式

详细使用方式参见自定义标识机器组。

步骤一 本地配置

Linux Logtail

通过文件 /etc/ilogtail/user_defined_id 来设置userdefined-id。

例如,设置自定义机器标识如下:

cat /etc/ilogtail/user_defined_id
k8s-demo

Windows Logtail

通过文件 C:LogtailDatauser_defined_id 来设置userdefined-id。

例如,设置自定义机器标识如下:

C:LogtailData>more user_defined_id
k8s-demo

注意: 若目录 /etc/ilogtail/、C:LogtailData或文件 /etc/ilogtail/user_defined_id、C:LogtailDatauser_defined_id不存在,请手动创建。

Docker 应用

如果您在容器中安装Logtail,可以在DockerFile中使用以下方式在发布时配置标识:

RUN mkdir /etc/ilogtail/
RUN echo ${您的机器组自定义标识} > /etc/ilogtail/user_defined_id

Kubernetes 集群

K8S使用可以参见Kubernetes日志采集。

步骤二 创建自定义标识机器组

在机器组列表页面单击右上角的创建机器组。

填写机器组配置。

机器组名称。填写自定义的机器组名称。
机器组标识。选择用户自定义标识。
用户自定义标识。填写步骤一中配置的userdefined-id,例如k8s-demo。

单击确认结束配置。后续扩容无需修改机器组。

步骤三 查看机器组心跳
在机器组列表页面,单击目标机器组右侧的查看状态,可以查看使用相同自定义标识的机器列表及其心跳状态。

详情请阅读原文

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/8055.html

相关文章

  • 2小时快速搭建后端接口报警系统(基于阿里云日志服务分析nginx访问日志)

    摘要:目标后端任一接口一分钟内响应超过一定的量,马上收到报警提示报警及慢接口有详细列表可以查看低成本。相关报警请求的详细信息列表慢响应分析 目标 后端任一接口一分钟内5xx响应超过一定的量,马上收到报警提示 报警及慢接口有详细列表可以查看 低成本。几年前公司的日志报警系统是自研的,开发成本比较高,也没有达到阿里云日志服务这种产品化程度 机器部署情况 阿里云EC服务器 功能概述 阿里云日...

    lemanli 评论0 收藏0
  • LC3视角:Kubernetes下日志采集、存储与处理技术实践

    摘要:下需要为每个单独进行采集配置采集日志目录,采集规则,存储目标等,不易维护。日志服务的日志架构实践我们提出基于阿里云日志服务的日志处理架构,用以补充社区的方案,来尝试解决场景下日志处理的一些细节体验问题。 摘要: 在Kubernetes服务化、日志处理实时化以及日志集中式存储趋势下,Kubernetes日志处理上也遇到的新挑战,包括:容器动态采集、大流量性能瓶颈、日志路由管理等问题。本文...

    Guakin_Huang 评论0 收藏0
  • Webpack 4.X 入门精通 - devServer与mode(

    摘要:同时它还提供了自动刷新热更新等功能,使开发变得非常方便。的到来减少了很多的配置,它内置了很多的功能。 上一篇文章里详细介绍了一下插件的用法,这一篇文章接着丰富module.exports里的属性。如今的前端发展已经非常迅速了,伴随而来的是开发模式的转变。现在已经不再是写个静态页面并放在浏览器里打开预览一下了。在实际的开发中会经常需要使用http服务器,比如之前的ajax,想要看到效果就...

    王伟廷 评论0 收藏0
  • 精通正则表达式

    摘要:文章同步于正则表达式是一种处理字符串匹配的语言。如果同时使用其它元字符,我们就能构造出功能更强大的正则表达式。 文章同步于 Github blog 正则表达式(Regular Expression)是一种处理字符串匹配的语言。 很可能你使用过 Windows/Dos 下用于文件查找的通配符(wildcard),也就是 * 和 ? 。如果你想查找某个目录下的所有的Word文档的话,你会搜...

    elarity 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<