摘要：最后，我们用和适当的独特后缀来标注数据流。将数据流分离到两个不同的目的地在这里，我们解析自动定量日志，管理我们的缓冲区，查询和区块大小。
也许你对Fluentd的统一日志记录层已经有所耳闻。可能你对日志是流不是文件这个概念也已经很熟悉，所以现在就让我们用这个方法来思考日志层。
事实上，最后导致决定性的一点就是fluentd是如何被配置的。全部都是关于我们如何处理stream的不同元素的：我们从哪里得到数据，当我们获取到的时候用它来做什么，我们将处理过的数据发送到哪里，以及它们在发送过程中的时候，我们要如何处理它。在这篇博客中，我们会回顾一下这些概念，并且将他们运用到以下案例中：
1、日志从Docker容器中输出命令（但是当容器中止的时候，要保持配置）
2、处理JSON日志
3、通过等级将信息进行分类
4、将数据流分离到两个目的地
事实证明，谷歌云平台和Kubernetes默认设置下已经包括了fluentd日志层输出，这样的话，你就可以精确地做这些事情，但是首先，让我们来看一下fluentd.conf文件中的指令：
1、source指令确定输入源
2、match指令确定输出目的地
3、filter指令确定event处理管道
4、system指令设置系统范围的配置
5、label指令将内部路由的输出和过滤器分组
6、@include指令包括其他文件
现在对于我们的目标来说，我们主要会考虑source和match指令。以下是一个样本，为日志记录命令配置，命令是从一个容器直接到Treasure Data（而且，因为我们的配置是在Ubuntu主机上，所以它不会和Docker容器一起中止！）。
那么，发生了什么呢？
我们的source指令告诉我们正在使用forwardinput plugin，这就告诉fluentd要监听TCP socket来接收event流。
我们有两个match指令。当我们启动容器的时候，最后一个假定我们已经设置了我们的日志记录选项：
－－log－opt fluentd－tag＝td.docker.{{.Name}}
这条指令告诉我们使用标准输出plugin来打印events到标准输出。
然而，它不仅第一条指令，也是最有趣的一条。现在假定一样的日志记录选项，我们将所有标记有td..的东西都匹配好，并且使用td日志output plugin，将每个console输出作为单个记录输出，发送到一个名为docker的Treasure Data数据库，在这里，表格也同样是Docker容器的名字：
auto_create_table在第一个实例上创建表格。
buffer_type file将缓冲区写入一个文件。
buffer_path在我们的Docker容器上指定缓冲文件路径。
flush_interval 5s在刷新缓冲区时设置了一个5秒的间隔，并且写进了Treasure Data表格。
是不是开始明白这是怎么运作的了？想要了解更多关于fluentd配置和参数，点击这里查看更多文章: 点击这里
日志记录结果到谷歌云平台准备好查看fluentd是怎么用谷歌云平台来运行的了吗？让我们来看一些不一样的场景。多亏了Kubernetes团队，使得这些配置（以及跟这些很相似的配置）在github上实现可用。
处理JSON日志在这里，我们跟踪JSON上的日志，并将日志记录结果到Kubernetes上。我们要处理一下时间戳，所以我们已经包括了time_key和time_format指令。最后，我们用Kubernetes和适当的独特后缀来标注数据流。我们同样也已经指定位置文件，并且设置read_from_head为真。这就使得我们要停止并且重启处理if，由于某些原因，我们的stream就被打断了。
通过不同的层面来分类信息我们可以追踪不同的信息，使用常规表达方式来查找部分信息，比如格式，层次（严重性），信息，错误（如果有错误的话）和状态码。注意，我们必须在输出上解析时间。再一次，我们使用位置文件来保持我们在stream中的位置。我们应该包括一个match部分来路由数据到一个特定的目的地。
将数据流分离到两个不同的目的地在这里，我们解析自动定量日志，管理我们的缓冲区，查询和区块大小。在这两个目的地（也就是，GCP和Kubernetes）的案例中，我们一直在重新尝试。
What"s next?你能够自己创建最简单的日志记录基础设施吗？让Fluentd来！
fluentd.org
这个网站上有不下于200个输入，也还有其它插件。这里的话，你可以看到他们通过人气降序排列的
fluentd.org/plugins/all
如果想要通过分类了解plug－ins，点击上面这个网址
fluentd.org/plugins
最后，在这个网站上可以获取Treasure Data（你可以在treasuredata.com上注册一个账号，有14天的试用期）。
原文链接
（如果需要转载，请联系我们哦，尊重知识产权人人有责；）
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/32490.html
摘要：目前正在运行的应用程序。内置非配置负载均衡器如何设置运行的集群在这里你有几个选项。它跟其它的谷歌云组件也都整合得很好，比如负载均衡器和磁盘。它会告诉负载均衡器，流量可以被重新传到特定的。元信息和谷歌云会以正确的方式展现出来。 Kubernetes实践案例分享｜在这次的 RisingStack 案例分享中，我们可以在 Kubernetes Tutorial 中学习到如何从 PaaS 供应...
摘要：但是在谷歌云客户发布时，一切好像都没有按照常理出牌，从中我体验到前所未有的成长。希望将运行起来。第二天预计将发布版本到美国，在这之前，已经提前跟寻求好了支援。游戏的应用程序逻辑运行在谷歌上面，由开源项目驱动。是谷歌上面部署规模最大的项目。 《Pokémon Go》是由任天堂、Pokémon 公司和谷歌 Niantic Labs 公司联合制作开发的现实增强（AR）宠物养成对战类 RPG ...
摘要：企业将业务迁移到云平台的最大好处之一是可以降低工作和运营成本，其中一个最重要的因素是云计算基础设施的自动化和配置。幸运的是，有许多云计算基础设施自动化工具可用于帮助加快流程。企业需要深入了解将工作负载迁移到公共云的正确步骤，并因此降低成本。云迁移不会自行发生，在迁移项目成功之前并不能完成工作和任务。企业将业务迁移到云平台的最大好处之一是可以降低工作和运营成本，其中一个最重要的因素是云计算基础...
摘要：优化网络在今年早些时候，我们公布了许多关于的新的网络功能，包括原生集群，共享，原生容器负载均衡以及原生容器的网络服务，它们服务于上的应用程序以及在谷歌云上的。 showImg(https://segmentfault.com/img/bVbnY8w);许多企业机构正在把全部或部分 IT 业务迁移到云端，帮助企业更好的运营。不过这样的大规模迁移，在企业的实际操作中也有一定难度。不少企业保...
摘要：优化网络在今年早些时候，我们公布了许多关于的新的网络功能，包括原生集群，共享，原生容器负载均衡以及原生容器的网络服务，它们服务于上的应用程序以及在谷歌云上的。 showImg(https://segmentfault.com/img/bVbnY8w);许多企业机构正在把全部或部分 IT 业务迁移到云端，帮助企业更好的运营。不过这样的大规模迁移，在企业的实际操作中也有一定难度。不少企业保...
阅读 2596·2023-04-25 22:51
阅读 1659·2021-10-11 10:58
阅读 3457·2021-10-09 09:44
阅读 3153·2019-08-30 10:49
阅读 1695·2019-08-29 17:09
阅读 3021·2019-08-29 10:55
阅读 717·2019-08-26 10:34
阅读 3269·2019-08-23 17:54
