log4j2+ELK

Sunxb 发布于2019-06-28 18:01 / 799人阅读

摘要：问题初衷最近有个项目需求，需要统计下用户的使用情况，比如什么时候登录的，查询了什么内容等信息。缺点扩展能力需要靠自己设计，统计展示画面需要自己做。可轻松应对分布式，数据量大的情况。通过，如下修改，在重启后又会恢复原值。

问题初衷

最近有个项目需求，需要统计下用户app的使用情况，比如：什么时候登录的，查询了什么内容等信息。

解决方案

1.定义用户轨迹模型，每步操作都写到数据库中，然后在前端展示。

优点：可以针对业务需求自定义模型，操作灵活，有针对性。

缺点：扩展能力需要靠自己设计，统计展示画面需要自己做。

2.用现成的用户数据分析平台，网上有很多成熟的平台，对接其api接口即可。

优点：各种分析图，什么有的没有的，见过的没见过的一应俱全。ps:现在用不上以后可能会用上。

缺点：受制于人，主要还要看自身业务是否适用。

3.ELK，集中式日志管理，特点：收集，传输，存储，管理，告警。

优点：开源，可以通过日志记录各种你想要记录的东西。丰富的分析图表。可轻松应对分布式，数据量大的情况。

ELK对接

Elasticsearch+Logstash+Kibana（ELK）是一套开源的日志管理方案。

Elasticsearch：负责日志检索和分析
Logstash：负责日志的收集，处理和储存
Kibana：负责日志的可视化

对于保存日志到文件的的项目，可以用logstash的logstash-input-file插件直接进行文件读取，处理后转存到Elasticsearch中。处理可以用logstash-filter-kv键值插件或者logstash-filter-mutate等插件进行解析。具体查看Filter plugins。

由于我们的项目没有记录日志文件，所以选择直接发送日志信息到logstash，（对于log4j，logstash有专门的input插件）。

log4j2的配置



    
        {"logger": "%logger", "level": "%level", "msg": "%message"}%n

logstash的配置

input {
  tcp {
    host => "127.0.0.1"
    port => 4560
    codec => json {
      charset => "UTF-8"
    }
  }
}

filter {

}

output {
  elasticsearch {
    hosts => ["localhost"]
    manage_template => false
    index => "logstash-%{+YYYY.MM.dd}"
    document_type => "logstash"
  }
}

转存到Elasticsearch的message就是我们log4j2配置中的Json形式，如果想要将message拉平，那么只需要加入logstash-filter-json。

filter {
  json {
    source => "message"
  }
}

这样保存到Elasticsearch中的数据,就会变成如下形式

{       
    ...                                                                                                                                       
    "message" => "{"logger": "elk", "level": "INFO", "msg": "logstash test"}
",
    "logger" => "elk",
    "level" => "INFO",
    "msg" => "logstash test"
}

这样对于Kibana分析的时候比较方便。

log4j2用Socket的方式会有一个问题，当logstash断掉，重启后你会发现收不到log4j2的日志了，传输断掉没有重连。在生产环境中，elk断掉，我们不可能在去重启所有与之相连的服务。所以接下来我们采用gelf方式。

修改pom


    biz.paluch.logging
    logstash-gelf
    1.12.0

修改log4j2的配置

修改logstash配置

input {
  gelf {
    host => "127.0.0.1"
    port => 4560
    use_tcp => true
    codec => json {
      charset => "UTF-8"
    }
  }
}

filter {
  json {
    source => "message"
  }
}

output {
  elasticsearch {
    hosts => ["localhost"]
    manage_template => false
    index => "logstash-%{+YYYY.MM.dd}"
    document_type => "logstash"
  }
}

保存到Elasticsearch中的数据就会如同log4j2中的配置格式一样，由于我们这里依然配置了json filter，如果你的message是json字串，这里依然会拉平处理。

ELK搭建

以上我们log4j2与logstash的对接就完成了，对于docker部署elk，比较简单，网上有很多教程，当然还是推荐大家先去官网看看，注意版本对应。我选择的是sebp/elk，集成好的elk容器。详细的文档elk-docker

这里主要说说需要注意的地方，强烈建议安装之前看下文档中的Prerequisites。

首先，我就遇见了vm.max_map_count限制问题，在Elasticsearch version 5这是最常出现的问题。通过，如下修改，在重启后又会恢复原值。

sysctl -w vm.max_map_count=262144

持久性的做法是修改/etc/sysctl.conf文件中的vm.max_map_count

echo "vm.max_map_count=262144" > /etc/sysctl.conf
sysctl -p

其次，logstash的配置文件在/etc/logstash/conf.d/目录下，将input，filter，out分开，最终组合成一个，建议将/etc/logstash/conf.d映射出来，自行管理。

最后，因为log4j2在发送日志是是通过4560接口，所以启动docker的时候需要映射此接口。

以上是我在对接elk的时候遇到的问题，再次记录下，更多的elk内容后续会继续探索。

专线服务超融合服务器 ELK log4j elk python elk 日志分析

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/28087.html

springboot+ELK日志监控系统

摘要：简介是简称是一个分布式的搜索和分析引擎，可以用于全文检索结构化检索和分析，并能将这三者结合起来。基于开发，现在是使用最广的开源搜索引擎之一。是一个开源的分析与可视化平台，设计出来用于和一起使用的。 ELK简介ELK是Elasticsearch+Logstash+Kibana简称 Elasticsearch 是一个分布式的搜索和分析引擎，可以用于全文检索、结构化检索和分析，并能将这三者结...

gclove 2019-08-16 12:42 评论0 收藏0
ELK入门02—Logstash+Log4j2+ES

摘要：安装先到官方下载地址选择对应版本的安装包，由于我们是版本，这里我们选择版本。同时如果你关闭后再打开，会发现已经可以自动重新连接了。 1. 安装Logstash 先到官方下载地址选择对应版本的Logstash安装包，由于我们Elasticsearch是2.4.6版本，这里我们Logstash选择2.4.1版本。下载完成后，直接解压tar zxvf logstash-2.4.1.tar.g...

acrazing 2019-07-16 15:17 评论0 收藏0
ELK三件套安装实践之路（1）

摘要：根据输入信息，访问获得输出信息安装我下载的是安装成功后，在目录下执行输入，返回结果可以看到，在终端里进行的输入，会返回时间戳和地址，以及输入的。安装下载命令行中执行看到输出中显示访问，成功显示的。至此，三件套安装成功。在Mac机器上安装ELK三件套。[On mac 10.11.2 (15C50)] Jdk的安装首先安装Jdk: Jdb download URL 我这里选择的是 jd...

ormsf 2019-07-16 14:55 评论0 收藏0
CentOs 7.2下ELK日志分析系统搭建

摘要：系统环境为了安装时不出错，建议选择这两者选择一样的版本，本文全部选择版本。也是一个开源和免费的工具，它可以为和提供的日志分析友好的界面，可以帮助您汇总分析和搜索重要数据日志。注意首次会提示没有索引。。。。系统环境为了安装时不出错，建议选择这两者选择一样的版本，本文全部选择5.3版本。 System: Centos release 7.2Java: openjdk version 1....

NotFound 2019-07-16 15:06 评论0 收藏0
Linux ELK 安装（服务器架设篇）

摘要：新增了一个，它是一个轻量级的日志收集处理工具，占用资源少，适合于在各个服务器上搜集日志后传输给，官方也推荐此工具。具体的结构如下主机系统部署服务安装准备是需要的，建议安装。先下载通用安装包。 ELK简介 ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工...

funnyZhang 2019-08-19 11:36 评论0 收藏0