Elastic Stack 安装与基本配置备忘

MarvinZhang 发布于2019-07-16 15:11 / 2556人阅读

摘要：安装等插件时也需要这么做。单线程内存限制问题当运行时，有可能会出现以下报错此时，我们需要通过以下方式修改配置添加以下配置注上面的值只要超过报错中的即可。修改基本配置如果被部署在公有云的机器上，需要修改配置中的地址，才能使用公有云访问。

以下基于 6.2.2 版本。服务器为 centos 7.2。

1. Elastic Search 1.1 下载与安装

从以下地址中下载 zip 版本的安装包：

https://artifacts.elastic.co/...

解压：

unzip elasticsearch-6.2.2.zip -d /export/App

1.2 运行

进入 elasticsearch 目录，然后执行：

bin/elasticsearch

便可启动 elasticsearch

注：若要在后台启动该进程，需要添加 -d 参数：

bin/elasticsearch -d

1.3 root 用户启动报错问题

当我们使用 root 用户启动 elasticsearch 时，会抛出以下错误：

java.lang.RuntimeException: don"t run elasticsearch as root

此时我们需要创建另一个用户来启动它：

# 添加用户组
groupadd elasticsearch

# 创建用户、设置密码并分配用户组
useradd elasticsearch -g elasticsearch -p elasticsearch

# 使用 root 用户赋予权限
chown -R elsearch elasticsearch-6.2.2

# 使用该用户运行 elasticsearch
su elasticsearch && bin/elasticsearch

注意：使用新的 node.name 启动时会创建新的日志文件，此时需要重新执行 chown 指令赋权。安装 x-pack 等插件时也需要这么做。

1.4 单线程内存限制问题

当运行时，有可能会出现以下报错：

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

此时，我们需要通过以下方式修改配置：

vim /etc/sysctl.conf

添加以下配置：

vm.max_map_count=1024000

注：上面的值只要超过报错中的 262144 即可。

1.5 修改基本配置

如果 elasticsearch 被部署在公有云的机器上，需要修改 elasticsearch 配置中的 host 地址，才能使用 公有云 IP:9200 访问。

在 elasticsearch 目录下执行：

vim config/elasticsearch.yml

对以下配置进行修改：

network.host: 0.0.0.0

1.6 单机多节点部署

elasticsearch 采用 cluster.name 来识别节点是否属于同一集群，所以我们只需在不改变 cluster.name 的情况下，以不同 path.data 参数启动多个 elasticsearch 进程即可。

采用以下方式再启动两个进程：

bin/elasticsearch -d -Ehttp.port=9201 -Epath.data=node2
bin/elasticsearch -d -Ehttp.port=9202 -Epath.data=node3

然后，我们可通过以下方式查看集群的开启情况

http://116.196.88.61:9200/_cluster/stats

# 或

http://116.196.88.61:9200/_cat/nodes?v

2. Kibana 2.1 下载与安装

从以下地址下载安装包：

https://artifacts.elastic.co/...

并使用如下方式解压：

tar zvxf kibana-6.2.2-linux-x86_64 -C /export/App

2.2 修改配置

采用如下方式修改文件：

vim config/kibana.yml

和 elasticsearch 一样，为了能够使用 IP 地址访问，需要进行以下配置：

server.host: "0.0.0.0"

2.3 启动与关闭

bin/kibana

而与 elasticsearch，Kibana 不能通过添加 -d 的方式在后台启动进程，而是使用：

nohup bin/kibana &

为了关闭后台运行的 Kibana，可以通过以下方式：

先查询进程号：

# 查询 Kibana 后台进程号
ps -ef|grep node

# 或查询监听的 5601 端口
netstat -anltp|grep 5601

然后关闭该进程

kill -9 xxx

3. Beats 3.1 Filebeat 3.1.1 下载 Filebeat

从以下网址下载 Filebeat：

https://artifacts.elastic.co/...

并执行如下指令解压：

tar zvxf filebeat-6.2.2-linux-x86_64.tar.gz -C /export/App

3.1.2 基础配置

接下来，我们进行一些配置来运行 filebeat：

首先，我们新建一个 stdin.yml 的文件：

filebeat.prospectors:

- type: stdin

output.console:
    pretty: true

3.1.2 启动

然后执行以下指令启动：

head -n 2 ./test | ./filebeat -e -c ./stdin.yml

注：./test 文件中有一些实现写好的内容，用于测试：

aaaa
ffffdd
aaaa

该启动方式会读取 test 文件的前两行，并交由 filebeat 程序收集。

3.2 packetbeat 3.2.1 下载

从以下网址中下载：

https://artifacts.elastic.co/...

执行以下指令解压：

tar zvxf packetbeat-6.2.2-linux-x86_64.tar.gz -C /export/App

3.2.2 基础配置

packetbeat 可以收集网络包，故而我们需要对其收集的数据源做出配置：

新建一个 es.yml 文件：

packetbeat.interfaces.decice: lo0

packetbeat.protocols.http:
  ports: [9200]
  send_request: true
  include_body_for: ["application/json", "x-www-form-urlencoded"]


output.console:
  pretty: true

该配置会监听 elasticsearch 进程的端口，并收集请求的信息。

3.2.3 启动

通过以下指令启动：

./packetbeat -e -c ./es.yml

4. Logstash 4.1 下载

从以下网址下载：

通过以下指令解压：

unzip logstash-6.2.2.zip -d /export/App

4.2 启动

首先，我们新建一个配置文件 nginx.yml 用于收集 Nginx 相关的配置文件：

input {
  stdin { }
}

filter {
  grok {
    match => {
      "message" => "%{IPORHOST:remote_ip} - %{DATA:user_name} [%{HTTPDATE:time}] "%{WORD:request_action} %{DATA:request} HTTP/%{NUMBER:http_version}" %{NUMBER:response} %{NUMBER:bytes} "%{DATA:referrer}" "%{DATA:agent}""
    }
  }

  date {
    match => [ "time", "dd/MMM/YYYY:HH:mm:ss Z" ]
    locale => en
  }

  geoip {
    source => "remote_ip"
    target => "geoip"
  }

  useragent {
    source => "agent"
    target => "user_agent"
  }
}

output {
stdout {
 codec => rubydebug
 }
}

然后执行如下指令启动：

head -n 2 /var/log/nginx/access.log | ./bin/logstash -f nginx.conf

参考链接

ElasticSearch Root身份运行 - CSDN博客

Ubuntu elasticsearch max virtual memory areas vm.max_map_count 65530 is too low, increase to at le - CSDN博客

总结与建议，Elastic Stack入门教程-慕课网

kibana启动--nohup在关闭终端后无效&&守护进程详解_Linux_第七城市

启动kibana后关闭shell窗口后kibana自动关闭 - CSDN博客

elasticSearch6.X使用问题汇总 - CSDN博客

ElasticSearch 安装报错整理 - 简书

用户名不在 sudoers文件中，此事将被报告。 - CSDN博客

服务器托管混合云安装与配置安装与配置详解 laravel安装与配置 hadoop安装与配置

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/34213.html

探索 - Elastic Stack（ELK）实时日志分析平台

摘要：解压即安装安装插件配置文件启动服务安装解压即安装安装插件主配置文件接下来配置文件，用于解析处理数据。简介 Elasticsearch（更多详情）搜索、分析和存储您的数据。 Kibana（更多详情）实现数据可视化。 Logstash（更多详情） Logstash 是动态数据收集管道，拥有可扩展的插件生态系统，能够与 Elasticsearch 产生强大的协同作用。 Beats（...

doodlewind 2019-07-16 15:12 评论0 收藏0
Elastic Stack 日志分析平台搭建笔记

摘要：年月，旧金山举行的第届大会上，公司改名为。在系统上，将指令设置为即可禁用。配置文件中的指令用于将类型转为或。在字符串内部的，是字符串插值语法，官方称之为。同步过来的日志记录全部有条，第条日志的内容是。原文：http://nullwy.me/2019/01/elas...如果觉得我的文章对你有用，请随意赞赏 Elastic Stack（旧称 ELK Stack)）是最受欢迎的开源日志平...

Imfan 2019-08-19 11:33 评论0 收藏0
ELK 集群 Kibana 使用 X-Pack 权限控制，监控集群状态，警报，监视,cpu，内存，磁

摘要：简述实际上是三个工具的集合，这三个工具组合形成了一套实用易用的监控架构，很多公司利用它来搭建可视化的海量日志分析平台。您可以启用或禁用特定的功能，以及配置文件。设置为禁用监视功能。简述 ELK实际上是三个工具的集合，ElasticSearch + Logstash + Kibana 这三个工具组合形成了一套实用、易用的监控架构，很多公司利用它来搭建可视化的海量日志分析平台。 X-...

MudOnTire 2019-07-16 15:05 评论0 收藏0
Elastic Stack实战学习教程~日志数据的收集、分析与可视化

摘要：需求为收集日志内容，对每行日志解析，得到结构化数据，便于搜索处理与可视化。到此，就完成一个简单的日志数据的收集分析可视化。参考资料阿里云与公司合作入门插件 Elastic Stack介绍近几年，互联网生成数据的速度不断递增，为了便于用户能够更快更精准的找到想要的内容，站内搜索或应用内搜索成了不可缺少了的功能之一。同时，企业积累的数据也再不断递增，对海量数据分析处理、可视化的需求也越来...

ethernet 2019-07-16 15:26 评论0 收藏0
Elastic Stack技术栈深入研究

摘要：技术整理栈涉及到以下个组件于轻量级志采集，持件采集，系统数据采集，特定中间件数据采集等于志结构化，标签化，持式将数据进结构化于提供志相关的索引，使得志能够有效的检索于提供志检索，特定展示的板，便使的于监控与预警相关的组件，可以集成到中，有 elastic stack技术整理理 elastic stack栈涉及到以下⼏个组件 beats：⽤于轻量级⽇志采集，⽀持⽂件采集，系统数据采集，...

saucxs 2019-07-16 15:03 评论0 收藏0