ELK简单实战

在项目上线之后，我们用户需要收集日志可以用于分析用户行为，监控服务器状态，增强系统或应用安全性等。

1、ELK简介

ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana。

• Elasticsearch：是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。

• Logstash：主要是用来做日志的分析、过滤等处理工作。

• Kibana：可以为 Logstash 和 ElasticSearch 提供的日志提供友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

• 新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash。

传统服务日志收集方案：Elasticsearch、Logstash、Kibana(ELKB) + Filebeat

2、环境规划

3、安装ELasticsearch

由于ELasticsearch自带JDK环境，所以我们不需要额外安装JDK环境
yum -y install elasticsearch-7.8.1-x86_64.rpm
​
我们需要修改配置文件
vim /etc/elasticsearch/elasticsearch.yml
​
egrep -v "^#|^$" /etc/elasticsearch/elasticsearch.yml    #过滤出未被注释的配置
​
相关配置信息如下：
cluster.name: my-es                                     # ES集群名称
node.name: es01                                         # ES节点名称
path.data: /var/lib/elasticsearch                       # ES数据目录
path.logs: /var/log/elasticsearch                       # ES日志目录
network.host: 192.168.1.75                              # ES主机地址
http.port: 9200                                         # ES监听端口号
discovery.seed_hosts: ["192.168.1.75"]                  # ES集群主机列表
cluster.initial_master_nodes: ["192.168.1.75"]          # 如果是ES集群，master主机IP地址
​
启动Elasticsearch
systemctl enable elasticsearch --now

注意事项：

ELasticsearch启动后一共有两个端口：9200和9300

9200作用：Logstash和Kibana用来访问ELasticsearch

9300作用：如果是一个ELasticsearch集群，例如一些心跳检测，数据同步走9300端口

4、安装Kibana

安装Kibana不需要其它的一些环境，我们直接安装即可
rpm -ivh kibana-7.8.1-x86_64.rpm
​
修改配置文件
vim /etc/kibana/kibana.yml
​
需要修改的配置如下：
server.port: 5601                                   # 服务端口号
server.host: "192.168.1.76"                         # 服务IP地址
elasticsearch.hosts: ["http://192.168.1.75:9200"]    # ES的IP地址
i18n.locale: "zh-CN"                                # Kibana默认是英语，修改面板语言
​
启动服务
systemctl enable kibana --now

访问Kibana

http://192.168.1.76:5601

5、安装Logstash

安装Logstash需要JDK环境
dnf list | grep java | grep jdk
​
安装jdk8即可
​
rpm -ivh logstash-7.8.1.rpm
​
修改配置文件
vim /etc/logstash/logstash.yml
​
node.name: logstash                         # 节点名称
path.data: /var/lib/logstash                # 数据目录
pipeline.workers: 2                         # Logstash启动服务的进程数
pipeline.ordered: auto                      
path.logs: /var/log/logstash                # Logstash日志目录

6、测试Logstash过滤功能

由于logstash进行日志过滤时，是由插件来进行工作，具体怎么写配置文件，可以参考官网地址。

https://www.elastic.co/guide/en/logstash/current/introduction.html

我们拿一个日志文件放到根目录下

[root@Logstash ~]# ls
anaconda-ks.cfg  app.log  logstash-7.8.1.rpm  rocky-sysconfigure.sh
​
​
编写配置文件，放在/etc/logstash/conf.d/下，具体配置如下：
#从文件采集日志
input {
  file {
    path => "/var/log/app.log"
  }
}
​
#输出日志
output {
   stdout { codec => rubydebug }
}
​
启动Logstash
logstash -f /etc/logstash/conf.d/project.conf -r    # -f 指定配置文件  -r是进行更新配置文件内容
​
如果配置写完之后，将logstash挂在后台
logstash -f /etc/logstash/conf.d/app.conf &> /tmp/start_logstash.log &