ElasticSearch学习笔记之二：Filebeat日志收集
1. nginx日志收集
1.1 原生日志
- E：Elasticsearch
- F：Filebeat
- K：Kibana
[root@host3 ~]# vim 04-nginx-to-es.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/nginx/access.log*
tags: ["host3","nginx","access"] # 打上标签，便于后期输出
- type: log
paths:
- /var/log/nginx/error.log*
tags: ["host3","nginx","error"]
fields:
hostname: host3.test.com
service: http
fields_under_root: true # 将fields字段提到最高级别
output.elasticsearch:
hosts: ["http://192.168.19.101:9200","http://192.168.19.102:9200","http://192.168.19.103:9200"]
indices:
- index: "host3-nginx-access-%{+yyyy.MM.dd}"
when.contains:
tags: "access"
- index: "host3-nginx-error-%{+yyyy.MM.dd}"
when.contains:
tags: "error"
# 关闭索引的生命周期，若开启则上面的index配置会被忽略
setup.ilm.enabled: false
# 设置索引模板的名称
setup.template.name: "host3-nginx"
# 设置索引模板的匹配模式
setup.template.pattern: "host3-nginx-*"
# 覆盖已有的索引模板
setup.template.overwrite: false
setup.template.settings:
index.number_of_shards: 3
index.number_of_replicas: 1
1.2 JSON格式日志
从nginx端输出的日志就已经分割好了，filebeat只需要接收并提取json格式的信息，发送给Elasticsearch
首先要修改输入端，调整nginx日志输出格式
[root@host3 ~]# vim /etc/nginx/nginx.conf
http {
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
# '$status $body_bytes_sent "$http_referer" '
# '"$http_user_agent" "$http_x_forwarded_for"';
log_format filebeat_json '{"@timestap":"$time_iso8601",'
'"host":"$server_addr",'
'"clientip":"$remote_addr",'
'"size":$body_bytes_sent,'
'"responstime":$request_time,'
'"upstreamtime":"$upstream_response_time",'
'"upstreamhost":"$upstream_addr",'
'"http_host":"$host",'
'"uri":"$uri",'
'"domain":"$host",'
'"xff":"$http_x_forward_for",'
'"referer":"$http_referer",'
'"tcp_xff":"$proxy_protocol_addr",'
'"http_user_agent":"$http_user_agent",'
'"status":"$status"}';
#access_log /var/log/nginx/access.log main;
access_log /var/log/nginx/access.log filebeat_json;
...
}
测试下日志格式是否正确
[root@host3 ~]# tail -n1 /var/log/nginx/access.log
{"@timestap":"2022-09-12T17:09:39+08:00","host":"192.168.19.103","clientip":"192.168.19.1","size":0,"responstime":0.000,"upstreamtime":"-","upstreamhost":"-","http_host":"192.168.19.103","uri":"/index.html","domain":"192.168.19.103","xff":"-","referer":"-","tcp_xff":"-","http_user_agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36","status":"304"}
可以使用上例中的配置文件，但是得到的日志同样是把抓取的日志都放到message里面，这就失去了调整格式的意义，因此我们需要将消息中的字段全部打散成多个键值，然后放到Elasticsearch中，在Kibana中查看时，可以查看任意的键值。
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/nginx/access.log*
tags: ["host3","nginx","access"]
json.keys_under_root: true
在Kibana中查看：
1.3 filebeat实现日志格式化
采用filebeat的模块将日志分割成json格式，不修改nginx的原生日志格式
模块的存放位置
[root@host3 ~]# ls /etc/filebeat/modules.d/
activemq.yml.disabled haproxy.yml.disabled osquery.yml.disabled
apache.yml.disabled ibmmq.yml.disabled panw.yml.disabled
auditd.yml.disabled icinga.yml.disabled pensando.yml.disabled
awsfargate.yml.disabled iis.yml.disabled postgresql.yml.disabled
aws.yml.disabled imperva.yml.disabled proofpoint.yml.disabled
修改配置文件：
# 去掉原来所有的input内容
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml # 指定模块配置文件的路径，path.config是filebeat的安装目录
reload.enabled: true # 开启热加载功能，默认为false
查看所有的可用模块
[root@host3 ~]# filebeat -c ~/05-nginx-to-es.yml modules list
Enabled:
Disabled:
activemq
apache
auditd
aws
...
启用模块
[root@host3 ~]# filebeat -c ~/05-nginx-to-es.yml modules enable nginx
Enabled nginx
[root@host3 ~]# filebeat -c ~/05-nginx-to-es.yml modules list
Enabled:
nginx
模块开启后需要配置nginx模块对应的配置文件：
[root@host3 ~]# vim /etc/filebeat/modules.d/nginx.yml
- module: nginx
# Access logs
access:
enabled: true
var.paths: ["/var/log/nginx/access.log*"]
# Set custom paths for the log files. If left empty,
# Filebeat will choose the paths depending on your OS.
#var.paths:
# Error logs
error:
enabled: true
var.paths: ["/var/log/nginx/error.log*"]
Kibana中查看：
2. Tomcat日志
2.1 使用模块
[root@host3 ~]# filebeat -c ~/06-tomcat-to-es.yml modules enable tomcat
Enabled tomcat
[root@host3 ~]# vim /etc/filebeat/modules.d/tomcat.yml
- module: tomcat
log:
enabled: true
# Set which input to use between udp (default), tcp or file.
var.input: file
# var.syslog_host: localhost
# var.syslog_port: 9501
# Set paths for the log files when file input is used.
# var.paths:
- /var/log/tomcat/*.txt
2.2 调整原生日志
将原生日志调整为json格式输出
[root@host3 ~]# vim /etc/tomcat/server.xml
<Host name="localhost" appBase="webapps"
unpackWARs="true" autoDeploy="true">
<!--
-->
<Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
prefix="localhost_access_log." suffix=".txt"
pattern="{"requestTime":"%t","clientIP":"%h","threadID":"%I","protocol":"%H","requestMethod":"%r","requestStatus":"%s","sendBytes":"%b","queryString":"%q","responseTime":"%Dms","partner":"%{Referer}i","agentVersion":"%{User-Agent}i"}"
/>
[root@host3 ~]# tail -n1 /var/log/tomcat/localhost_access_log2022-09-13.txt
{"requestTime":"[13/Sep/2022:15:13:07 +0800]","clientIP":"192.168.19.102","threadID":"http-bio-8080-exec-1","protocol":"HTTP/1.1","requestMethod":"GET / HTTP/1.1","requestStatus":"404","sendBytes":"-","queryString":"","responseTime":"0ms","partner":"-","agentVersion":"curl/7.29.0"}
Kibana中查看：
字段解释：
%a 这是记录访问者的IP，
%A 这是记录本地服务器的IP，
%b 发送信息的字节数，不包括http头，如果字节数为0的话，显示为-
%B 发送信息的字节数，不包括http头。
%h 服务器的名称。如果resolveHosts为false的话，这里就是IP地址了，
%H 访问者的协议，这里是HTTP/1.0
%l 官方解释：Remote logical username from identd (可能这样翻译：记录浏览者进行身份验证时提供的名字)(always returns '-')
%m 访问的方式，是GET还是POST
%p 本地接收访问的端口
%q 比如你访问的是aaa.jsp?bbb=ccc，那么这里就显示?bbb=ccc，就是querystring的意思
%r First line of the request (method and request URI) 请求的方法和URL
%s http的响应状态码
%S 用户的session ID,这个session ID大家可以另外查一下详细的解释，反正每次都会生成不同的session ID
%t 请求时间
%u 得到了验证的访问者，否则就是"-"
%U 访问的URL地址，我这里是/rightmainima/leftbott4.swf
%v 服务器名称，可能就是你url里面写的那个吧，我这里是localhost
%D Time taken to process the request,in millis，请求消耗的时间，以毫秒记
%T Time taken to process the request,in seconds，请求消耗的时间，以秒记
2.3 多行匹配
在tomcat的错误日志中，可能会出现信息量较大，然后分多行显示的情况，当这些日志还以逐行采集的方式呈现到Kibana中时，日志的可读性就会变差，如下面的错误日志：
13-Sep-2022 10:15:15 下午 org.apache.tomcat.util.digester.Digester fatalError
严重: Parse Fatal Error at line 142 column 13: 元素类型 "Engine" 的结束标记必须以 '>' 分隔符结束。
org.xml.sax.SAXParseException; systemId: file:/usr/share/tomcat/conf/server.xml; lineNumber: 142; columnNumber: 13; 元素类型 "Engine" 的结束标记必须以 '>' 分隔符结束。
at com.sun.org.apache.xerces.internal.util.ErrorHandlerWrapper.createSAXParseException(ErrorHandlerWrapper.java:203)
at com.sun.org.apache.xerces.internal.util.ErrorHandlerWrapper.fatalError(ErrorHandlerWrapper.java:177)
at com.sun.org.apache.xerces.internal.impl.XMLErrorReporter.reportError(XMLErrorReporter.java:400)
at com.sun.org.apache.xerces.internal.impl.XMLErrorReporter.reportError(XMLErrorReporter.java:327)
at com.sun.org.apache.xerces.internal.impl.XMLScanner.reportFatalError(XMLScanner.java:1472)
at com.sun.org.apache.xerces.internal.impl.XMLDocumentFragmentScannerImpl.scanEndElement(XMLDocumentFragmentScannerImpl.java:1755)
at com.sun.org.apache.xerces.internal.impl.XMLDocumentFragmentScannerImpl$FragmentContentDriver.next(XMLDocumentFragmentScannerImpl.java:2967)
at com.sun.org.apache.xerces.internal.impl.XMLDocumentScannerImpl.next(XMLDocumentScannerImpl.java:602)
at com.sun.org.apache.xerces.internal.impl.XMLDocumentFragmentScannerImpl.scanDocument(XMLDocumentFragmentScannerImpl.java:505)
at com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(XML11Configuration.java:842)
at com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(XML11Configuration.java:771)
at com.sun.org.apache.xerces.internal.parsers.XMLParser.parse(XMLParser.java:141)
at com.sun.org.apache.xerces.internal.parsers.AbstractSAXParser.parse(AbstractSAXParser.java:1213)
at com.sun.org.apache.xerces.internal.jaxp.SAXParserImpl$JAXPSAXParser.parse(SAXParserImpl.java:643)
at org.apache.tomcat.util.digester.Digester.parse(Digester.java:1576)
at org.apache.catalina.startup.Catalina.load(Catalina.java:616)
at org.apache.catalina.startup.Catalina.start(Catalina.java:681)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.catalina.startup.Bootstrap.start(Bootstrap.java:294)
at org.apache.catalina.startup.Bootstrap.main(Bootstrap.java:428)
因此需要进行多行匹配，将原本分多行显示的日志整合到一起
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/tomcat/catalina.*.log
tags: ["host3","tomcat","error"]
multiline.type: pattern
multiline.pattern: '^\d{2}' # 连续两个数字开头
multiline.negate: true # 遇到数字就换行
multiline.match: after
3 其他输入类型
3.1 filestream
使用filestream输入从活动日志文件中读取行。它是log的替代方案。它对现有输入进行了各种改进：
- close_*选项的检查发生在带外。因此，如果输出被阻塞，Filebeat可以关闭阅读器并避免打开太多文件。
- 无论harvester_limit如何，与路径配置匹配的所有文件都可以使用详细指标。通过这种方式，您可以跟踪所有文件，即使是未主动读取的文件。
- parsers的顺序是可配置的。因此可以解析JSON行，然后将内容聚合到多行事件中。
- 一些位置更新和元数据更改不再依赖于发布管道。如果管道被阻止，某些更改仍会应用于记录。
- 只有最新的更新被序列化到记录中。相反，log输入必须从输出中序列化每个ACK上的完整记录。这使得使用此输入可以更快地更新记录。
- 输入确保仅将偏移量更新写入记录。日志写入完整的文件状态。
- 即使没有活动输入，也可以从记录中删除过时的条目。
filebeat.inputs:
- type: filestream
enabled: true
paths:
- /var/log/nginx/access.log*
parsers:
- ndjson: # 识别json格式日志
keys_under_root: true
message_key: msg
- multiline: # 多行匹配，写法和log类型类似
type: pattern
pattern: '^\d{2}'
negate: true
match: after
3.2 TCP
这种模式可以将多个服务器上产生的日志发送到一台服务器上，该服务器上安装filebeat收集日志并发送给Elasticsearch
filebeat.inputs:
- type: tcp
max_message_size: 10MiB # 最大接收的尺寸，默认是20M
host: "0.0.0.0:9000" # 监听的端口
4 其他输出类型
4.1 file
除了在console显示和发送给Elasticsearch外，filebeat还支持文件类型的输出，可以将日志收集起来放在本地磁盘中。
filebeat.inputs:
- type: tcp
max_message_size: 20MiB
host: "0.0.0.0:9000"
output.file:
path: "/tmp/filebeat" # 目录会自动创建
filename: filebeat
rotate_every_kb: 20000 # 日志轮转的尺寸，默认是10M
number_of_files: 10 # 默认是7
permission：0644 # 日志的权限，默认就是0600
4.2 redis
output.redis
hosts: ["192.168.19.101:6379"]
password: "bruce123" # redis的访问密码
key: "filebeat-test" # 键名
db: 5 # 数据库名
timeout: 5 # 超时时间
得到的数据是列表类型
