Logstash – 插件
Logstash – 插件
Logstash 为其管道的所有三个阶段(输入、过滤器和输出)提供了各种插件。这些插件帮助用户从各种来源(如 Web 服务器、数据库、网络协议等)捕获日志。
捕获后,Logstash 可以将数据解析并转换为用户需要的有意义的信息。最后,Logstash 可以将有意义的信息发送或存储到各种目标源,如 Elasticsearch、AWS Cloudwatch 等。
输入插件
Logstash 中的输入插件可帮助用户从各种来源提取和接收日志。使用输入插件的语法如下 –
Input { Plugin name { Setting 1…… Setting 2…….. } }
您可以使用以下命令下载输入插件 –
>Logstash-plugin install Logstash-input-<plugin name>
Logstash-plugin 实用程序位于Logstash 安装目录的bin 文件夹中。下表列出了 Logstash 提供的输入插件。
Sr.No. | 插件名称和说明 |
---|---|
1 |
beats 从 elastic beats 框架中获取日志数据或事件。 |
2 |
cloudwatch 从 CloudWatch 中提取事件,这是 Amazon Web Services 提供的 API。 |
3 |
couchdb_changes 来自使用此插件提供的 couchdb 的 _chages URI 的事件。 |
4 |
drupal_dblog 使用启用的 DBLog 提取 drupal 的看门狗日志记录数据。 |
5 |
Elasticsearch 检索在 Elasticsearch 集群中执行的查询的结果。 |
6 |
eventlog 从 Windows 事件日志中获取事件。 |
7 |
exec 获取 shell 命令输出作为 Logstash 中的输入。 |
8 |
file 从输入文件中获取事件。当 Logstash 与输入源一起在本地安装并且可以访问输入源日志时,这很有用。 |
9 |
generator 它用于测试目的,这会创建随机事件。 |
10 |
github 从 GitHub webhook 捕获事件。 |
11 |
graphite 从石墨监控工具获取指标数据。 |
12 |
heartbeat 它还用于测试并产生类似心跳的事件 |
13 |
http 通过两种网络协议收集日志事件,即 http 和 https。 |
14 |
http_poller 它用于将 HTTP API 输出解码为事件。 |
15 |
jdbc 它将 JDBC 事务转换为 Logstash 中的事件。 |
16 |
jmx 使用 JMX 从远程 Java 应用程序中提取指标。 |
17 |
log4j 通过 TCP 套接字从 Log4j 的 socketAppender 对象捕获事件。 |
18 |
rss 将命令行工具的输出作为 Logstash 中的输入事件。 |
19 |
tcp 通过 TCP 套接字捕获事件。 |
20 |
从 Twitter 流 API 收集事件。 |
21 |
unix 通过 UNIX 套接字收集事件。 |
22 |
websocket 通过 websocket 协议捕获事件。 |
23 |
xmpp 通过 Jabber/xmpp 协议读取事件。 |
插件设置
所有插件都有其特定的设置,这有助于指定插件中的重要字段,如端口、路径等。我们将讨论一些输入插件的设置。
文件
此输入插件用于直接从输入源中存在的日志或文本文件中提取事件。它的工作方式类似于 UNIX 中的 tail 命令,保存上次读取的游标并仅从输入文件中读取新追加的数据,但可以使用 star_position 设置进行更改。以下是此输入插件的设置。
Setting Name | 默认值 | 描述 |
---|---|---|
add_field | {} | 将新字段附加到输入事件。 |
close_older | 3600 | 上次读取时间(以秒为单位)超过此插件中指定的文件将被关闭。 |
codec | “清楚的” | 它用于在进入 Logstash 管道之前对数据进行解码。 |
delimiter | “\n” | 它用于指定新的行分隔符。 |
discover_interval | 15 | 它是在指定路径中发现新文件之间的时间间隔(以秒为单位)。 |
enable_metric | 真的 | 它用于启用或禁用指定插件的指标报告和收集。 |
exclude | 它用于指定应从输入插件中排除的文件名或模式。 | |
Id | 为该插件实例指定唯一标识。 | |
max_open_files | 它随时指定 Logstash 的最大输入文件数。 | |
path | 指定文件的路径,它可以包含文件名的模式。 | |
start_position | “结尾” | 如果需要,您可以更改为“开始”;最初 Logstash 应该从头开始读取文件,而不仅仅是新的日志事件。 |
start_interval | 1 | 它以秒为单位指定时间间隔,在此之后 Logstash 检查已修改的文件。 |
tags | 要添加任何其他信息,例如 Logstash,当任何日志事件未能符合指定的 grok 过滤器时,它会在标签中添加“_grokparsefailure”。 | |
type | 这是一个特殊字段,您可以将其添加到输入事件中,它在过滤器和 kibana 中很有用。 |
弹性搜索
这个特定的插件用于读取 Elasticsearch 集群中的搜索查询结果。以下是此插件中使用的设置 –
Setting Name | 默认值 | 描述 |
---|---|---|
add_field | {} | 与文件插件相同,用于在输入事件中附加字段。 |
ca_file | 用于指定 SSL 证书颁发机构文件的路径。 | |
codec | “清楚的” | 它用于在进入 Logstash 管道之前解码来自 Elasticsearch 的输入事件。 |
docinfo | “错误的” | 如果您想从 Elasticsearch 引擎中提取索引、类型和 id 等附加信息,您可以将其更改为 true。 |
docinfo_fields | [“_index”, “_type”, “_id”] | 您可以在 Logstash 输入中删除不需要的任何字段。 |
enable_metric | 真的 | 它用于启用或禁用该插件实例的报告和指标收集。 |
hosts | 它用于指定所有弹性搜索引擎的地址,这些引擎将作为该 Logstash 实例的输入源。语法是host:port 或IP:port。 | |
Id | 它用于为该特定输入插件实例提供唯一标识号。 | |
index | “logstash-*” | 它用于指定索引名称或模式,Logstash 将监视 Logstash 以进行输入。 |
password | 用于身份验证。 | |
query | “{ \”sort\”: [ \”_doc\” ] }” | 查询执行。 |
ssl | 错误的 | 启用或禁用安全套接字层。 |
tags | 在输入事件中添加任何附加信息。 | |
type | 它用于对输入表单进行分类,以便在后期轻松搜索所有输入事件。 | |
user | 出于真实目的。 |
事件簿
这个输入插件从 windows 服务器的 win32 API 读取数据。以下是此插件的设置 –
Setting Name | 默认值 | 描述 |
---|---|---|
add_field | {} | 与文件插件相同,用于在输入事件中附加一个字段 |
codec | “清楚的” | 用于解码来自windows的输入事件;在进入 Logstash 管道之前 |
logfile | [“应用”、“安全”、“系统”] | 输入日志文件中所需的事件 |
interval | 1000 | 它以毫秒为单位,定义了两次连续检查新事件日志之间的间隔 |
tags | 在输入事件中添加任何附加信息 | |
type | 它用于将特定插件的输入表单分类为给定类型,以便在后期轻松搜索所有输入事件 |
推特
此输入插件用于从其 Streaming API 收集 twitter 的提要。下表描述了此插件的设置。
Setting Name | 默认值 | 描述 |
---|---|---|
add_field | {} | 与文件插件相同,用于在输入事件中附加一个字段 |
codec | “清楚的” | 用于解码来自windows的输入事件;在进入 Logstash 管道之前 |
consumer_key | 它包含 Twitter 应用程序的使用者密钥。欲了解更多信息,请访问https://dev.twitter.com/apps/new | |
consumer_secret | 它包含 Twitter 应用程序的消费者密钥。欲了解更多信息,请访问https://dev.twitter.com/apps/new | |
enable_metric | 真的 | 它用于启用或禁用该插件实例的报告和指标收集 |
follows |
它指定用逗号分隔的用户 ID,LogStash 会检查这些用户在 Twitter 中的状态。 欲了解更多信息,请访问 |
|
full_tweet | 错误的 | 如果您希望 Logstash 读取从 twitter API 返回的完整对象,您可以将其更改为 true |
id | 它用于为该特定输入插件实例提供唯一标识号 | |
ignore_retweets | 错误的 | 您可以更改设置为 true 以忽略输入推特提要中的转推 |
keywords | 这是一组关键字,需要在 twitters 输入源中进行跟踪 | |
language | 它定义了 LogStash 需要的来自输入 twitter 提要的推文的语言。这是一个标识符数组,它定义了 Twitter 中的特定语言 | |
locations | 根据指定的位置从输入源中过滤掉推文。这是一个数组,其中包含位置的经度和纬度 | |
oauth_token | 这是一个必需的文件,其中包含用户 oauth 令牌。欲了解更多信息,请访问以下链接https://dev.twitter.com/apps | |
oauth_token_secret | 这是一个必需的文件,其中包含用户 oauth 秘密令牌。欲了解更多信息,请访问以下链接https://dev.twitter.com/apps | |
tags | 在输入事件中添加任何附加信息 | |
type | 它用于将特定插件的输入表单分类为给定类型,以便在后期轻松搜索所有输入事件 |
TCP
TCP 用于通过 TCP 套接字获取事件;它可以从模式设置中指定的用户连接或服务器读取。下表描述了此插件的设置 –
Setting Name | 默认值 | 描述 |
---|---|---|
add_field | {} | 与文件插件相同,用于在输入事件中附加一个字段 |
codec | “清楚的” | 用于解码来自windows的输入事件;在进入 Logstash 管道之前 |
enable_metric | 真的 | 它用于启用或禁用该插件实例的报告和指标收集 |
host | “0.0.0.0” | 客户端依赖的服务器操作系统的地址 |
id | 它包含 Twitter 应用程序的消费者密钥 | |
mode | “服务器” | 它用于指定输入源是服务器还是客户端。 |
port | 它定义了端口号 | |
ssl_cert | 用于指定SSL证书的路径 | |
ssl_enable | 错误的 | 启用或禁用 SSL |
ssl_key | 指定 SSL 密钥文件的路径 | |
tags | 在输入事件中添加任何附加信息 | |
type | 它用于将特定插件的输入表单分类为给定类型,以便在后期轻松搜索所有输入事件 |
Logstash – 输出插件
Logstash 支持各种输出源和不同的技术,如数据库、文件、电子邮件、标准输出等。
使用输出插件的语法如下 –
output { Plugin name { Setting 1…… Setting 2…….. } }
您可以使用以下命令下载输出插件 –
>logstash-plugin install logstash-output-<plugin name>
该Logstash-插件工具存在于Logstash安装目录下的bin文件夹。下表描述了 Logstash 提供的输出插件。
Sr.No. | 插件名称和说明 |
---|---|
1 |
CloudWatch 此插件用于将聚合指标数据发送到亚马逊 Web 服务的 CloudWatch。 |
2 |
csv 它用于以逗号分隔的方式编写输出事件。 |
3 |
Elasticsearch 用于将输出日志存储在 Elasticsearch 索引中。 |
4 |
它用于在生成输出时发送通知电子邮件。用户可以在电子邮件中添加有关输出的信息。 |
5 |
exec 它用于运行与输出事件匹配的命令。 |
6 |
ganglia 它将指标扭曲到 Gangila 的 gmond。 |
7 |
gelf 它用于以 GELF 格式为 Graylog2 生成输出。 |
8 |
google_bigquery 它将事件输出到 Google BigQuery。 |
9 |
google_cloud_storage 它将输出事件存储到 Google Cloud Storage。 |
10 |
graphite 它用于将输出事件存储到 Graphite。 |
11 |
graphtastic 它用于在 Windows 上编写输出指标。 |
12 |
hipchat 它用于将输出日志事件存储到 HipChat。 |
13 |
http 它用于将输出日志事件发送到 http 或 https 端点。 |
14 |
influxdb 它用于在 InfluxDB 中存储输出事件。 |
15 |
irc 它用于将输出事件写入 irc。 |
16 |
mongodb 它将输出数据存储在 MongoDB 中。 |
17 |
nagios 它用于将被动检查结果通知 Nagios。 |
18 |
nagios_nsca 它用于通过 NSCA 协议将被动检查结果通知 Nagios。 |
19 |
opentsdb 它将 Logstash 输出事件存储到 OpenTSDB。 |
20 |
pipe 它将输出事件流式传输到另一个程序的标准输入。 |
21 |
rackspace 用于将输出的日志事件发送到 Rackspace Cloud 的 Queue 服务。 |
22 |
redis 它使用 rpush 命令将输出的日志数据发送到 Redis 队列。 |
23 |
riak 它用于将输出事件存储到 Riak 分布式键/值对。 |
24 |
s3 它将输出日志数据存储到 Amazon Simple Storage Service。 |
25 |
sns 它用于将输出事件发送到 Amazon 的 Simple Notification Service。 |
26 |
solr_http 它在 Solr 中索引和存储输出日志数据。 |
27 |
sps 它用于将事件发送到 AWS 的 Simple Queue Service。 |
28 |
statsd 它用于将指标数据发送到 statsd 网络守护程序。 |
29 |
stdout 它用于在 CLI 的标准输出(如命令提示符)上显示输出事件。 |
30 |
syslog 它用于将输出事件发送到系统日志服务器。 |
31 |
tcp 它用于将输出事件发送到 TCP 套接字。 |
32 |
udp 它用于通过 UDP 推送输出事件。 |
33 |
websocket 它用于通过 WebSocket 协议推送输出事件。 |
34 |
xmpp 它用于通过 XMPP 协议推送输出事件。 |
所有插件都有其特定的设置,这有助于指定插件中的重要字段,如端口、路径等。我们将讨论一些输出插件的设置。
弹性搜索
Elasticsearch 输出插件使 Logstash 能够将输出存储在 Elasticsearch 引擎的特定集群中。这是用户的著名选择之一,因为它包含在 ELK Stack 包中,因此为 Devops 提供端到端解决方案。下表描述了此输出插件的设置。
Setting Name | 默认值 | 描述 |
---|---|---|
action | 指数 | 它用于定义在 Elasticsearch 引擎中执行的操作。此设置的其他值是删除、创建、更新等。 |
cacert | 它包含带有 .cer 或 .pem 的文件路径,用于服务器的证书验证。 | |
codec | “清楚的” | 它用于在将输出日志数据发送到目标源之前对其进行编码。 |
doc_as_upset | 错误的 | 此设置用于更新操作的情况。如果在输出插件中未指定文档 ID,它将在 Elasticsearch 引擎中创建一个文档。 |
document_type | 它用于将相同类型的事件存储在相同的文档类型中。如果未指定,则事件类型用于相同。 | |
flush_size | 500 | 这用于提高 Elasticsearch 中批量上传的性能 |
hosts | [“127.0.0.1”] | 它是用于输出日志数据的目标地址数组 |
idle_flush_time | 1 | 它定义了两次刷新之间的时间限制(秒),Logstash 在此设置中指定的时间限制后强制刷新 |
index | “logstash-%{+YYYY.MM.dd}” | 用于指定Elasticsearch引擎的索引 |
manage_temlpate | 真的 | 用于在 Elasticsearch 中应用默认模板 |
parent | 零 | 用于指定Elasticsearch中父文档的id |
password | 用于验证对 Elasticsearch 中安全集群的请求 | |
path | 用于指定 Elasticsearch 的 HTTP 路径。 | |
pipeline | 零 | 它用于设置摄取管道,用户希望为事件执行 |
proxy | 用于指定 HTTP 代理 | |
retry_initial_interval | 2 | 它用于设置批量重试之间的初始时间间隔(秒)。每次重试后都会加倍,直到达到 retry_max_interval |
retry_max_interval | 64 | 用于设置 retry_initial_interval 的最大时间间隔 |
retry_on_conflict | 1 | Elasticsearch 更新文档的重试次数 |
ssl | 启用或禁用保护到 Elasticsearch 的 SSL/TLS | |
template | 包含自定义模板在 Elasticsearch 中的路径 | |
template_name | “日志存储” | 这用于在 Elasticsearch 中命名模板 |
timeout | 60 | 它是对 Elasticsearch 的网络请求的超时时间 |
upsert | “” | 它更新文档,或者如果 document_id 不存在,它会在 Elasticsearch 中创建一个新文档 |
user | 它包含在安全的 Elasticsearch 集群中对 Logstash 请求进行身份验证的用户 |
电子邮件
当 Logstash 生成输出时,电子邮件输出插件用于通知用户。下表描述了此插件的设置。
Setting Name | 默认值 | 描述 |
---|---|---|
address | “本地主机” | 这是邮件服务器的地址 |
attachments | [] | 它包含附加文件的名称和位置 |
body | “” | 它包含电子邮件的正文,应该是纯文本 |
cc | 它包含以逗号分隔的电子邮件地址,用于电子邮件抄送 | |
codec | “清楚的” | 它用于在将输出日志数据发送到目标源之前对其进行编码。 |
contenttype | “文本/html;字符集= UTF-8” | 它用于电子邮件的内容类型 |
debug | 错误的 | 用于在调试模式下执行邮件中继 |
domain | “本地主机” | 它用于设置发送电子邮件的域 |
from | “[email protected]” | 它用于指定发件人的电子邮件地址 |
htmlbody | “” | 用于指定 html 格式的邮件正文 |
password | 它用于与邮件服务器进行身份验证 | |
port | 25 | 用于定义与邮件服务器通信的端口 |
replyto | 用于指定email回复字段的email id | |
subject | “” | 它包含电子邮件的主题行 |
use_tls | 错误的 | 启用或禁用与邮件服务器通信的 TSL |
username | 包含用于与服务器进行身份验证的用户名 | |
via | “smtp” | 它定义了 Logstash 发送电子邮件的方法 |
网址
此设置用于通过 http 将输出事件发送到目的地。这个插件有以下设置 –
Setting Name | 默认值 | 描述 |
---|---|---|
automatic_retries | 1 | 用于设置logstash的http请求重试次数 |
cacert | 它包含服务器证书验证的文件路径 | |
codec | “清楚的” | 它用于在将输出日志数据发送到目标源之前对其进行编码。 |
content_type | I 指定对目的服务器的http请求的内容类型 | |
cookies | 真的 | 它用于启用或禁用 cookie |
format | “json” | 用于设置http请求体的格式 |
headers | 它包含http头的信息 | |
http_method | “” | 用于指定logstash在请求中使用的http方法,取值可以是“put”、“post”、“patch”、“delete”、“get”、“head” |
request_timeout | 60 | 它用于与邮件服务器进行身份验证 |
url | 指定 http 或 https 端点是此插件的必需设置 |
标准输出
stdout 输出插件用于在命令行界面的标准输出上写入输出事件。它是 Windows 中的命令提示符和 UNIX 中的终端。此插件具有以下设置 –
Setting Name | 默认值 | 描述 |
---|---|---|
codec | “清楚的” | 它用于在将输出日志数据发送到目标源之前对其进行编码。 |
workers | 1 | 它用于指定输出的工人数量 |
统计数据
它是一个网络守护进程,用于通过 UDP 将矩阵数据发送到目标后端服务。它是 Windows 中的命令提示符和 UNIX 中的终端。这个插件有以下设置 –
Setting Name | 默认值 | 描述 |
---|---|---|
codec | “清楚的” | 它用于在将输出日志数据发送到目标源之前对其进行编码。 |
count | {} | 它用于定义要在指标中使用的计数 |
decrement | [] | 它用于指定递减指标名称 |
host | “本地主机” | 它包含 statsd 服务器的地址 |
increment | [] | 它用于指定增量度量名称 |
port | 8125 | 它包含statsd服务器的端口 |
sample_rate | 1 | 它用于指定指标的采样率 |
sender | “%{主持人}” | 它指定发件人的姓名 |
set | {} | 它用于指定一个集合度量 |
timing | {} | 它用于指定时间度量 |
workers | 1 | 它用于指定输出的工人数量 |
过滤插件
Logstash 支持各种过滤器插件来解析输入日志并将其转换为更结构化且易于查询的格式。
使用过滤器插件的语法如下 –
filter { Plugin name { Setting 1…… Setting 2…….. } }
您可以使用以下命令下载过滤器插件 –
>logstash-plugin install logstash-filter-<plugin name>
Logstash-plugin 实用程序位于 Logstash 安装目录的 bin 文件夹中。下表描述了 Logstash 提供的输出插件。
Sr.No. | 插件名称和说明 |
---|---|
1 |
aggregate 该插件从相同类型的各种事件中收集或聚合数据,并在最终事件中处理它们 |
2 |
alter 它允许用户更改日志事件的字段,而 mutate 过滤器不处理 |
3 |
anonymize 它用于用一致的哈希替换字段的值 |
4 |
cipher 它用于在将输出事件存储到目标源之前对其进行加密 |
5 |
clone 它用于在 Logstash 中创建输出事件的副本 |
6 |
collate 它按时间或计数合并来自不同日志的事件 |
7 |
csv 该插件根据分隔符解析输入日志中的数据 |
8 |
date 它解析事件中字段的日期并将其设置为事件的时间戳 |
9 |
dissect 该插件可帮助用户从非结构化数据中提取字段,并使 grok 过滤器可以轻松正确地解析它们 |
10 |
drop 它用于删除所有相同类型或任何其他相似的事件 |
11 |
elapsed 它用于计算开始和结束事件之间的时间 |
12 |
Elasticsearch 它用于将 Elasticsearch 中存在的先前日志事件的字段复制到 Logstash 中的当前字段 |
13 |
extractnumbers 它用于从日志事件中的字符串中提取数字 |
14 |
geoip 它在事件中添加了一个字段,其中包含日志事件中存在的 IP 位置的纬度和经度 |
15 |
grok 是常用的过滤器插件,用于解析事件获取字段 |
16 |
i18n 它从日志事件中的文件中删除特殊字符 |
17 |
json 它用于在事件中或在事件的特定字段中创建结构化的 Json 对象 |
18 |
kv 这个插件在匹配日志数据中的键值对时很有用 |
19 |
metrics 它用于聚合指标,例如计算每个事件的持续时间 |
20 |
multiline 它也是常用的过滤器插件之一,它可以帮助用户将多行日志数据转换为单个事件。 |
21 |
mutate 此插件用于重命名、删除、替换和修改事件中的字段 |
22 |
range 它用于根据预期范围和范围内的字符串长度检查事件中字段的数值。 |
23 |
ruby 它用于运行任意 Ruby 代码 |
24 |
sleep 这使 Logstash 休眠指定的时间 |
25 |
split 它用于拆分事件的字段并将所有拆分值放置在该事件的克隆中 |
26 |
xml 它用于通过解析日志中存在的 XML 数据来创建事件 |
编解码器插件
编解码器插件可以是输入或输出插件的一部分。这些插件用于更改或格式化日志数据表示。Logstash 提供多个编解码器插件,如下所示 –
Sr.No. | 插件名称和说明 |
---|---|
1 |
avro 此插件将 Logstash 事件序列化为 avro 数据或将 avro 记录解码为 Logstash 事件 |
2 |
cloudfront 此插件从 AWS cloudfront 读取编码数据 |
3 |
cloudtrail 该插件用于从 AWS cloudtrail 读取数据 |
4 |
collectd 这从称为通过 UDP 收集的二进制协议读取数据 |
5 |
compress_spooler 它用于将 Logstash 中的日志事件压缩为假脱机批次 |
6 |
dots 这是通过为每个事件设置一个点到标准输出来使用性能跟踪 |
7 |
es_bulk 这用于将来自 Elasticsearch 的批量数据转换为 Logstash 事件,包括 Elasticsearch 元数据 |
8 |
graphite 此编解码器将石墨中的数据读入事件并将事件转换为石墨格式的记录 |
9 |
gzip_lines 该插件用于处理 gzip 编码的数据 |
10 |
json 这用于将 Json 数组中的单个元素转换为单个 Logstash 事件 |
11 |
json_lines 它用于处理带有换行符的 Json 数据 |
12 |
line 它插件将在单个 live 中读取和写入事件,这意味着在换行分隔符之后会有一个新事件 |
13 |
multiline 它用于将多行日志数据转换为单个事件 |
14 |
netflow 此插件用于将 nertflow v5/v9 数据转换为 logstash 事件 |
15 |
nmap 它将 nmap 结果数据解析为 XML 格式 |
16 |
plain 这读取没有分隔符的文本 |
17 |
rubydebug 这个插件将使用 Ruby Awesome 打印库编写输出 Logstash 事件 |
构建你自己的插件
您还可以在 Logstash 中创建自己的插件,以满足您的需求。Logstash-plugin 实用程序用于创建自定义插件。在这里,我们将创建一个过滤器插件,它将在事件中添加自定义消息。
生成基础结构
用户可以使用 logstash-plugin 实用程序的 generate 选项生成必要的文件,也可以在 GitHub 上找到它。
>logstash-plugin generate --type filter --name myfilter --path c:/tpwork/logstash/lib
在这里,type选项用于指定插件是输入、输出或过滤器。在这个例子中,我们正在创建一个名为myfilter的过滤器插件。path 选项用于指定路径,您希望在其中创建插件目录。执行上述命令后,您将看到创建了一个目录结构。
开发插件
您可以在插件目录的\lib\logstash\filters文件夹中找到插件的代码文件。文件扩展名为.rb。
在我们的例子中,代码文件位于以下路径中 –
C:\tpwork\logstash\lib\logstash-filter-myfilter\lib\logstash\filters\myfilter.rb
我们将消息更改为 − 默认⇒“嗨,您正在tutorialspoint.com 上学习”并保存文件。
安装插件
安装这个插件需要修改Logstash的Gemfile。你可以在Logstash的安装目录中找到这个文件。在我们的例子中,它将在C:\tpwork\logstash 中。使用任何文本编辑器编辑此文件并在其中添加以下文本。
gem "logstash-filter-myfilter",:path => "C:/tpwork/logstash/lib/logstash-filter-myfilter"
在上面的命令中,我们指定了插件的名称以及我们可以在哪里找到它进行安装。然后,运行 Logstash-plugin 实用程序来安装此插件。
>logstash-plugin install --no-verify
测试
在这里,我们在前面的示例之一中添加了myfilter –
日志文件
此 Logstash 配置文件在 grok 过滤器插件之后的过滤器部分中包含 myfilter。
input { file { path => "C:/tpwork/logstash/bin/log/input1.log" } } filter { grok { match => [ "message", "%{LOGLEVEL:loglevel} - %{NOTSPACE:taskid} - %{NOTSPACE:logger} - %{WORD:label}( - %{INT:duration:int})?" ] } myfilter{} } output { file { path => "C:/tpwork/logstash/bin/log/output1.log" codec => rubydebug } }
运行日志
我们可以使用以下命令运行 Logstash。
>logstash –f logsatsh.conf
输入日志
以下代码块显示了输入日志数据。
INFO - 48566 - TRANSACTION_START - start
输出日志
以下代码块显示了输出日志数据。
{ "path" => "C:/tpwork/logstash/bin/log/input.log", "@timestamp" => 2017-01-07T06:25:25.484Z, "loglevel" => "INFO", "logger" => "TRANSACTION_END", "@version" => "1", "host" => "Dell-PC", "label" => "end", "message" => "Hi, You are learning this on tutorialspoint.com", "taskid" => "48566", "tags" => [] }
在 Logstash 上发布
开发人员还可以通过将其上传到 github 并遵循 Elasticsearch 公司定义的标准化步骤将他/她的自定义插件发布到 Logstash。
有关发布的更多信息,请参阅以下 URL –
https://www.elastic.co/guide/en/logstash/current/contributing-to-logstash.html