欢迎访问shiker.tech

请允许在我们的网站上展示广告

您似乎使用了广告拦截器,请关闭广告拦截器。我们的网站依靠广告获取资金。

【译文】ELK之Logstash、kibana
(last modified Jul 11, 2023, 10:29 AM )
by
侧边栏壁纸
  • 累计撰写 182 篇文章
  • 累计创建 64 个标签
  • 累计收到 4 条评论

目 录CONTENT

文章目录

【译文】ELK之Logstash、kibana

橙序员
2023-07-05 / 0 评论 / 0 点赞 / 415 阅读 / 3,802 字 / 正在检测百度是否收录... 正在检测必应是否收录...
文章摘要(AI生成)

Logstash介绍Logstash 是一个具有实时管道功能的开源数据收集引擎。Logstash 可以动态地统一来自不同来源的数据,并将数据规范化到您选择的目的地。清理和民主化您的所有数据,以实现各种高级下游分析和可视化用例。虽然 Logstash 最初推动了日志收集方面的创新,但其功能远远超出了该

Logstash介绍

Logstash 是一个具有实时管道功能的开源数据收集引擎。Logstash 可以动态地统一来自不同来源的数据,并将数据规范化到您选择的目的地。清理和民主化您的所有数据,以实现各种高级下游分析和可视化用例。

虽然 Logstash 最初推动了日志收集方面的创新,但其功能远远超出了该用例。任何类型的事件都可以通过广泛的输入、过滤器和输出插件来丰富和转换,许多本机编解码器进一步简化了摄取过程。Logstash 通过利用更多数量和种类的数据来加速您的洞察。

Logstash 事件处理管道分为三个阶段:输入→过滤器→输出。输入生成事件,过滤器修改它们,输出将它们发送到其他地方。输入和输出支持编解码器,使您能够在数据进入或退出管道时对数据进行编码或解码,而无需使用单独的过滤器。

输入

您使用输入将数据获取到 Logstash 中。一些更常用的输入是:

  • file:从文件系统上的文件读取,很像 UNIX tail -0F命令
  • syslog:在众所周知的端口 514 上监听 syslog 消息并根据 RFC3164 格式进行解析
  • redis:使用 redis 通道和 redis 列表从 redis 服务器读取。Redis 通常用作集中式 Logstash 安装中的“代理”,它将来自远程 Logstash“发货人”的 Logstash 事件排队。
  • beats:处理 Beats发送的事件。

有关可用输入的更多信息,请参阅 输入插件

过滤器

过滤器是Logstash管道中的中间处理设备。您可以将过滤器与条件组合起来,以便在事件满足特定条件时对事件执行操作。一些有用的过滤器包括:

  • grok:解析和构造任意文本。Grok 目前是 Logstash 中将非结构化日志数据解析为结构化和可查询数据的最佳方法。Logstash 内置了 120 种模式,您很可能会找到一种满足您需求的模式!
  • mutate:对事件字段执行一般转换。您可以重命名、删除、替换和修改事件中的字段。
  • drop:完全删除事件,例如调试事件。
  • 克隆:复制事件,可能添加或删除字段。
  • geoip:添加有关 IP 地址地理位置的信息(还在 Kibana 中显示令人惊叹的图表!)

有关可用过滤器的更多信息,请参阅 过滤器插件

输出

输出是 Logstash 管道的最后阶段。一个事件可以经过多个输出,但是一旦所有输出处理完成,该事件就完成了其执行。一些常用的输出包括:

  • elasticsearch:将事件数据发送到 Elasticsearch。如果您计划以高效、方便且易于查询的格式保存数据…Elasticsearch 是您的最佳选择。时期。是的,我们有偏见:)
  • file:将事件数据写入磁盘上的文件。
  • Graphite:将事件数据发送到 Graphite,这是一种用于存储和绘制指标的流行开源工具。
  • statsd:将事件数据发送到 statsd,这是一项“侦听通过 UDP 发送的统计信息(例如计数器和计时器)并将聚合发送到一个或多个可插入后端服务”的服务。如果您已经在使用 statsd,这可能对您有用!

有关可用输出的更多信息,请参阅 输出插件

编解码器

编解码器基本上是可以作为输入或输出的一部分运行的流过滤器。编解码器使您能够轻松地将消息传输与序列化过程分开。流行的编解码器包括jsonmsgpackplain (文本)。

  • json:以 JSON 格式对数据进行编码或解码。
  • multiline:将多行文本事件(例如 java 异常和堆栈跟踪消息)合并到单个事件中。

有关可用编解码器的更多信息,请参阅 编解码器插件

执行模型

Logstash 事件处理管道协调输入、过滤器和输出的执行。

Logstash 管道中的每个输入阶段都在自己的线程中运行。将写入事件输入到内存(默认)或磁盘上的中央队列。每个管道工作线程从该队列中取出一批事件,通过配置的过滤器运行该批事件,然后通过任何输出运行过滤后的事件。批处理的大小和管道工作线程的数量是可配置的(请参阅调整和分析 Logstash 性能)。

默认情况下,Logstash 在管道阶段(输入→过滤器和过滤器→输出)之间使用内存中的有界队列来缓冲事件。如果 Logstash 不安全终止,则存储在内存中的任何事件都将丢失。为了帮助防止数据丢失,您可以启用 Logstash 将正在进行的事件保存到磁盘。有关详细信息,请参阅 持久队列 (PQ)

Kibana——您了解 Elastic 的窗口

Kibana 使您能够塑造数据并导航 Elastic Stack。使用 Kibana,您可以:

  • 搜索、观察和保护您的数据。 从发现文档到分析日志再到查找安全漏洞,Kibana 是您访问这些功能及其他功能的门户。
  • 分析您的数据。 搜索隐藏的见解,可视化您在图表、仪表、地图、图形等中发现的内容,并将它们组合在仪表板中。
  • 管理、监控和保护 Elastic Stack。 管理您的数据、监控 Elastic Stack 集群的运行状况并控制哪些用户有权访问哪些功能。

Kibana 适合管理员、分析师和业务用户。 作为管理员,您的角色是管理 Elastic Stack,从创建部署到将 Elasticsearch 数据导入 Kibana,然后管理数据。作为分析师,您希望发现数据中的见解、在仪表板上可视化您的数据并分享您的发现。作为业务用户,您希望查看现有仪表板并深入了解详细信息。

**Kibana 适用于所有类型的数据。**您的数据可以是结构化或非结构化文本、数字数据、时间序列数据、地理空间数据、日志、指标、安全事件等。无论您的数据是什么,Kibana 都可以帮助您发现模式和关系并可视化结果。

搜索、观察和保护

能够搜索、观察和保护数据是任何分析师的要求。Kibana 为每个用例提供了解决方案。

  • 企业搜索使您能够为您的应用程序、工作场所和网站创建搜索体验。
  • Elastic Observability使您能够实时监控所有环境中发生的事件并应用分析。您可以分析日志事件、监控运行日志的主机或容器的性能指标、跟踪事务并检查整体服务可用性。
  • Elastic Security 专为安全分析师而设计,提供您环境中的事件和警报的概述。Elastic Security 可帮助您在发生损坏和损失之前保护您的组织免受威胁。

分析

借助 Kibana Analytics,您可以快速搜索大量数据、探索字段和值,然后使用拖放界面快速构建图表、表格、指标等。

1 添加数据。将数据添加到 Elastic Stack 的最佳方法是使用我们的众多集成之一。或者,您可以添加示例数据集或上传文件。所有三个选项都可以在主页上找到。
2 探索。通过Discover,您可以搜索数据以获取隐藏的见解和关系。提出您的问题,然后将结果过滤为您想要的数据。您可以将结果限制为添加到 Elasticsearch 的最新文档。
3 可视化。Kibana 提供了许多选项来创建数据可视化,从基于聚合的数据到时间序列数据再到地理数据。 仪表板是创建可视化的起点,然后将它们组合在一起以从多个角度显示数据。使用Canvas为您的数据提供在大屏幕上显示的报表。使用图表来探索模式和关系。
4 模型数据行为 。使用机器学习对数据行为进行建模. 预测异常行为并执行异常值检测、回归和分类分析。
5 分享。准备好与更多受众分享您的发现了吗?Kibana 提供了许多选项 - 嵌入仪表板、共享链接、导出为 PDF 等等。

管理您的数据

Kibana 可帮助您通过方便的 UI 执行数据管理任务。你可以:

  • 刷新、刷新和清除索引缓存。
  • 定义索引老化时的生命周期。
  • 定义拍摄集群快照的策略。
  • 将一个或多个索引中的数据汇总到一个新的紧凑索引中。
  • 复制远程集群上的索引并将其复制到本地集群。

有关数据管理 UI 的完整列表,请参阅堆栈管理

发出警报并采取行动

几乎每个用例都需要检测数据中的重大变化和信号并采取行动。警报允许您检测不同 Kibana 应用程序中的条件,并在满足这些条件时触发操作。例如,当业务关键 KPI 发生变化或内存、CPU 或磁盘空间下降时,您可能会触发警报。当警报触发时,您可以向属于日常工作流程一部分的系统发送通知:电子邮件、Slack、PagerDuty、ServiceNow 和其他第三方集成。

用于创建、搜索和编辑规则的专用视图位于Rules中。

组织内容

您可能正在管理数十、数百甚至数千个仪表板、可视化和其他 Kibana 资产。Kibana 有多种功能可以让您的内容井井有条。

收集空间中的相关物品

Kibana 提供了用于组织可视化、仪表板、数据视图等的空间。将一个空间视为自己的迷你 Kibana 安装 - 它与所有其他空间隔离,因此您可以根据自己的特定需求对其进行定制,而不会影响其他空间。

使用标签组织您的内容

标签是您分配给已保存对象(例如仪表板和可视化)的关键字或标签,因此您可以按照对您有意义的方式对它们进行分类。例如,如果您用“设计”标记对象,则可以在该标记上搜索和过滤以查看所有相关对象。标签也适用于将空间内的内容分组。

如果您有数百个需要标记的仪表板,请不要担心。使用堆栈管理 中的标签创建标签,然后批量分配和删除它们。

Kibana安全拓展

Kibana 提供了一系列安全功能,供您控制谁有权访问哪些内容。 当您向受保护的 Elasticsearch 集群注册 Kibana 时,安全性会自动启用。有关所有可用配置选项的说明,请参阅Kibana 中的安全设置

登录

Kibana 支持多个身份验证提供程序,允许您使用 Elasticsearch 的内置领域或您自己的单点登录提供程序登录。

安全访问

Kibana 提供角色和权限来控制哪些用户可以查看和管理 Kibana 功能。权限授予查看应用程序或执行特定操作的权限,并分配给角色。角色允许您描述可以授予许多用户的功能“模板”,而无需重新定义每个用户应该能够执行的操作。

创建角色时,您可以将分配的 Kibana 权限范围限定到特定空间。这使得可以在不同的空间中授予用户不同的访问级别,甚至为用户提供自己的私人空间。例如,高级用户可能拥有创建和编辑可视化效果和仪表板的权限,而分析师或管理人员可能拥有具有只读权限的仪表板画布。

Kibana 的角色管理界面允许您描述这些不同的访问级别,或者您可以通过我们的API自动创建角色。

审核访问

配置完用户和角色后,您可能需要维护有关谁在何时执行什么操作的记录。Kibana 审核日志将为您记录此信息,然后可以将其与 Elasticsearch 审核日志关联起来,以更深入地了解用户的行为。有关更多信息,请参阅Kibana 审核日志记录

查找应用程序和对象

要快速查找应用程序和您创建的对象,请使用全局标题中的搜索字段。搜索建议包括应用程序的深层链接,使您可以直接导航到最需要的视图。

您可以按类型、名称和标签搜索对象。要充分利用搜索功能,请遵循以下提示:

  • 使用键盘快捷键(Windows 和 Linux 上的 Ctrl+/,MacOS 上的 Command+/)可随时专注于输入。

  • 使用提供的语法关键字。

    按类型搜索 type:dashboard可用类型:application, canvas-workpad, dashboard, data-view, lens, maps, query, search,visualization
    按标签搜索 tag:mytagname tag:"tag name with spaces"
    按类型和名称搜索 type:dashboard my_dashboard_title
    高级搜索 tag:(tagname1 or tagname2) my_dashboard_title type:lens tag:(tagname1 or tagname2) type:(dashboard or canvas-workpad) logs

查看 Kibana 提供的所有服务

要查看应用程序和功能的完整列表,请转到Kibana 功能

得到帮助

单击导航栏中的帮助图标 以获取问题帮助或提供反馈。

要了解 Elastic 中的新增功能和更改,请单击全局标题中的庆祝图标。

0

评论区