文章摘要(AI生成)

Logstash介绍Logstash 是一个具有实时管道功能的开源数据收集引擎。Logstash 可以动态地统一来自不同来源的数据，并将数据规范化到您选择的目的地。清理和民主化您的所有数据，以实现各种高级下游分析和可视化用例。虽然 Logstash 最初推动了日志收集方面的创新，但其功能远远超出了该

Logstash介绍

Logstash 是一个具有实时管道功能的开源数据收集引擎。Logstash 可以动态地统一来自不同来源的数据，并将数据规范化到您选择的目的地。清理和民主化您的所有数据，以实现各种高级下游分析和可视化用例。

虽然 Logstash 最初推动了日志收集方面的创新，但其功能远远超出了该用例。任何类型的事件都可以通过广泛的输入、过滤器和输出插件来丰富和转换，许多本机编解码器进一步简化了摄取过程。Logstash 通过利用更多数量和种类的数据来加速您的洞察。

Logstash 事件处理管道分为三个阶段：输入→过滤器→输出。输入生成事件，过滤器修改它们，输出将它们发送到其他地方。输入和输出支持编解码器，使您能够在数据进入或退出管道时对数据进行编码或解码，而无需使用单独的过滤器。

输入

您使用输入将数据获取到 Logstash 中。一些更常用的输入是：

• file：从文件系统上的文件读取，很像 UNIX tail -0F命令
• syslog：在众所周知的端口 514 上监听 syslog 消息并根据 RFC3164 格式进行解析
• redis：使用 redis 通道和 redis 列表从 redis 服务器读取。Redis 通常用作集中式 Logstash 安装中的“代理”，它将来自远程 Logstash“发货人”的 Logstash 事件排队。
• beats：处理 Beats发送的事件。

有关可用输入的更多信息，请参阅 输入插件。

过滤器

过滤器是Logstash管道中的中间处理设备。您可以将过滤器与条件组合起来，以便在事件满足特定条件时对事件执行操作。一些有用的过滤器包括：

• grok：解析和构造任意文本。Grok 目前是 Logstash 中将非结构化日志数据解析为结构化和可查询数据的最佳方法。Logstash 内置了 120 种模式，您很可能会找到一种满足您需求的模式！
• mutate：对事件字段执行一般转换。您可以重命名、删除、替换和修改事件中的字段。
• drop：完全删除事件，例如调试事件。
• 克隆：复制事件，可能添加或删除字段。
• geoip：添加有关 IP 地址地理位置的信息（还在 Kibana 中显示令人惊叹的图表！）

有关可用过滤器的更多信息，请参阅 过滤器插件。

输出

输出是 Logstash 管道的最后阶段。一个事件可以经过多个输出，但是一旦所有输出处理完成，该事件就完成了其执行。一些常用的输出包括：

• elasticsearch：将事件数据发送到 Elasticsearch。如果您计划以高效、方便且易于查询的格式保存数据…Elasticsearch 是您的最佳选择。时期。是的，我们有偏见:)
• file：将事件数据写入磁盘上的文件。
• Graphite：将事件数据发送到 Graphite，这是一种用于存储和绘制指标的流行开源工具。
• statsd：将事件数据发送到 statsd，这是一项“侦听通过 UDP 发送的统计信息（例如计数器和计时器）并将聚合发送到一个或多个可插入后端服务”的服务。如果您已经在使用 statsd，这可能对您有用！

有关可用输出的更多信息，请参阅 输出插件。

编解码器

编解码器基本上是可以作为输入或输出的一部分运行的流过滤器。编解码器使您能够轻松地将消息传输与序列化过程分开。流行的编解码器包括json、msgpack和plain （文本）。

• json：以 JSON 格式对数据进行编码或解码。
• multiline：将多行文本事件（例如 java 异常和堆栈跟踪消息）合并到单个事件中。

有关可用编解码器的更多信息，请参阅 编解码器插件。

执行模型

Logstash 事件处理管道协调输入、过滤器和输出的执行。

Logstash 管道中的每个输入阶段都在自己的线程中运行。将写入事件输入到内存（默认）或磁盘上的中央队列。每个管道工作线程从该队列中取出一批事件，通过配置的过滤器运行该批事件，然后通过任何输出运行过滤后的事件。批处理的大小和管道工作线程的数量是可配置的（请参阅调整和分析 Logstash 性能）。

默认情况下，Logstash 在管道阶段（输入→过滤器和过滤器→输出）之间使用内存中的有界队列来缓冲事件。如果 Logstash 不安全终止，则存储在内存中的任何事件都将丢失。为了帮助防止数据丢失，您可以启用 Logstash 将正在进行的事件保存到磁盘。有关详细信息，请参阅 持久队列 (PQ)。

Kibana——您了解 Elastic 的窗口

Kibana 使您能够塑造数据并导航 Elastic Stack。使用 Kibana，您可以：

• 搜索、观察和保护您的数据。 从发现文档到分析日志再到查找安全漏洞，Kibana 是您访问这些功能及其他功能的门户。
• 分析您的数据。 搜索隐藏的见解，可视化您在图表、仪表、地图、图形等中发现的内容，并将它们组合在仪表板中。
• 管理、监控和保护 Elastic Stack。 管理您的数据、监控 Elastic Stack 集群的运行状况并控制哪些用户有权访问哪些功能。

Kibana 适合管理员、分析师和业务用户。 作为管理员，您的角色是管理 Elastic Stack，从创建部署到将 Elasticsearch 数据导入 Kibana，然后管理数据。作为分析师，您希望发现数据中的见解、在仪表板上可视化您的数据并分享您的发现。作为业务用户，您希望查看现有仪表板并深入了解详细信息。

**Kibana 适用于所有类型的数据。**您的数据可以是结构化或非结构化文本、数字数据、时间序列数据、地理空间数据、日志、指标、安全事件等。无论您的数据是什么，Kibana 都可以帮助您发现模式和关系并可视化结果。

搜索、观察和保护

能够搜索、观察和保护数据是任何分析师的要求。Kibana 为每个用例提供了解决方案。

• 企业搜索使您能够为您的应用程序、工作场所和网站创建搜索体验。
• Elastic Observability使您能够实时监控所有环境中发生的事件并应用分析。您可以分析日志事件、监控运行日志的主机或容器的性能指标、跟踪事务并检查整体服务可用性。
• Elastic Security 专为安全分析师而设计，提供您环境中的事件和警报的概述。Elastic Security 可帮助您在发生损坏和损失之前保护您的组织免受威胁。

分析

借助 Kibana Analytics，您可以快速搜索大量数据、探索字段和值，然后使用拖放界面快速构建图表、表格、指标等。

1	添加数据。将数据添加到 Elastic Stack 的最佳方法是使用我们的众多集成之一。或者，您可以添加示例数据集或上传文件。所有三个选项都可以在主页上找到。
2	探索。通过Discover，您可以搜索数据以获取隐藏的见解和关系。提出您的问题，然后将结果过滤为您想要的数据。您可以将结果限制为添加到 Elasticsearch 的最新文档。
3	可视化。Kibana 提供了许多选项来创建数据可视化，从基于聚合的数据到时间序列数据再到地理数据。 仪表板是创建可视化的起点，然后将它们组合在一起以从多个角度显示数据。使用Canvas为您的数据提供在大屏幕上显示的报表。使用图表来探索模式和关系。
4	模型数据行为 。使用机器学习对数据行为进行建模. 预测异常行为并执行异常值检测、回归和分类分析。
5	分享。准备好与更多受众分享您的发现了吗？Kibana 提供了许多选项 - 嵌入仪表板、共享链接、导出为 PDF 等等。

管理您的数据

Kibana 可帮助您通过方便的 UI 执行数据管理任务。你可以：

• 刷新、刷新和清除索引缓存。
• 定义索引老化时的生命周期。
• 定义拍摄集群快照的策略。
• 将一个或多个索引中的数据汇总到一个新的紧凑索引中。
• 复制远程集群上的索引并将其复制到本地集群。

有关数据管理 UI 的完整列表，请参阅堆栈管理。

发出警报并采取行动

几乎每个用例都需要检测数据中的重大变化和信号并采取行动。警报允许您检测不同 Kibana 应用程序中的条件，并在满足这些条件时触发操作。例如，当业务关键 KPI 发生变化或内存、CPU 或磁盘空间下降时，您可能会触发警报。当警报触发时，您可以向属于日常工作流程一部分的系统发送通知：电子邮件、Slack、PagerDuty、ServiceNow 和其他第三方集成。

用于创建、搜索和编辑规则的专用视图位于Rules中。

组织内容

您可能正在管理数十、数百甚至数千个仪表板、可视化和其他 Kibana 资产。Kibana 有多种功能可以让您的内容井井有条。

收集空间中的相关物品

Kibana 提供了用于组织可视化、仪表板、数据视图等的空间。将一个空间视为自己的迷你 Kibana 安装 - 它与所有其他空间隔离，因此您可以根据自己的特定需求对其进行定制，而不会影响其他空间。

使用标签组织您的内容

标签是您分配给已保存对象（例如仪表板和可视化）的关键字或标签，因此您可以按照对您有意义的方式对它们进行分类。例如，如果您用“设计”标记对象，则可以在该标记上搜索和过滤以查看所有相关对象。标签也适用于将空间内的内容分组。

如果您有数百个需要标记的仪表板，请不要担心。使用堆栈管理 中的标签创建标签，然后批量分配和删除它们。

Kibana安全拓展

Kibana 提供了一系列安全功能，供您控制谁有权访问哪些内容。 当您向受保护的 Elasticsearch 集群注册 Kibana 时，安全性会自动启用。有关所有可用配置选项的说明，请参阅Kibana 中的安全设置。

登录

Kibana 支持多个身份验证提供程序，允许您使用 Elasticsearch 的内置领域或您自己的单点登录提供程序登录。

安全访问

Kibana 提供角色和权限来控制哪些用户可以查看和管理 Kibana 功能。权限授予查看应用程序或执行特定操作的权限，并分配给角色。角色允许您描述可以授予许多用户的功能“模板”，而无需重新定义每个用户应该能够执行的操作。

创建角色时，您可以将分配的 Kibana 权限范围限定到特定空间。这使得可以在不同的空间中授予用户不同的访问级别，甚至为用户提供自己的私人空间。例如，高级用户可能拥有创建和编辑可视化效果和仪表板的权限，而分析师或管理人员可能拥有具有只读权限的仪表板和画布。

Kibana 的角色管理界面允许您描述这些不同的访问级别，或者您可以通过我们的API自动创建角色。

审核访问

配置完用户和角色后，您可能需要维护有关谁在何时执行什么操作的记录。Kibana 审核日志将为您记录此信息，然后可以将其与 Elasticsearch 审核日志关联起来，以更深入地了解用户的行为。有关更多信息，请参阅Kibana 审核日志记录。

查找应用程序和对象

要快速查找应用程序和您创建的对象，请使用全局标题中的搜索字段。搜索建议包括应用程序的深层链接，使您可以直接导航到最需要的视图。

您可以按类型、名称和标签搜索对象。要充分利用搜索功能，请遵循以下提示：

• 使用键盘快捷键（Windows 和 Linux 上的 Ctrl+/，MacOS 上的 Command+/）可随时专注于输入。

• 使用提供的语法关键字。

  按类型搜索	type:dashboard可用类型：application, canvas-workpad, dashboard, data-view, lens, maps, query, search,visualization
  按标签搜索	tag:mytagname tag:"tag name with spaces"
  按类型和名称搜索	type:dashboard my_dashboard_title
  高级搜索	tag:(tagname1 or tagname2) my_dashboard_title type:lens tag:(tagname1 or tagname2) type:(dashboard or canvas-workpad) logs

查看 Kibana 提供的所有服务

要查看应用程序和功能的完整列表，请转到Kibana 功能。

得到帮助

单击 以获取问题帮助或提供反馈。

要了解 Elastic 中的新增功能和更改，请单击全局标题中的庆祝图标。