ES

请允许在我们的网站上展示广告

您似乎使用了广告拦截器，请关闭广告拦截器。我们的网站依靠广告获取资金。

橙序员

累计撰写 194 篇文章
累计创建 66 个标签
累计收到 4 条评论

标签搜索

目录CONTENT

以下是 ES 相关的文章

2024-06-16
ES聚合查询，应该这么用！摘要：Elasticsearch的聚合功能分为三种类型：指标聚合、存储桶聚合和管道聚合。存储桶聚合类似于mysql中的group by字段，指标聚合用于计算字段的指标，而管道聚合对其他聚合生成的输出进行操作。聚合查询可通过桶+指标聚合和管道聚合计算各种统计数据。在使用存储桶聚合时要小心过多的过滤条件可能产生邻接矩阵。多字段（术语）聚合可通过嵌套子聚合、多术语聚合和复合聚合进行多字段分组统计。通过合理使用不同类型的聚合，可以更有效地对数据进行分析和统计。
- 2024-06-16
- 766
- 0
- 0
- 开发技巧
2024-04-20
一文快速掌握全文检索全文检索是一种用于在文本文档或记录集合中进行快速搜索的技术。全文检索包括建立索引、搜索查询、评分和语言处理等步骤，能够让用户按照关键字或查询来查找文档。全文检索与全文查找有所不同，全文检索更为复杂、全面，而全文查找更为简单直接。在实现全文索引方面，MySQL和MongoDB分别有着不同的方式。MySQL通过创建全文索引并执行 MATCH ... AGAINST 查询实现全文搜索，而MongoDB则通过创建文本索引并使用 $text 操作符进行检索。此外，MySQL的倒排索引技术在复杂场景下存在一些局限性，需要根据具体情况进行使用和优化。对于MongoDB，虽然不直接支持中文全文检索，但可以通过结合中文分词器实现。综合来看，在不同数据库中，全文检索的实现方式和技术应用存在差异，需要根据具体情况选择适合的方法。
- 2024-04-20
- 606
- 0
- 0
- 开发技巧
2023-07-23
中间件是如何进行集群管理的？常用中间件集群管理方式有两种：一种是通过注册中心，如redissentinelrocket MQname serverkafkazookeeperdubbozookeeperspring boot（微服务）eureka，consul，Nacos；另一种是通过分布式节点，如ES节点主、数据、协调节点，节点增加重新路由数据分片，通过ping进行故障检测并选举新节点，Redis主从节点通过路由表分配数据实现主从切换；数据库Mysql主从复制、redis主从复制以及Sentinel+Replication等方式保证集群高可用；redis集群通过互联和二进制协议优化传输，节点下线需超过半数节点检测失效；消息中间件rocketMQ支持多master模式、多master多slave异步复制模式和多master多slave同步复制模式；Kafka通过ISR管理副本和HW机制完成数据同步，zookeeper管理broker和partition节点。
- 2023-07-23
- 556
- 0
- 0
- 开发技巧
2023-07-05
【译文】ELK之Logstash、kibana Logstash是一个开源数据收集引擎，具有实时管道功能，可以统一不同来源的数据并传输到目的地。Logstash通过输入、过滤器和输出插件对事件进行处理，功能可远远超出日志收集。过滤器包括grok、mutate、drop、克隆、geoip等，输出包括elasticsearch、file、Graphite、statsd等。编解码器可以作为输入或输出的一部分运行，如json、multiline。Logstash通过内存或磁盘中央队列协调执行事件处理管道，每个输入阶段在自己的线程中运行。Kibana则能够帮助用户搜索、观察和保护数据，适用于管理员、分析师和业务用户。用户可以搜索、观察和保护数据，利用Kibana Analytics快速搜索数据、探索字段和值并创建数据可视化，包括探索模式和关系、模型数据行为以及分享数据。Kibana适用于所有类型的数据，提供解决方案用于企业搜索、Elastic Observability和Elastic Security等场景。
- 2023-07-05
- 511
- 0
- 0
- 文档翻译
2023-07-03
【译文】ES索引和查询性能调优本文介绍了 Elasticsearch 的一些使用技巧和最佳实践。首先，不建议返回大型结果集，因为 Elasticsearch 更适合搜索匹配顶级文档，而不适合检索所有文档。其次，应避免使用大型文档，因为会增加网络、内存和磁盘的压力。此外，对于特定搜索需求，可以通过使用多字段并定义不同的分析器来实现更精确的搜索，例如使用词干提取和精确搜索。最后，重新考虑数据的单位可以改善搜索体验，例如将文档分割为章节或段落，而非整本书进行索引。这些技巧有助于提高 Elasticsearch 的性能和搜索体验。
- 2023-07-03
- 815
- 0
- 0
- 文档翻译
2023-07-02
ES存储原理和集群介绍全文检索是指对非结构化数据进行搜索的方法，包括顺序扫描和反向索引两种方式。全文检索的过程包括索引创建和搜索索引两个步骤。在实际应用中，Elasticsearch（ES）和Solr是常用的两种全文检索工具，它们在安装、功能和性能等方面有所区别。ES集群是一个P2P类型的分布式系统，包含多个节点，其中master节点负责管理集群变更，data节点负责存储数据，而协调节点负责查询负载均衡。ES可以将索引划分为多份，并创建副本分片以提高高可用性。集群状态是指集群中的各种状态和元数据信息，包括索引的mappings、settings配置等。元数据对于集群的稳定运行非常重要。
- 2023-07-02
- 487
- 0
- 0
- 开发技巧
2023-06-30
【译文】ES使用场景介绍 icsearch 负责平衡数据并确保高可用性。每个节点都是一个 Elasticsearch 实例，一个节点可以容纳多个索引和分片。分片是数据的基本单元，每个分片都是一个 Lucene 索引，可以独立地存储和搜索数据。当您的数据量增长时，您可以通过增加节点或增加分片数量来水平扩展您的集群。这种水平扩展性使得 Elasticsearch 能够处理大量数据，并提供快速响应时间。总的来说，Elasticsearch 是一个强大的、灵活的搜索和分析引擎，能够帮助您有效地管理和分析各种类型的数据，并随着数据量的增长进行扩展。它提供了丰富的功能和工具，使您能够对数据进行搜索、分析、可视化和监控，满足各种不同的用例需求。无论是存储和分析日志、指标和事件数据，还是处理地理空间信息或生物信息学数据，Elasticsearch 都能够为您提供强大的支持。通过其分布式特性和丰富的查询和聚合功能，Elasticsearch 是处理大规模数据的理想选择。
- 2023-06-30
- 562
- 0
- 0
- 文档翻译
2023-06-29
【译文】ES安装配置之系统配置篇 Elasticsearch 在生产环境中需要进行系统环境配置，包括禁用交换、增加文件描述符、确保足够的虚拟内存和线程、设置JVM DNS 缓存、确保临时目录未挂载noexec等。配置系统设置取决于安装包和操作系统，可以通过ulimit、/etc/security/limits.conf、系统配置文件、systemd等进行设置。禁用交换是重要的安全措施，可避免节点丢失数据。另外，配置swappiness为1和启用bootstrap.memory_lock也是重要的设置。在Linux/Unix系统上，需要确保用户有锁定内存权限，以避免启动失败。总的来说，通过合理配置系统环境，可以提高Elasticsearch的性能和稳定性，确保其在生产环境中正常运行。
- 2023-06-29
- 688
- 0
- 0
- 文档翻译
2023-06-29
【译文】ES安装配置之软件配置篇 asticsearch 具有良好的默认设置，并且需要很少的配置。配置文件包括三个文件，分别用于配置 Elasticsearch、JVM 设置和日志记录。配置文件需要使用 YAML 格式编写，并可以通过环境变量替换值。集群和节点设置可以通过动态方式或静态方式进行配置。推荐使用集群更新设置 API 来配置动态集群设置，而静态设置只能在未启动或关闭的节点上配置。另外，路径设置也很重要，建议在生产环境中将数据和日志目录设置到 elasticsearch.yml 之外的位置。不要修改数据目录中的内容，如果需要备份数据，请使用快照和恢复功能。多个数据路径可以用于存储节点数据，但每个分片的数据将保留在同一路径上。要注意的是，在集群配置过程中要谨慎操作，避免导致不必要的集群配置错误。
- 2023-06-29
- 534
- 0
- 0
- 文档翻译
2023-06-29
【译文】ES安装配置之安装篇本内容讨论在 Linux 上下载和设置 Elasticsearch v8.8.1 的步骤。它提供了下载存档文件、验证其完整性、提取文件以及导航到 Elasticsearch 目录的命令。它还提到Elasticsearch默认配置为允许自动创建索引，但如果禁用，则需要调整配置。内容进一步解释了从命令行启动 Elasticsearch 的命令，并提到了首次启动期间启用和配置的默认安全功能，例如身份验证、授权、TLS 证书和密钥生成以及 Kibana 注册令牌的生成。最后给出了一个输出示例，其中包括为弹性超级用户生成的密码和 Kibana 的注册令牌。
- 2023-06-29
- 844
- 0
- 0
- 文档翻译
2022-07-19
ELASTIC SEARCH分页查询探究本文总结了在使用Elasticsearch进行分页查询时的三种方式：from + size分页、scroll分页和search after分页。其中，from + size适合数据量不大的情况，但在深度分页时效率低下，可能导致集群崩溃；scroll分页适用于全量读取数据的后台任务，不适合实时场景；search after方式在es5.x版本后出现，更好地解决了scroll的缺点，适合实时请求和高并发场景。作者建议根据实际情况选择合适的分页方式，同时指出在使用from + size分页时需要注意使用collapse和aggregation函数来优化查询效率，并指出了具体的代码示例。文章还介绍了如何根据时间范围截取索引和获取索引分片等技巧。
- 2022-07-19
- 805
- 0
- 0
- 开发技巧
2022-07-19
ELASTIC SEARCH的简单介绍和使用 Elasticsearch是一个分布式、可扩展、近实时的搜索与数据分析引擎，底层使用了Lucene。ES集群由数据节点和主节点构成，数据节点负责存储数据，主节点负责管理集群。ES支持分片和副本，倒排索引提高了搜索速度。ES客户端包括Jest client、Rest client、Transport client、Node client，各有优缺点。Spring Boot集成ES需要根据版本匹配，spring data elastic search提供了方便的查询模块。总的来说，ES是一种强大的全文搜索引擎，适用于处理大规模数据的搜索和分析工作。
- 2022-07-19
- 935
- 0
- 4
- 开发技巧