KAFKA

请允许在我们的网站上展示广告

您似乎使用了广告拦截器，请关闭广告拦截器。我们的网站依靠广告获取资金。

橙序员

累计撰写 194 篇文章
累计创建 66 个标签
累计收到 4 条评论

标签搜索

目录CONTENT

以下是 KAFKA 相关的文章

2024-01-14
为什么要有事务消息？本文总结了在订单创建场景下，如何使用事务消息和事务协调器来保证消息发送和本地事务执行的原子性。首先介绍了使用Kafka和RocketMQ实现事务消息的不同方式，Kafka以生产者为单位，RocketMQ以消息为单位，实现更细粒度的事务控制。在讨论中指出，RocketMQ支持消息查询和消息级别的分布式事务机制，因此适用于需要强一致性的场景。最后强调了分布式事务对数据一致性的重要性，并建议参考其他文章以了解更多内容。
- 2024-01-14
- 553
- 0
- 0
- 开发技巧
2023-07-23
中间件是如何进行集群管理的？常用中间件集群管理方式有两种：一种是通过注册中心，如redissentinelrocket MQname serverkafkazookeeperdubbozookeeperspring boot（微服务）eureka，consul，Nacos；另一种是通过分布式节点，如ES节点主、数据、协调节点，节点增加重新路由数据分片，通过ping进行故障检测并选举新节点，Redis主从节点通过路由表分配数据实现主从切换；数据库Mysql主从复制、redis主从复制以及Sentinel+Replication等方式保证集群高可用；redis集群通过互联和二进制协议优化传输，节点下线需超过半数节点检测失效；消息中间件rocketMQ支持多master模式、多master多slave异步复制模式和多master多slave同步复制模式；Kafka通过ISR管理副本和HW机制完成数据同步，zookeeper管理broker和partition节点。
- 2023-07-23
- 556
- 0
- 0
- 开发技巧
2023-07-22
Kafka内部构成解析 Kafka通过Zookeeper存储集群的元数据信息，Zookeeper负责维护和协调broker，以及Broker Controller的选举。每个broker在启动时会在ZooKeeper中创建一个节点来注册自己，并监听节点的变化。Controller负责管理分区和主题元数据信息的同步和更新，以及故障转移。Topic在Kafka中用于划分消息的类别，而Partition用于物理存储消息。副本分为领导者副本和追随者副本，追随者副本不对外提供服务，只负责与领导者副本的消息同步。Kafka将Partition进一步细分为多个segment，每个segment包含消息存储文件和索引文件。日志清理策略有delete和compact两种，offset用于定位下一条要读取的消息。整个系统的保证集群每一台broker都缓存最新的元数据信息，保证数据一致性和高可用性。
- 2023-07-22
- 425
- 0
- 0
- 开发技巧
2022-09-09
kafka分区策略 Kafka在消息发送和消费过程中通过实现不同的分区策略来确保消息均匀地分发到不同的topic和partition上，以及消费者均匀地消费不同的partition。生产者的分区策略包括默认分区策略、轮询式分区策略和粘性分区策略，消费者的分区策略包括范围分配策略、轮询分配策略和粘性分配策略。当topic/partition数量或消费者数量变化时，会触发重平衡(rebalance)操作，通过加入组和组信息同步来重新分配消费者要消费的分区，确保各分区能够重新分配到消费者进行消费。整体而言，Kafka通过不同的分区策略和重平衡操作来保证消息生产和消费的高并发性和均衡性。
- 2022-09-09
- 662
- 0
- 0
- 开发技巧
2022-08-21
【译文】spring kafka简介及使用参考（四）本文介绍了在Spring for Apache Kafka中使用非阻塞重试功能的相关信息。该功能被认为是完整且健壮的，但仍处于实验阶段，鼓励用户通过GitHub来提供反馈。通过配置@RetryableTopic和RetryTopicConfiguration类，可以实现非阻塞重试功能，使消息在处理失败后被转发到带有退避时间戳的重试topic，并进行多次尝试直到成功或配置的最大尝试次数用尽。此外，文章还介绍了如何配置全局设置和功能以及如何通过创建RetryTopicConfiguration bean来对每个topic的非阻塞重试实现进行更细粒度的控制。总体而言，本文为读者提供了详细的关于非阻塞重试功能的配置和使用指南。
- 2022-08-21
- 1822
- 0
- 0
- 文档翻译
2022-08-21
【译文】spring kafka简介及使用参考（三）总结：Apache Kafka提供了序列化、反序列化和消息转换的高级API，通过配置属性可以指定记录的键和值的序列化器和反序列化器类。KafkaConsumer和KafkaProducer提供了重载构造函数来接受自定义的序列化器和反序列化器实例。此外，Spring for Apache Kafka还提供了ToStringSerializer和ParseStringDeserializer类，用于将实体表示为字符串以及解析字符串。针对JSON对象映射，Spring for Apache Kafka提供了JsonSerializer和JsonDeserializer，允许将Java对象编写为JSON字节数组，并反序列化为正确的目标对象。用户可以自定义JsonSerializer和JsonDeserializer，或扩展它们以实现特定的配置逻辑。JacksonUtils.enhancedObjectMapper()提供了默认配置，禁用了一些功能并提供了自定义数据类型支持。这些功能为用户提供了广泛的选择和配置灵活性。
- 2022-08-21
- 2248
- 0
- 1
- 文档翻译
2022-08-21
【译文】spring kafka 简介及使用参考（二）本文总结了侦听器容器属性的默认值和描述，包括提交未决偏移前的记录数、消息侦听器的Advice对象链、提交偏移量的控制、提交未决偏移量的时间等。另外还介绍了一些属性的作用，如在收到null key时检查DeserializationException标头、提交完成后调用的回调、消费者线程维护Micrometer计时器等。此外，文章还对异常处理、Exactly Once语义、消费者组ID、空闲事件发布等内容进行了解释。其中提到了解决消费者位于分区末尾的问题以及容器暂停时的处理方式等。这些属性和功能的设置可以帮助用户更好地控制和管理Kafka消息消费过程。
- 2022-08-21
- 2021
- 0
- 0
- 文档翻译
2022-08-21
【译文】spring kafka 简介及使用参考（一） Spring for Apache Kafka项目是一个将核心Spring概念应用于基于Kafka的消息传递解决方案开发的项目。文档提供了Apache Kafka、Spring框架和Java版本的兼容性信息，以及快速入门方法。同时，提供了消费者和生产者应用程序的示例代码，展示了如何使用Spring Boot和Java配置创建基于Kafka的消息传递系统。总的来说，该项目旨在帮助开发者快速启动并运行基于Kafka的消息传递系统，提供了丰富的文档和示例代码以供参考。
- 2022-08-21
- 2116
- 0
- 1
- 文档翻译
2022-07-27
KAFKA 简单介绍 Kafka是一个消息队列系统，提供了发布和订阅、容错存储和消息处理功能。核心API包括producer API、consumer API、streams API和connector API。消息以topic的形式发布，并在不同的分区中保存，每个分区都有唯一的偏移量。消费者通过消费者组来订阅消息，可以实现队列和发布-订阅两种模型。Kafka集群由多个代理（Broker）组成，消费者可以从Broker拉取消息。与传统消息系统相比，Kafka具有更强的顺序保证和负载均衡功能，可以实现并行处理和顺序消费数据，提高系统性能和可靠性。
- 2022-07-27
- 639
- 0
- 0
- 开发技巧
2022-07-27
KAFKA 生产者&消费者配置详解本文详细介绍了Kafka生产者的配置属性，包括配置名称、描述、类型、默认值、有效值和重要性。其中包括了连接属性、序列化器、消息确认数、内存大小、数据压缩类型、重试次数、SSL相关配置、批量大小、客户端id等。通过配置这些属性，可以控制生产者与Kafka集群的连接、消息发送的可靠性、性能优化以及安全性等方面。建议用户在使用Kafka生产者时根据实际需求配置这些属性，以达到最佳的生产者性能和消息传递效果。
- 2022-07-27
- 682
- 0
- 0
- 开发技巧