开发技巧

请允许在我们的网站上展示广告

您似乎使用了广告拦截器，请关闭广告拦截器。我们的网站依靠广告获取资金。

文章发布订阅~

通过邮箱订阅文章更新，您将在文章发布时收到及时的邮件提醒~

邮箱

昵称

橙序员

累计撰写 217 篇文章
累计创建 70 个标签
累计收到 4 条评论

标签搜索

目录CONTENT

以下是开发技巧相关的文章

2023-08-13
Netty中的网络通信模型 Reactor模型是一种常用的网络通信框架，包括了单线程模型、线程池模型和多线程模型。在单线程模型中，每个通信对端会与一个线程绑定，该线程负责处理通信的各项操作。但在高并发场景下，会造成性能下降，因此引入了线程池模型，将单线程替换为线程池，大大提高了系统的性能。而在多线程模型中，连接操作与IO操作分开处理，并使用不同的线程池，进一步提升了系统的性能。Netty-Server采用了多线程模型，其中线程池由EventLoopGroup扮演，每个EventLoop与一个线程绑定，用于处理Channel与Server之间的操作。Netty-Client则采用了线程池模型，与Server建立连接后无需区分连接请求与IO请求。另外，Proactor模型是一种异步非阻塞I/O的网络通信模型，与Reactor模型相比，具有不同的特点。
- 2023-08-13
- 645
- 0
- 0
- 开发技巧
2023-08-13
Netty管道处理器做了什么 netty中的管道处理器是用于网络通信中的数据的初始化、处理器的注册以及通道数据的读写。默认的管道实现是DefaultChannelPipeline，它是一个处理器双向链表，包含头节点和尾节点处理器。当我们调用管道的addLast方法添加处理器时，会向链表中添加一个DefaultChannelHandlerContext，其中包含了上下节点和ChannelHandler。ChannelHandler负责消息的传递和写入，通道入道处理器读取对方发送的消息内容，通道出道处理器将消息写入通道。在服务端通道注册时，默认状态为接收就绪，而客户端通道注册时，默认状态为读就绪。总的来说，netty的管道处理器是用于网络通信中初始化、处理器注册和数据读写的机制。
- 2023-08-13
- 622
- 0
- 0
- 开发技巧
2023-08-13
Netty如何创建和管理事件循环？使用EventLoopGroup创建事件循环组时，会先创建MultithreadEventExecutorGroup和SingleThreadEventExecutor两个线程池。MultithreadEventExecutorGroup会创建事件组线程池和事件循环数组，并通过选择器选择下一个事件循环。SingleThreadEventExecutor会创建事件线程池、执行事件循环，并维护任务队列。单线程事件线程池通过execute方法确保只有一个线程在执行任务。事件循环主要是SingleThreadEventExecutor的子类，实现了run方法。通过类关系图，了解了事件循环组的创建流程和内部实现。
- 2023-08-13
- 632
- 0
- 0
- 开发技巧
2023-08-13
Netty如何封装NIO（二）？本文总结了在NIO编程中线程组的作用和不同线程组在服务端和客户端中的分配。客户端需要一个主线程组和一个解析线程组，而服务端则需要主线程组、轮询线程组和解析线程组。主线程组负责连接建立和端口绑定等操作，轮询线程组用于监听连接和处理读写请求，解析线程组则负责数据编码和解码。文章进一步讨论了轮询的实现方式和需要定时轮询的操作，以及如何通过任务队列进行异步执行。最后介绍了事件循环和事件循环组在网络事件处理中的作用，以及通道和通道处理器在NIO编程中的功能和设计模式的应用。总体而言，文章提供了NIO编程中线程组和事件处理的概念和实现方式。
- 2023-08-13
- 549
- 0
- 0
- 开发技巧
2023-08-12
Netty如何封装NIO Netty是一个基于Java的异步事件驱动的网络应用框架，它通过对NIO进行封装，提供了更方便、高效的网络编程方式。
在传统的BIO（Blocking I/O）中，客户端与服务端之间都是单线程操作，导致效率低下。而在NIO（Non-blocking I/O）中，通过轮询和异步连接的方式，可以同时处理多个连接，提高并发性能。
Netty对NIO进行了封装，提供了更高级别的抽象和功能，使开发者能够更方便地进行网络编程。它提供了事件驱动的模型，通过事件的触发和处理，实现了异步、非阻塞的网络通信。
通过Netty，开发者不需要自己处理底层的轮询和异步连接，而是可以专注于业务逻辑的实现。Netty提供了许多内置的组件和工具，例如线程池、编解码器、协议支持等，使网络编程更加简单、高效。
总之，Netty通过对NIO的封装，提供了更方便、高效的网络编程方式，使开发者能够轻松地构建高性能的网络应用。
- 2023-08-12
- 631
- 0
- 0
- 开发技巧
2023-08-09
NIO如何解决阻塞问题？ NIO通过使用Selector和多路复用器的概念，有效地解决了BIO中线程开销过大的问题。在BIO中，每个客户端连接对应一个线程，导致服务端需要开启大量线程处理连接请求，造成巨大的资源消耗。而NIO中，引入了Selector来负责检查所有连接的就绪状态，通过轮询注册在其上的通道，获取就绪状态的通道进行处理。这样一来，一个Selector可以轮询多个通道，大大减少了线程的数量，提高了资源利用率。同时，NIO中使用了缓冲区来存储请求数据，可以在任务完成后发送通知，避免了连接超时的问题。总之，NIO通过Selector和缓冲区的方式，有效地解决了BIO中的线程开销问题，提高了系统的并发性能。
- 2023-08-09
- 626
- 0
- 0
- 开发技巧
2023-08-09
BIO阻塞在了哪里？客户端与服务端之间的交互流程如下：
1. 创建服务端socket，绑定系统端口并监听此端口的客户端连接。
2. 创建客户端连接，指定ip和端口地址。
3. 客户端发起连接请求，服务端接收并受理连接。
4. 连接建立成功，客户端与服务端开始数据交互。
5. 服务端处理客户端请求的流程如下：
- 通过走读源码可以了解到交互的具体流程。
- 关键类的定位：ServerSocket、Socket、SocketImpl等。
- SocketImpl是所有socket实现类（如PlainSocketImpl）的父类，提供了socket相关的方法定义。
- PlainSocketImpl是默认的socket实现类，实现了具体的服务端和客户端操作逻辑。
- DualStackPlainSocketImpl是PlainSocketImpl的拓展类，实现了具体的服务端和客户端操作的相关系统交互。

BIO的C/S架构中，每个客户端连接对应一个线程，服务端与客户端并发访问数呈1：1的关系。这种架构缺乏弹性伸缩能力，当并发访问量过大时，系统可能会产生线程堆栈溢出、创建新线程失败的问题，导致宕机或僵死，无法对外提供服务。
- 2023-08-09
- 631
- 0
- 0
- 开发技巧
2023-07-30
zookeeper是如何工作的? Zookeeper维护持久节点和临时节点组成的空间，通过监听节点数据实现节点及其子节点的数据一致性。Zookeeper的数据存储结构与Unix文件系统相似，使用znode作为最小的数据单元，并可以保存数据和挂载子节点。节点类型包括持久节点、持久顺序节点、临时节点和临时顺序节点，它们具有不同的生命周期。会话是Zookeeper中重要的概念，客户端与服务端之间的交互操作都与会话相关。常见的会话状态有连接中、已连接和已关闭。
- 2023-07-30
- 651
- 0
- 0
- 开发技巧
2023-07-29
Zookeeper如何保证一致性？ CAP定理指出，在一个分布式系统中，一致性、可用性和分区容错性这三个特性无法同时满足。分布式系统的一致性表示多个主机之间的数据是否保持一致；可用性表示系统能够在有限时间内对用户请求做出响应；分区容错性表示系统在网络分区故障时依然能够保证一致性和可用性。CAP原则指出，分布式系统只能满足一致性和可用性中的两项，即CP或者AP。BASE理论是CAP定理的权衡结果，它通过允许系统在出现故障时损失部分可用性，以及允许数据存在中间状态来实现最终一致性。Zookeeper遵循CP原则，实现了一致性但牺牲了可用性。Zookeeper内部使用的一致性协议是ZAB协议，它是对PAXOS算法的一种实现，用于达成分布式系统中的决议一致。PAXOS算法通过分配唯一编号和记录已接受提案来保证一致性。
- 2023-07-29
- 772
- 0
- 0
- 开发技巧
2023-07-25
为什么不建议写大SQL？这篇文章主要讨论了在老项目技术优化过程中，数据层常见的几个难题：阅读难、拆表难等。作者提出，应该避免过多的关联查询，而是赋予各个领域对象查询能力。同时，需要注意聚合函数的使用，应该将统计能力赋予给领域对象而非数据库。文章还介绍了两种方案来解决大数据量的统计问题：一是建立统计表进行定时落地，二是利用nosql技术进行实时统计。最后，作者指出在面对大数据时，即使对分组条件加索引也难以实现满意的优化效果，建议使用统计表和nosql技术来优化数据处理性能。文章强调了保持面向对象的编程思维对于应对数据层技术优化的重要性。
- 2023-07-25
- 663
- 0
- 0
- 开发技巧
2023-07-23
中间件是如何进行集群管理的？常用中间件集群管理方式有两种：一种是通过注册中心，如redissentinelrocket MQname serverkafkazookeeperdubbozookeeperspring boot（微服务）eureka，consul，Nacos；另一种是通过分布式节点，如ES节点主、数据、协调节点，节点增加重新路由数据分片，通过ping进行故障检测并选举新节点，Redis主从节点通过路由表分配数据实现主从切换；数据库Mysql主从复制、redis主从复制以及Sentinel+Replication等方式保证集群高可用；redis集群通过互联和二进制协议优化传输，节点下线需超过半数节点检测失效；消息中间件rocketMQ支持多master模式、多master多slave异步复制模式和多master多slave同步复制模式；Kafka通过ISR管理副本和HW机制完成数据同步，zookeeper管理broker和partition节点。
- 2023-07-23
- 723
- 0
- 0
- 开发技巧
2023-07-22
Kafka内部构成解析 Kafka通过Zookeeper存储集群的元数据信息，Zookeeper负责维护和协调broker，以及Broker Controller的选举。每个broker在启动时会在ZooKeeper中创建一个节点来注册自己，并监听节点的变化。Controller负责管理分区和主题元数据信息的同步和更新，以及故障转移。Topic在Kafka中用于划分消息的类别，而Partition用于物理存储消息。副本分为领导者副本和追随者副本，追随者副本不对外提供服务，只负责与领导者副本的消息同步。Kafka将Partition进一步细分为多个segment，每个segment包含消息存储文件和索引文件。日志清理策略有delete和compact两种，offset用于定位下一条要读取的消息。整个系统的保证集群每一台broker都缓存最新的元数据信息，保证数据一致性和高可用性。
- 2023-07-22
- 563
- 0
- 0
- 开发技巧
2023-07-16
深入理解RocketMQ RocketMQ是一种消息中间件，与ActiveMQ、RabbitMQ和Kafka相比，它使用Java、Erlang、JavaScript和Scala等开发语言，具有万级到十万级的单机吞吐量。RocketMQ的一大优势是可以支持大量的Topic，即使在同等数量的机器下也能支持大量的Topic。然而，当Topic数量从几十个增加到几百个时，吞吐量会显著下降。Kafka是另一种消息中间件，具有高毫秒级的时效性、高可用性和可靠性，适用于大规模Topic和复杂业务场景。它是分布式的，可以保证消息不会丢失。RocketMQ和Kafka都有各自的优势和劣势，例如RocketMQ功能较为完备，而Kafka在分布式扩展性和可靠性方面表现较好。总体而言，RocketMQ和Kafka都在大数据领域有广泛应用，具有不同的特点和适用场景。
- 2023-07-16
- 643
- 0
- 0
- 开发技巧
2023-07-02
ES存储原理和集群介绍全文检索是指对非结构化数据进行搜索的方法，包括顺序扫描和反向索引两种方式。全文检索的过程包括索引创建和搜索索引两个步骤。在实际应用中，Elasticsearch（ES）和Solr是常用的两种全文检索工具，它们在安装、功能和性能等方面有所区别。ES集群是一个P2P类型的分布式系统，包含多个节点，其中master节点负责管理集群变更，data节点负责存储数据，而协调节点负责查询负载均衡。ES可以将索引划分为多份，并创建副本分片以提高高可用性。集群状态是指集群中的各种状态和元数据信息，包括索引的mappings、settings配置等。元数据对于集群的稳定运行非常重要。
- 2023-07-02
- 633
- 0
- 0
- 开发技巧
2023-06-25
Mysql集群的使用场景本文总结了主从复制的基本原理，包括主库的binlog和从库的relaylog，以及三种日志模式(statement level、row level和mixed)的优缺点。同时还介绍了主从延迟的原因和解决方法，以及读写分离的场景和中间件特征。此外还介绍了分库分表的概念，包括垂直和水平切分的优缺点，以及不同的数据分片和路由类型。总体来说，文章详细介绍了数据库复制、延迟、读写分离和分库分表等方面的内容，对于数据库管理和优化有一定的参考意义。
- 2023-06-25
- 793
- 0
- 0
- 开发技巧
2023-06-23
SQL语句如何优化通过使用慢查询日志功能，可以获取执行时间较长的SQL语句并查看执行计划，然后通过show profile来查看SQL的性能使用情况，进而进行优化。开启慢查询日志需要在配置文件中添加相关参数，并使用mysqldumpslow工具分析慢查询日志。同时，通过explain查看SQL执行计划进行优化，包括合理创建索引、避免全表扫描、优化order by、group by语句以及避免使用count( * )等。此外，在关联表时建立索引、避免使用not in语句等也是优化的关键。通过以上方法，可以提高SQL查询的性能，减少查询时间，提升数据库性能。
- 2023-06-23
- 652
- 0
- 0
- 开发技巧
2023-06-23
Mysql锁机制详解：全局、表级和行级 Mysql中的锁可以按照粒度和功能进行区分，包括全局锁、表级锁和行级锁，以及共享锁和排他锁。全局锁用于数据库备份，表级锁和行级锁用于数据操作。innodb引擎支持事务，可以通过不同的参数来实现备份和锁定数据。行级锁包括记录锁、间隙锁和临键锁，用于保证数据的一致性和避免幻读。不同事务的加锁规则和避免死锁的方法也需要注意。通过优化索引、避免不必要的行扫描和快速提交事务等方式可以提高运行速度和减少死锁的发生。详细内容可参考官方文档。
- 2023-06-23
- 651
- 0
- 0
- 开发技巧
2023-06-19
索引之争：B+树vs.组合索引vs.覆盖索引，你选择哪个？索引在数据库中起到了提高数据检索效率和降低IO成本的作用。不同的数据结构实现索引有各自的优缺点，如Hash表适用于等值查询但不支持范围查询，而B+树在等值查询和范围查询方面效果均较好。在MySQL中，不同引擎的索引实现也有所区别，如InnoDB引擎使用B+树构建聚簇索引，而MyISAM引擎的主键索引和辅助索引结构相同。为了避免回表查询，可以创建覆盖索引，提高命中率。建立索引的原则包括频繁出现在where条件、order by、group by语句中的字段以及需要频繁查询的列等。需要注意的是，索引的建立要考虑字段的区分度和长度，避免过多的索引导致更新和插入变慢。综上所述，合理使用不同数据结构和引擎的索引实现，并按照建立索引的原则进行优化，可以有效提升数据库的查询效率。
- 2023-06-19
- 642
- 0
- 0
- 开发技巧
2023-06-18
InnoDB内存结构与事务管理 InnoDB是一种常用的数据库引擎，其内存结构包括缓冲池、额外内存池、双写和重做日志。通过配置参数可以设置缓冲池的大小，其中存储了数据页、索引页、undo页等信息以提升数据库性能。另外，插入缓冲、自适应哈希索引等功能也有助于提高插入和查询性能。重做日志缓冲则确保数据写入磁盘时的持久性。检查点机制用于管理缓冲池和重做日志的大小，避免数据丢失。在事务管理方面，InnoDB采用MVCC实现数据一致性，通过undo log和read view来实现多版本并发控制。不同隔离级别下的事务访问不同方式的数据版本，以确保数据的完整性和可靠性。通过对数据的变更记录加上版本记录，可以避免锁的性能影响和死锁问题。总之，InnoDB引擎通过优秀的内存管理和事务控制机制，提供高性能和数据一致性的支持。
- 2023-06-18
- 794
- 0
- 0
- 开发技巧
2023-06-04
深入解析MySQL架构：核心要点揭秘本文介绍了MySQL存储目录的文件结构，包括日志、表空间、数据文件、重做日志和缓冲池。其中，日志文件记录了数据库的操作信息和错误信息；表空间包含系统表空间和用户表空间；重做日志文件用于恢复数据的正确状态；缓冲池用于提高数据库整体性能。此外，还介绍了MySQL的逻辑结构，包括Server层和存储引擎层，以及连接器的作用。在连接数据库时，建议定期断开长连接以释放内存，并合理设置查询缓存以提高性能。
- 2023-06-04
- 623
- 0
- 0
- 开发技巧
2023-05-20
Redis高级使用场景：消息队列、发布订阅和事务管理本文介绍了REDIS在消息模式和队列模式中的应用场景，使用list类型的lpush和rpop实现消息队列时可能存在的问题和解决方法。同时还介绍了REDIS中使用brpop命令、SortedSet发布订阅、Redis Stream等新数据类型的应用。此外，文章还涵盖了Redis事务、命令输入、多个客户端等方面的内容。最后还介绍了REDIS的可编程性，可以使用Lua脚本和Redis函数拓展功能。文章通过详细介绍各种命令和场景，为读者提供了丰富的REDIS应用知识和操作方法。REDIS在消息模式和队列模式中具有广泛的应用，可以满足不同业务场景的需求。
- 2023-05-20
- 709
- 0
- 0
- 开发技巧
2023-05-14
Redis持久化与集群演变 REDIS持久化有三种方式：RDB持久化、AOF持久化和混合持久化。RDB持久化是Redis 5.0之前默认的持久化方式，通过配置快照规则来触发持久化操作。其优点是可以最大化Redis性能，但缺点是一旦Redis异常退出会丢失最后一次快照以后更改的数据。AOF持久化是通过将每条更改数据的命令写入AOF文件来实现，可以通过配置规则来决定写入时机，但会降低Redis性能。AOF重写是对AOF文件进行压缩，去除重复操作，减小文件体积。如何选择RDB和AOF取决于业务需求，如果数据不能丢失则需要使用RDB+AOF方式持久化，如果只是缓存服务器则只需要配置RDB混合持久化。Redis 5.0之后默认采用混合持久化方式。
- 2023-05-14
- 627
- 0
- 0
- 开发技巧
2023-05-13
REDIS内存模型和使用优化 Redis内存模型使用hash表来管理存放在Redis中的键值对。数据的扩容和缩容是通过多次渐进式的rehash过程完成的。具体步骤如下：首先为ht[1]分配空间，字典同时持有ht[0]和ht[1]两个哈希表，然后通过维持一个索引计数器变量rehashidx来表示rehash工作开始。在rehash进行期间，每次对字典执行操作时，程序会将ht[0]哈希表在rehashidx索引上的所有键值对rehash到ht[1]，完成后将rehashidx的值增一。随着字典操作的执行，最终ht[0]的所有键值对都会被rehash至ht[1]，此时将rehashidx设为-1，表示rehash操作完成。整个Redis的存储模型包括dictEntry结构存放数据、redisObject对象维护键值对的值和指向具有不同数据结构的数据对象的数据指针。常用的数据类型和编码方式包括整型字符串、小于等于44字节的简单动态字符、大于44字节的简单动态字符串、压缩列表实现的列表对象等。
- 2023-05-13
- 832
- 0
- 0
- 开发技巧
2023-05-06
Spring boot如何简化项目搭建本文介绍了Spring Boot如何通过对容器的定制化升级来简化项目搭建。在Spring Boot应用中，容器启动时会根据应用类型创建不同的应用容器，如Java应用、Web应用和云原生应用。判断应用类型的逻辑在SpringApplication的构建函数中实现。Spring Boot实现了'All in one'的简便，让我们无需重复搭建项目。
- 2023-05-06
- 1117
- 1
- 2
- 开发技巧
2023-05-05
设计模式怎么记？本文介绍了创建型、结构型和行为型设计模式在对象构建、功能迭代和业务场景设计中的应用。其中，创建型设计模式包括建造者模式、工厂模式、单例模式和享元模式；结构型设计模式包括装饰器模式、桥接模式、适配器模式、代理模式和组合模式；行为型设计模式包括责任链模式、命令模式、备忘录模式、观察者模式、解释器模式、迭代器模式、中介者模式、访问者模式、策略模式、状态模式和模板模式。每种设计模式都有相应的使用口诀和实际场景应用。总体来说，本文为读者提供了对设计模式在软件开发中的全面了解和应用指导。
- 2023-05-05
- 569
- 0
- 0
- 开发技巧

1
2
3
4
5