开发技巧

请允许在我们的网站上展示广告

您似乎使用了广告拦截器，请关闭广告拦截器。我们的网站依靠广告获取资金。

文章发布订阅~

通过邮箱订阅文章更新，您将在文章发布时收到及时的邮件提醒~

邮箱

昵称

橙序员

累计撰写 221 篇文章
累计创建 70 个标签
累计收到 4 条评论

标签搜索

目录CONTENT

以下是开发技巧相关的文章

2023-10-25
方案设计：构建高效数据处理系统以保证数据写入的可靠性，即在数据写入失败时进行重试，直到成功为止。高并发对于高并发场景，需要考虑使用分布式缓存和消息队列等技术来提高系统的并发处理能力。综上所述，一个综合性的方案设计需要考虑业务需求、上线方案以及模型设计，并在数据推送、检索、同步、服务治理、数据写入等方面进行详细的设计和优化。这些方案设计的合理性和准确性直接影响着系统的性能、可靠性和扩展性。因此，在设计方案时应充分考虑各种因素，并选择合适的技术和工具来实现。
- 2023-10-25
- 1042
- 0
- 0
- 开发技巧
2023-09-25
Open Feign如何运行的？ Open Feign是一个用于在Spring Boot应用中使用的轻量级HTTP客户端工具。在使用Open Feign时，我们需要在启动类上加上@EnableFeignClients注解，并导入FeignClientsRegistrar类。FeignClientsRegistrar类实现了ImportBeanDefinitionRegistrar、ResourceLoaderAware和EnvironmentAware这三个接口。ImportBeanDefinitionRegistrar接口用于将Feign客户端的bean定义添加到Spring容器的bean定义注册表中，ResourceLoaderAware接口用于加载Feign客户端，EnvironmentAware接口用于获取Feign客户端的相关配置。整个注册过程可以分为三个步骤：获取Feign相关的配置、使用加载器加载Feign客户端，并将其注册到容器中。在注册过程中，需要注册两个bean定义：我们自定义的Feign全局配置类和所有的Feign客户端的自定义配置类。通过这样的注册方式，我们可以方便地在Spring Boot应用中使用Open Feign来进行HTTP请求发送。
- 2023-09-25
- 798
- 0
- 0
- 开发技巧
2023-09-15
如何将自己的博客接入AIGC？这篇教程介绍了如何为自己的博客接入AI能力，其中使用了chat GPT和Azure AI等工具。首先需要注册一个类似的AI账户，推荐使用付费的但支持国内支付的SMS接码网站来获取非大陆用户手机号。然后在官网申请一个API，并在服务器上设置代理来使用open ai api。接下来介绍了两种建立AI应用的方案：fast GPT和flowise。如果项目庞大且复杂，建议使用第一种方案；如果场景单一且轻量化，则建议使用第二种方案。具体操作可参考GitHub的readme文档，并通过docker compose快速搭建流程。在创建合适的应用之前，先搭建一个示例来演示如何通过对话记录询问AI获取最新文章。选择连续对话的客户端，需要内存和语言模型。对于内存，可选择历史会话直接缓存、窗口缓存或会话摘要缓存。对于语言模型，选择特定的模型类型，如gpt3.5-16k，根据版本和请求的大小决定处理能力和效率。最后，使用工具栏中的选项进行总结，生成200字以内的摘要。
- 2023-09-15
- 1410
- 0
- 2
- 开发技巧
2023-09-03
JVM如何工作的？ Java编译器将Java源代码编译为字节码，类加载器将字节码加载到内存中并创建类的定义，解释器逐条解释执行字节码指令，即时编译器将字节码编译成本地机器码。
- 2023-09-03
- 577
- 0
- 0
- 开发技巧
2023-08-13
Netty中的网络通信模型 Reactor模型是一种常用的网络通信框架，包括了单线程模型、线程池模型和多线程模型。在单线程模型中，每个通信对端会与一个线程绑定，该线程负责处理通信的各项操作。但在高并发场景下，会造成性能下降，因此引入了线程池模型，将单线程替换为线程池，大大提高了系统的性能。而在多线程模型中，连接操作与IO操作分开处理，并使用不同的线程池，进一步提升了系统的性能。Netty-Server采用了多线程模型，其中线程池由EventLoopGroup扮演，每个EventLoop与一个线程绑定，用于处理Channel与Server之间的操作。Netty-Client则采用了线程池模型，与Server建立连接后无需区分连接请求与IO请求。另外，Proactor模型是一种异步非阻塞I/O的网络通信模型，与Reactor模型相比，具有不同的特点。
- 2023-08-13
- 668
- 0
- 0
- 开发技巧
2023-08-13
Netty管道处理器做了什么 netty中的管道处理器是用于网络通信中的数据的初始化、处理器的注册以及通道数据的读写。默认的管道实现是DefaultChannelPipeline，它是一个处理器双向链表，包含头节点和尾节点处理器。当我们调用管道的addLast方法添加处理器时，会向链表中添加一个DefaultChannelHandlerContext，其中包含了上下节点和ChannelHandler。ChannelHandler负责消息的传递和写入，通道入道处理器读取对方发送的消息内容，通道出道处理器将消息写入通道。在服务端通道注册时，默认状态为接收就绪，而客户端通道注册时，默认状态为读就绪。总的来说，netty的管道处理器是用于网络通信中初始化、处理器注册和数据读写的机制。
- 2023-08-13
- 645
- 0
- 0
- 开发技巧
2023-08-13
Netty如何创建和管理事件循环？使用EventLoopGroup创建事件循环组时，会先创建MultithreadEventExecutorGroup和SingleThreadEventExecutor两个线程池。MultithreadEventExecutorGroup会创建事件组线程池和事件循环数组，并通过选择器选择下一个事件循环。SingleThreadEventExecutor会创建事件线程池、执行事件循环，并维护任务队列。单线程事件线程池通过execute方法确保只有一个线程在执行任务。事件循环主要是SingleThreadEventExecutor的子类，实现了run方法。通过类关系图，了解了事件循环组的创建流程和内部实现。
- 2023-08-13
- 659
- 0
- 0
- 开发技巧
2023-08-13
Netty如何封装NIO（二）？本文总结了在NIO编程中线程组的作用和不同线程组在服务端和客户端中的分配。客户端需要一个主线程组和一个解析线程组，而服务端则需要主线程组、轮询线程组和解析线程组。主线程组负责连接建立和端口绑定等操作，轮询线程组用于监听连接和处理读写请求，解析线程组则负责数据编码和解码。文章进一步讨论了轮询的实现方式和需要定时轮询的操作，以及如何通过任务队列进行异步执行。最后介绍了事件循环和事件循环组在网络事件处理中的作用，以及通道和通道处理器在NIO编程中的功能和设计模式的应用。总体而言，文章提供了NIO编程中线程组和事件处理的概念和实现方式。
- 2023-08-13
- 579
- 0
- 0
- 开发技巧
2023-08-12
Netty如何封装NIO Netty是一个基于Java的异步事件驱动的网络应用框架，它通过对NIO进行封装，提供了更方便、高效的网络编程方式。
在传统的BIO（Blocking I/O）中，客户端与服务端之间都是单线程操作，导致效率低下。而在NIO（Non-blocking I/O）中，通过轮询和异步连接的方式，可以同时处理多个连接，提高并发性能。
Netty对NIO进行了封装，提供了更高级别的抽象和功能，使开发者能够更方便地进行网络编程。它提供了事件驱动的模型，通过事件的触发和处理，实现了异步、非阻塞的网络通信。
通过Netty，开发者不需要自己处理底层的轮询和异步连接，而是可以专注于业务逻辑的实现。Netty提供了许多内置的组件和工具，例如线程池、编解码器、协议支持等，使网络编程更加简单、高效。
总之，Netty通过对NIO的封装，提供了更方便、高效的网络编程方式，使开发者能够轻松地构建高性能的网络应用。
- 2023-08-12
- 652
- 0
- 0
- 开发技巧
2023-08-09
NIO如何解决阻塞问题？ NIO通过使用Selector和多路复用器的概念，有效地解决了BIO中线程开销过大的问题。在BIO中，每个客户端连接对应一个线程，导致服务端需要开启大量线程处理连接请求，造成巨大的资源消耗。而NIO中，引入了Selector来负责检查所有连接的就绪状态，通过轮询注册在其上的通道，获取就绪状态的通道进行处理。这样一来，一个Selector可以轮询多个通道，大大减少了线程的数量，提高了资源利用率。同时，NIO中使用了缓冲区来存储请求数据，可以在任务完成后发送通知，避免了连接超时的问题。总之，NIO通过Selector和缓冲区的方式，有效地解决了BIO中的线程开销问题，提高了系统的并发性能。
- 2023-08-09
- 654
- 0
- 0
- 开发技巧
2023-08-09
BIO阻塞在了哪里？客户端与服务端之间的交互流程如下：
1. 创建服务端socket，绑定系统端口并监听此端口的客户端连接。
2. 创建客户端连接，指定ip和端口地址。
3. 客户端发起连接请求，服务端接收并受理连接。
4. 连接建立成功，客户端与服务端开始数据交互。
5. 服务端处理客户端请求的流程如下：
- 通过走读源码可以了解到交互的具体流程。
- 关键类的定位：ServerSocket、Socket、SocketImpl等。
- SocketImpl是所有socket实现类（如PlainSocketImpl）的父类，提供了socket相关的方法定义。
- PlainSocketImpl是默认的socket实现类，实现了具体的服务端和客户端操作逻辑。
- DualStackPlainSocketImpl是PlainSocketImpl的拓展类，实现了具体的服务端和客户端操作的相关系统交互。

BIO的C/S架构中，每个客户端连接对应一个线程，服务端与客户端并发访问数呈1：1的关系。这种架构缺乏弹性伸缩能力，当并发访问量过大时，系统可能会产生线程堆栈溢出、创建新线程失败的问题，导致宕机或僵死，无法对外提供服务。
- 2023-08-09
- 658
- 0
- 0
- 开发技巧
2023-07-30
zookeeper是如何工作的? Zookeeper维护持久节点和临时节点组成的空间，通过监听节点数据实现节点及其子节点的数据一致性。Zookeeper的数据存储结构与Unix文件系统相似，使用znode作为最小的数据单元，并可以保存数据和挂载子节点。节点类型包括持久节点、持久顺序节点、临时节点和临时顺序节点，它们具有不同的生命周期。会话是Zookeeper中重要的概念，客户端与服务端之间的交互操作都与会话相关。常见的会话状态有连接中、已连接和已关闭。
- 2023-07-30
- 672
- 0
- 0
- 开发技巧
2023-07-29
Zookeeper如何保证一致性？ CAP定理指出，在一个分布式系统中，一致性、可用性和分区容错性这三个特性无法同时满足。分布式系统的一致性表示多个主机之间的数据是否保持一致；可用性表示系统能够在有限时间内对用户请求做出响应；分区容错性表示系统在网络分区故障时依然能够保证一致性和可用性。CAP原则指出，分布式系统只能满足一致性和可用性中的两项，即CP或者AP。BASE理论是CAP定理的权衡结果，它通过允许系统在出现故障时损失部分可用性，以及允许数据存在中间状态来实现最终一致性。Zookeeper遵循CP原则，实现了一致性但牺牲了可用性。Zookeeper内部使用的一致性协议是ZAB协议，它是对PAXOS算法的一种实现，用于达成分布式系统中的决议一致。PAXOS算法通过分配唯一编号和记录已接受提案来保证一致性。
- 2023-07-29
- 799
- 0
- 0
- 开发技巧
2023-07-25
为什么不建议写大SQL？这篇文章主要讨论了在老项目技术优化过程中，数据层常见的几个难题：阅读难、拆表难等。作者提出，应该避免过多的关联查询，而是赋予各个领域对象查询能力。同时，需要注意聚合函数的使用，应该将统计能力赋予给领域对象而非数据库。文章还介绍了两种方案来解决大数据量的统计问题：一是建立统计表进行定时落地，二是利用nosql技术进行实时统计。最后，作者指出在面对大数据时，即使对分组条件加索引也难以实现满意的优化效果，建议使用统计表和nosql技术来优化数据处理性能。文章强调了保持面向对象的编程思维对于应对数据层技术优化的重要性。
- 2023-07-25
- 683
- 0
- 0
- 开发技巧
2023-07-23
中间件是如何进行集群管理的？常用中间件集群管理方式有两种：一种是通过注册中心，如redissentinelrocket MQname serverkafkazookeeperdubbozookeeperspring boot（微服务）eureka，consul，Nacos；另一种是通过分布式节点，如ES节点主、数据、协调节点，节点增加重新路由数据分片，通过ping进行故障检测并选举新节点，Redis主从节点通过路由表分配数据实现主从切换；数据库Mysql主从复制、redis主从复制以及Sentinel+Replication等方式保证集群高可用；redis集群通过互联和二进制协议优化传输，节点下线需超过半数节点检测失效；消息中间件rocketMQ支持多master模式、多master多slave异步复制模式和多master多slave同步复制模式；Kafka通过ISR管理副本和HW机制完成数据同步，zookeeper管理broker和partition节点。
- 2023-07-23
- 744
- 0
- 0
- 开发技巧
2023-07-22
Kafka内部构成解析 Kafka通过Zookeeper存储集群的元数据信息，Zookeeper负责维护和协调broker，以及Broker Controller的选举。每个broker在启动时会在ZooKeeper中创建一个节点来注册自己，并监听节点的变化。Controller负责管理分区和主题元数据信息的同步和更新，以及故障转移。Topic在Kafka中用于划分消息的类别，而Partition用于物理存储消息。副本分为领导者副本和追随者副本，追随者副本不对外提供服务，只负责与领导者副本的消息同步。Kafka将Partition进一步细分为多个segment，每个segment包含消息存储文件和索引文件。日志清理策略有delete和compact两种，offset用于定位下一条要读取的消息。整个系统的保证集群每一台broker都缓存最新的元数据信息，保证数据一致性和高可用性。
- 2023-07-22
- 582
- 0
- 0
- 开发技巧
2023-07-16
深入理解RocketMQ RocketMQ是一种消息中间件，与ActiveMQ、RabbitMQ和Kafka相比，它使用Java、Erlang、JavaScript和Scala等开发语言，具有万级到十万级的单机吞吐量。RocketMQ的一大优势是可以支持大量的Topic，即使在同等数量的机器下也能支持大量的Topic。然而，当Topic数量从几十个增加到几百个时，吞吐量会显著下降。Kafka是另一种消息中间件，具有高毫秒级的时效性、高可用性和可靠性，适用于大规模Topic和复杂业务场景。它是分布式的，可以保证消息不会丢失。RocketMQ和Kafka都有各自的优势和劣势，例如RocketMQ功能较为完备，而Kafka在分布式扩展性和可靠性方面表现较好。总体而言，RocketMQ和Kafka都在大数据领域有广泛应用，具有不同的特点和适用场景。
- 2023-07-16
- 667
- 0
- 0
- 开发技巧
2023-07-02
ES存储原理和集群介绍全文检索是指对非结构化数据进行搜索的方法，包括顺序扫描和反向索引两种方式。全文检索的过程包括索引创建和搜索索引两个步骤。在实际应用中，Elasticsearch（ES）和Solr是常用的两种全文检索工具，它们在安装、功能和性能等方面有所区别。ES集群是一个P2P类型的分布式系统，包含多个节点，其中master节点负责管理集群变更，data节点负责存储数据，而协调节点负责查询负载均衡。ES可以将索引划分为多份，并创建副本分片以提高高可用性。集群状态是指集群中的各种状态和元数据信息，包括索引的mappings、settings配置等。元数据对于集群的稳定运行非常重要。
- 2023-07-02
- 653
- 0
- 0
- 开发技巧
2023-06-25
Mysql集群的使用场景本文总结了主从复制的基本原理，包括主库的binlog和从库的relaylog，以及三种日志模式(statement level、row level和mixed)的优缺点。同时还介绍了主从延迟的原因和解决方法，以及读写分离的场景和中间件特征。此外还介绍了分库分表的概念，包括垂直和水平切分的优缺点，以及不同的数据分片和路由类型。总体来说，文章详细介绍了数据库复制、延迟、读写分离和分库分表等方面的内容，对于数据库管理和优化有一定的参考意义。
- 2023-06-25
- 816
- 0
- 0
- 开发技巧
2023-06-23
SQL语句如何优化通过使用慢查询日志功能，可以获取执行时间较长的SQL语句并查看执行计划，然后通过show profile来查看SQL的性能使用情况，进而进行优化。开启慢查询日志需要在配置文件中添加相关参数，并使用mysqldumpslow工具分析慢查询日志。同时，通过explain查看SQL执行计划进行优化，包括合理创建索引、避免全表扫描、优化order by、group by语句以及避免使用count( * )等。此外，在关联表时建立索引、避免使用not in语句等也是优化的关键。通过以上方法，可以提高SQL查询的性能，减少查询时间，提升数据库性能。
- 2023-06-23
- 670
- 0
- 0
- 开发技巧
2023-06-23
Mysql锁机制详解：全局、表级和行级 Mysql中的锁可以按照粒度和功能进行区分，包括全局锁、表级锁和行级锁，以及共享锁和排他锁。全局锁用于数据库备份，表级锁和行级锁用于数据操作。innodb引擎支持事务，可以通过不同的参数来实现备份和锁定数据。行级锁包括记录锁、间隙锁和临键锁，用于保证数据的一致性和避免幻读。不同事务的加锁规则和避免死锁的方法也需要注意。通过优化索引、避免不必要的行扫描和快速提交事务等方式可以提高运行速度和减少死锁的发生。详细内容可参考官方文档。
- 2023-06-23
- 675
- 0
- 0
- 开发技巧
2023-06-19
索引之争：B+树vs.组合索引vs.覆盖索引，你选择哪个？索引在数据库中起到了提高数据检索效率和降低IO成本的作用。不同的数据结构实现索引有各自的优缺点，如Hash表适用于等值查询但不支持范围查询，而B+树在等值查询和范围查询方面效果均较好。在MySQL中，不同引擎的索引实现也有所区别，如InnoDB引擎使用B+树构建聚簇索引，而MyISAM引擎的主键索引和辅助索引结构相同。为了避免回表查询，可以创建覆盖索引，提高命中率。建立索引的原则包括频繁出现在where条件、order by、group by语句中的字段以及需要频繁查询的列等。需要注意的是，索引的建立要考虑字段的区分度和长度，避免过多的索引导致更新和插入变慢。综上所述，合理使用不同数据结构和引擎的索引实现，并按照建立索引的原则进行优化，可以有效提升数据库的查询效率。
- 2023-06-19
- 662
- 0
- 0
- 开发技巧
2023-06-18
InnoDB内存结构与事务管理 InnoDB是一种常用的数据库引擎，其内存结构包括缓冲池、额外内存池、双写和重做日志。通过配置参数可以设置缓冲池的大小，其中存储了数据页、索引页、undo页等信息以提升数据库性能。另外，插入缓冲、自适应哈希索引等功能也有助于提高插入和查询性能。重做日志缓冲则确保数据写入磁盘时的持久性。检查点机制用于管理缓冲池和重做日志的大小，避免数据丢失。在事务管理方面，InnoDB采用MVCC实现数据一致性，通过undo log和read view来实现多版本并发控制。不同隔离级别下的事务访问不同方式的数据版本，以确保数据的完整性和可靠性。通过对数据的变更记录加上版本记录，可以避免锁的性能影响和死锁问题。总之，InnoDB引擎通过优秀的内存管理和事务控制机制，提供高性能和数据一致性的支持。
- 2023-06-18
- 816
- 0
- 0
- 开发技巧
2023-06-04
深入解析MySQL架构：核心要点揭秘本文介绍了MySQL存储目录的文件结构，包括日志、表空间、数据文件、重做日志和缓冲池。其中，日志文件记录了数据库的操作信息和错误信息；表空间包含系统表空间和用户表空间；重做日志文件用于恢复数据的正确状态；缓冲池用于提高数据库整体性能。此外，还介绍了MySQL的逻辑结构，包括Server层和存储引擎层，以及连接器的作用。在连接数据库时，建议定期断开长连接以释放内存，并合理设置查询缓存以提高性能。
- 2023-06-04
- 645
- 0
- 0
- 开发技巧
2023-05-20
Redis高级使用场景：消息队列、发布订阅和事务管理本文介绍了REDIS在消息模式和队列模式中的应用场景，使用list类型的lpush和rpop实现消息队列时可能存在的问题和解决方法。同时还介绍了REDIS中使用brpop命令、SortedSet发布订阅、Redis Stream等新数据类型的应用。此外，文章还涵盖了Redis事务、命令输入、多个客户端等方面的内容。最后还介绍了REDIS的可编程性，可以使用Lua脚本和Redis函数拓展功能。文章通过详细介绍各种命令和场景，为读者提供了丰富的REDIS应用知识和操作方法。REDIS在消息模式和队列模式中具有广泛的应用，可以满足不同业务场景的需求。
- 2023-05-20
- 737
- 0
- 0
- 开发技巧

1
2
3
4
5