标签搜索
- 公众号
- 事务
- 流处理
- 大数据
- 旅行
- mongo db
- SUNO
- github
- IDEA
- 安全
- 注解
- 总结
- 求职
- 分布式事务
- CAP
- 分布式系统
- loadbalancer
- 装修
- 买房
- 前端
- 方案设计
- AIGC
- JVM
- 资讯
- Netty
- NIO
- BIO
- zookeeper
- RocketMQ
- MySQL
- stable diffusion
- spring MVC
- spring AOP
- JDBC
- mybatis
- logback
- docker
- consul
- spring event
- 新冠
- 连接池
- redis
- 运维
- nginx
- hiper-v
- DDD
- 搞笑
- 数据库
- 团建
- 游戏
- Gradle
- 心情
- 好物
- eureka
- spring framework
- spring boot
- 设计模式
- apache common
- ShardingSphere
- KAFKA
- leetcode
- spring cloud
- feign
- ES
- 起点
目 录CONTENT
以下是
开发技巧
相关的文章
-
索引之争：B+树vs.组合索引vs.覆盖索引，你选择哪个？ 索引是一种用于提高数据检索效率和降低数据库IO成本的数据结构。它通过对数据进行排序和组织，可以快速地进行等值查询和范围查询。不同的数据结构可以实现索引，其中最为合理的选择是B+树。B+树降低了树的高度，减少了查询的遍历次数，同时支持等值查询和范围查询。
在MySQL中，不同引擎使用不同的方式实现索引。在MyISAM引擎中，数据文件和索引文件是分开存储的。它使用B+树构建索引树，叶子节点存储的是索引列的值和对应行的磁盘地址。主键索引和辅助索引的结构相同，只是主键索引的键值是唯一的。在InnoDB引擎中，每个表都有一个聚簇索引，也是使用B+树构建的。聚簇索引的叶子节点存储的是整行记录。除了聚簇索引之外的索引都称为辅助索引，它们只存储主键值而非磁盘地址。
总结起来，索引是一种提高数据检索效率和降低数据库IO成本的数据结构。B+树是一种常用的索引实现方式。在MyISAM引擎中，数据文件和索引文件分开存储，使用B+树构建索引树。而在InnoDB引擎中，每个表都有一个聚簇索引，叶子节点存储整行记录，其他索引称为辅助索引，只存储主键值。 -
InnoDB内存结构与事务管理 InnoDB引擎被广泛使用的原因主要有以下几点：
1. 支持事务：InnoDB是一个支持ACID事务的存储引擎，可以保证数据的一致性、隔离性、持久性等特性，适用于需要高并发读写操作的数据库场景。
2. 缓冲池：InnoDB引擎通过缓冲池来提高数据库的整体性能。缓冲池是一个内存区域，用于缓存磁盘上的数据页，减少了磁盘IO的次数，加快了数据读取和写入速度。
3. 插入缓冲：InnoDB引擎使用插入缓冲来提升数据插入性能。在插入数据时，会先将次要索引的更新记录到插入缓冲中，再通过合并操作提升次要索引的插入性能。
4. 自适应哈希索引：InnoDB引擎可以根据查询的频率和模式，为热点页建立自适应哈希索引，提高连续查询的性能。
5. 锁信息和数据字典信息：InnoDB引擎可以保证并发访问时的线程安全，并且缓存了数据表信息，提升了数据访问的效率。
6. 重做日志缓冲：InnoDB在缓冲池中变更数据时，会先将变更写入重做日志缓冲中，然后再按时或事务提交时写入磁盘，确保数据的持久性。可以通过配置属性控制重做日志的写入时机，提高性能。
综上所述，InnoDB引擎通过支持事务、优化内存结构和提供多种性能优化机制，使得它成为了很多数据库开发人员首选的存储引擎。 -
深入解析MySQL架构：核心要点揭秘 文件结构是指MySQL存储目录中包含的不同部分，包括日志、https认证、表空间和数据文件、InnoDB重做日志以及缓冲池。
其中，日志文件主要用于记录数据库的操作信息和错误信息，包括错误日志、二进制日志、查询日志、慢查询日志和事务redo日志等。错误日志记录运行过程中遇到的严重错误信息和启动关闭信息，二进制日志记录数据库的DDL和非SELECT的DML语句以及执行时间，通常用于主从复制和数据备份恢复。查询日志可记录用户的所有操作，但在高并发环境中会产生不必要的磁盘IO，建议非调试场景不开启。慢查询日志记录执行时间超过阈值的查询语句。
表空间和数据文件是MySQL中存储表数据和索引的地方。系统表空间是被多个表共享的，包含InnoDB数据字典、double write buffer、changebuffer、undo logs的存储区域，以及用户在系统表空间创建的表数据和索引数据。用户表空间只存储用户定义数据表的数据和索引信息，其余信息存放在系统表空间中。数据文件是InnoDB和MyISAM常用的引擎，用于存储实际的数据。
总之，MySQL的文件结构包括日志、https认证、表空间和数据文件、InnoDB重做日志以及缓冲池。这些文件用于记录数据库操作信息、存储表数据和索引，并对数据库的性能和数据恢复起到重要作用。 -
-
Redis持久化与集群演变 REDIS持久化有三种方式：RDB持久化、AOF持久化和混合持久化。RDB持久化是Redis 5.0之前默认的持久化方式，通过配置快照规则来触发持久化操作。其优点是可以最大化Redis性能，但缺点是一旦Redis异常退出会丢失最后一次快照以后更改的数据。AOF持久化是通过将每条更改数据的命令写入AOF文件来实现，可以通过配置规则来决定写入时机，但会降低Redis性能。AOF重写是对AOF文件进行压缩，去除重复操作，减小文件体积。如何选择RDB和AOF取决于业务需求，如果数据不能丢失则需要使用RDB+AOF方式持久化，如果只是缓存服务器则只需要配置RDB混合持久化。Redis 5.0之后默认采用混合持久化方式。
-
REDIS内存模型和使用优化 Redis内存模型使用hash表来管理存放在Redis中的键值对。数据的扩容和缩容是通过多次渐进式的rehash过程完成的。具体步骤如下：首先为ht[1]分配空间，字典同时持有ht[0]和ht[1]两个哈希表，然后通过维持一个索引计数器变量rehashidx来表示rehash工作开始。在rehash进行期间，每次对字典执行操作时，程序会将ht[0]哈希表在rehashidx索引上的所有键值对rehash到ht[1]，完成后将rehashidx的值增一。随着字典操作的执行，最终ht[0]的所有键值对都会被rehash至ht[1]，此时将rehashidx设为-1，表示rehash操作完成。整个Redis的存储模型包括dictEntry结构存放数据、redisObject对象维护键值对的值和指向具有不同数据结构的数据对象的数据指针。常用的数据类型和编码方式包括整型字符串、小于等于44字节的简单动态字符、大于44字节的简单动态字符串、压缩列表实现的列表对象等。
-
-
-
-
-
-
-
-
-
-
-
记一次logback引发线上的内存报警 最近接手的服务经常出现线上内存溢出问题，导致服务需要频繁重启。经过查看内存使用记录，发现内存占用在上线后1天就达到4G以上，其中大部分内存被char数组占用了61%。这些char数组中存储了大量的日志记录，而由于老服务的日志打印过于频繁，每条日志的大小在6、7K之间。此外，阻塞队列设置得过小，并且没有设置neverBlock导致业务线程阻塞，导致堆文件里充斥着大量日志。通过查看logback的源码可以发现，当存储日志时，logback会先将日志放入阻塞队列中，根据neverBlock的值决定是采用阻塞方式还是非阻塞方式存储。neverBlock为false时，采用非阻塞方式存储，否则采用阻塞方式存储。
-
-
-
DBCP连接池原理与配置分析【三】 本文介绍了数据库连接池的创建过程和配置属性讲解。文章主要以GenericObjectPool.create()方法为切入点，详细讲解了数据库连接池的初始化过程。在连接池的创建过程中，使用了PoolableConnectionFactory.makeObject方法来创建具体的数据库连接。这里提到了池化连接PoolableConnection继承了DelegatingConnection，实现了Connection接口，Connection接口可以执行SQL语句并返回结果。文章还介绍了Connection接口的一些主要方法，包括createStatement方法用于创建Statement对象发送SQL语句到数据库。总体来说，本文详细介绍了数据库连接池的创建和配置过程。
-
DBCP连接池原理与配置分析【二】 对象连接池属性主要封装在BaseGenericObjectPool中，包括maxTotal、blockWhenExhausted、maxWaitDuration、lifo等默认配置属性。其中maxTotal表示最大连接数，blockWhenExhausted表示当连接用尽时是否阻塞等待，maxWaitDuration表示最大等待时间，lifo表示是否采用后进先出等策略。除此之外，还包括fairness、testOnCreate、testOnBorrow、testOnReturn、testWhileIdle、durationBetweenEvictionRuns、numTestsPerEvictionRun等属性。这些属性可根据具体需求进行配置，以提高连接池的性能和稳定性。
-
-
-
-
