Buffer pool详解

1、回顾一下buffer pool是个什么东西 它是一个非常关键的组件，我们都知道数据库中的数据实际上最终都是要存放在磁盘文件上的，但是我们在对数据库执行增删改的时候，不可能直接更新磁盘上的数据，因为如果你对磁盘进行随机读写操作，那速度是相当的慢，随便一个大磁盘文件的随机读写操作，可能都要几百毫秒。如果要是那么搞的话，可能你的数据库每秒也就只能处理几百个请求了。之前我们已经讲过了，你在对数据库执行增删改操作的时候，实际上主要都是针对内存里的buffer pool中的数据进行的，也就是实际上主要是对数据库的内存里的数据结构进行了增删改。我们再来回顾一下之前画的图：\

commit1.jpg

一句话总结，buffer pool就是数据库的一个内存组件，里面缓存了磁盘上的真实数据，然后我们的java系统对数据库执行的增删改操作，其实主要就是对这个内存数据结构中的缓存数据执行的。

2、如何配置buffer pool的大小？ buffer pool本质是数据库的一个内存组件，就是一片内存数据结构，所以这个内存数据结构肯定是有一定的大小的，不可能是无限大的。buffer pool默认情况下是128MB，还是有一点偏小了，我们实际生产环境下完全可以对buffer pool进行调整。假如我们的数据库是16核32G的机器，那么你可以给buffer pool分配个2G的内存使用下面的配置就可以了。

3、数据页：MySQL中抽象出来的数据单位 现在我们来看一个问题，就是数据是如何放在buffer pool中的？我们都知道数据库中的核心数据模型就是表+字段+行的概念，那么我们的数据是一行一行的放在buffer pool里面的吗？其实不是的，，它把很多行数据放在了一个数据页里，也就是说我们的磁盘文件中就是会有很多的数据页，每一页数据里放了很多行数据。所以实际上假设我们要更新一行数据，此时数据库会找到这行数据所在的数据页，然后从磁盘文件里把这行数据所在的数据页直接加载到buffer pool里去，也就是说，buffer pool中存放的是一个一个的数据页，如下图：\

buffer1.jpg

4、磁盘上的数据页和buffer pool中的缓存页是如何对应起来的？ 默认情况下，磁盘中存放的数据页的大小是16kb，也就是说，一页数据包含了16kb的内容。而buffer pool中存放的一个一个的数据页，我们通常叫做缓存页，因为毕竟buffer pool是一个缓冲池，里面的数据都是从磁盘缓存到内存里去的。而buffer pool中默认情况下，一个缓存页的大小和磁盘上的一个数据页的大小是一一对应起来的，都是16kb。

5、缓存页对应的描述信息是什么？ 对于每个缓存页它实际上都会有一个描述信息，包含如下一些东西：这个数据页所属的表空间、数据页的编号、这个缓存页在buffer pool中的地址等等。每个缓存页都会对应一个描述信息，这个描述信息本身也是一块数据，在buffer poo中，每个缓存页的描述数据放在最前面，然后各个缓存页放在后面。我们来看下面的示意图：\

buffer2.jpg

这里我们要注意一点，buffer pool中的描述数据大概相当于缓存页大小的5%左右，也就是每个描述数据大概是800个字节左右的大小，然后假设你设置的buffer pool大小是128MB，实际上buffer pool真正的最终大小会超出一些，可能有个130多MB的样子，因为它里面还要存放每个缓存页的描述数据。

6、数据库启动的时候是如何初始化buffer pool的？ 数据库只要一启动，就会按照你设置的buffer pool大小，稍微再加大一点，去找操作系统申请一块内存区域，作为buffer pool的内存区域。当内存区域申请完毕之后，数据库就会按照默认的缓存页大小（16kb）以及对应的描述数据的大小（800字节左右），在buffer pool中划分出来一个一个的缓存页和它们对应的描述数据。只不过这个时候，buffer pool中的一个一个的缓存页都是空的，里面什么都没有，要等数据库运行起来之后，当我们要对数据执行增删改查操作的时候，才会把数据对应的页从磁盘文件里读取出来，放入buffer pool的缓存页中。

当从磁盘上读取数据页放入buffer pool中的缓存页的时候，必然涉及到一个问题，那就是哪些缓存页是空闲的？这里就用到了！数据库会为buffer pool设计一个free链表，它是一个双向链表数据结构，在这个free链表里，每一个节点就是一个空闲的缓存页的描述数据块的地址，也就是说，只要一个缓存页是空闲的，那么它的描述数据块就会被放入这个free链表中。数据库刚启动的时候可能所有的缓存页都是空闲的，所以此时所有的缓存页的描述数据块都会被放入这个free链表中。我们看下示意图：\

free1.jpg

大家可以看到上面出现了一个free链表，这个free链表里面就是各个缓存页的描述数据块，只要缓存页是空闲的，那么它们对应的描述数据块就会加入到这个free链表中，每个节点都会双向链接自己的前后节点，组成一个双向链表。除此之外，这个free链表有一个基础节点，它会引用链表的头节点和尾节点，里面还存储了链表中有多少个描述数据块的节点，也就是有多少个空闲的缓存页。

1、free链表占用多少内存空间？ free链表本身就是有buffer pool里的描述数据块组成的，每个描述数据块里都有两个指针，一个是free_pre，一个是free_next，分别指向自己的上一个free链表的节点，以及下一个free链表的节点。通过buffer pool中的描述数据块的free_pre和free_next两个指针，就可以把所有的描述数据块串成一个free链表，上面为了画图需要，所以把描述数据块单独画了一份出来，表示它们之间的指针引用关系。对于一个free链表，只有一个基础节点是不属于buffer pool的，它是40字节大小的一个节点，里面就存放了free链表的头节点地址，尾节点的地址，还有free链表里当前有多少个节点。

2、如何将磁盘上的页读取到buffer pool的缓存页中去？ 首先，我们需要从free链表里获取一个描述数据块，然后就可以对应的获取到这个描述数据块对应的空闲缓存页。接着我们就可以把磁盘上的数据页读取到对应的缓存页里去，同时把相关的一些描述数据写入缓存页的描述数据块里去，比如这个数据页所属的表空间之类的信息，最后把那个描述数据块从free链表里去除就可以了。

3、如何知道数据页有没有被缓存？ 数据库其实会有一个哈希表数据结构，它会用表空间号+数据页号，作为一个key，然后缓存页的地址作为value，当你要使用一个数据页的时候，通过“表空间号+数据页号”作为key去这个哈希表里查一下，如果没有就读取数据页，如果已经有了，就说明数据页已经被缓存了。也就是说，每次读取一个数据页到缓存之后，都会在这个哈希表中写入一个key-value对，那么下次如果你再使用这个数据页，就可以从哈希表里直接读取出来。

1、脏数据页到底为什么会脏？ 通过之前的讲解我们知道，你要更新的数据页都会在buffer pool的缓存页里，供你在内存中直接执行增删改的操作。当你更新了buffer pool的缓存页中的数据后，那么缓存页里的数据和磁盘上的数据页里的数据就不一致了，这个时候，我们就说缓存页是脏数据，脏页。

2、哪些缓存页是脏页？ 通过之前的学习，我们都知道一点，最终内存里更新的脏页的数据都是要被刷回磁盘文件的。但是这里有一个问题，不可能所有的缓存页都刷回磁盘的，因为有的缓存页可能是因为查询的时候被读取到buffer pool里的，根本没有被修改过。所以数据库在这里引入了另外一个跟free链表类似的，这个flush链表本质也是通过缓存页的描述数据块中的两个指针，让被修改过的缓存页的描述数据块，组成一个双向链表。凡是被修改过的缓存页，都会把它的描述数据块加入到flush链表中去，flush的意思就是这些都是脏页，后续都是要flush刷新到磁盘上去的。flush链表数据结构和free完全一样，我们这里就不再给示意图。