68.6. 数据库页面布局

68.6.1. 表行布局

本章提供一个PostgreSQL的表和索引所使用的页面格式的概述。[15] 序列和TOAST表的格式就像一个普通表一样。

在下面解释中,一个字节被假定包含 8 个位。 另外,术语item指的是存储在一个页面里的 独立数据值。 在一个表里,一个项是一个行;在一个索引里,一个项是 一条索引记录。

每个表和索引都以一个固定尺寸(通常是 8kB,不过在编译服务器时可以选择其他不同的尺寸)的页面数组存储。 在表中,所有页面在逻辑上都相同,所以一个特定的项(行)可以被存储在任何页面里。 在索引里,第一个页面通常保留为元页来保存控制信息, 并且依索引访问方法的不同,在索引里可能有不同类型的页面。

表 68.2显示一个页面的总体布局。每个页面有五个部分。

表 68.2. 总体页面布局

描述
PageHeaderData24字节长。包含关于页面的一般信息,包括空闲空间指针。
ItemIdData指向实际项的项标识符数组。每一个条目是一对(偏移量、长度)。每个项 4 字节。
Free space未分配的空间(空闲空间)。新项标识符从这个区域的开头开始分配,新项从其结尾开始分配。
Items实际的项本身。
Special space索引访问模式相关的数据。不同的索引访问方式存放不同的数据。在普通表中为空。

每个页面的头24个字节组成页头(PageHeaderData)。它的格式在表 68.3里详细介绍。 第一个域跟踪与此页面相关的最近的 WAL 项。第二个域包含该页面的校验码(如果data checksums被启用)。接下来一个2字节的域包含标志位。此后跟随着三个 2 字节的整数域 (pd_lowerpd_upperpd_special)。 这些域包含从页面开始位置到未分配空间开头的字节偏移、到未分配空间结尾的字节偏移以及到特殊空间开头的字节偏移。页面头中再接下来的 2 字节(pd_pagesize_version)存储页面尺寸和一个版本指示器。从PostgreSQL 8.3开始的版本号为4;PostgreSQL 8.1和8.2使用版本号3;PostgreSQL 8.0 使用版本号 2;PostgreSQL 7.3 和 7.4 使用版本号 1; 更早的版本使用版本号 0(基本页面布局和头格式在大部分这些版本里都没有改变,但是堆的行头部布局有所变化)。 页面大小主要用于交叉检查;目前在一次安装里,还不能支持多于一种页面大小。最后的域是一个提示,它显示删除该页是否可能获益:它跟踪在页面上最老的未删除的XMAX。

表 68.3. PageHeaderData布局

类型长度描述
pd_lsnPageXLogRecPtr8 bytesLSN: 最后修改这个页面的WAL记录最后一个字节后面的第一个字节
pd_checksumuint162 bytes页面校验码
pd_flagsuint162 bytes标志位
pd_lowerLocationIndex2 bytes到空闲空间开头的偏移量
pd_upperLocationIndex2 bytes到空闲空间结尾的偏移量
pd_specialLocationIndex2 bytes到特殊空间开头的偏移量
pd_pagesize_versionuint162 bytes页面大小和布局版本号信息
pd_prune_xidTransactionId4 bytes页面上最老未删除XMAX,如果没有则为0

所有细节都可以在src/include/storage/bufpage.h中找到。

在页头后面是项标识符(ItemIdData),每个占用四个字节。 一个项标识符包含一个到项开头的字节偏移量(它的长度以字节计), 以及一些属性位,这些属性位影响对它的解释。 新的项标识符根据需要从未分配空间的开头分配。项标识符的数目可以通过查看pd_lower来判断,在分配新标识符的时候pd_lower会增长。因为一个项标识符在被释放前绝对不会移动,所以它的索引可以用于长期地引用一个项, 即使该项本身因为压缩空闲空间在页面内部进行了移动。实际上,PostgreSQL创建的每个指向项的指针(ItemPointer,也叫做CTID)都由一个页号和一个项标识符的索引组成。

项本身存储在从未分配空间末尾开始从后向前分配的空间里。它们的实际结构取决于表包含的内容。表和序列都使用一种叫做 HeapTupleHeaderData的结构,如下文所述。

最后一部分是特殊部分,它可以包含访问方法想存放的任何东西。比如,b-tree 索引用它存储指向页面的左右兄妹的链接,以及其他一些和索引结构相关的数据。普通表并不使用这个部分(通过设置pd_special等于页面大小来表示)。

图 68.1 举例说明这些组件如何在一个页面中布局。

图 68.1. 页面布局


68.6.1. 表行布局

所有表行都用同样方法构造。它们有一个定长的头部(在大多数机器上占据 23 个字节), 后面跟着一个可选的空值位图、一个可选的对象 ID 域以及用户数据。 该头部在表 68.4里详细描述。实际的用户数据(行的列)从t_hoff指示的偏移位置开始, 它必须总是该平台的 MAXALIGN 距离的倍数。空值位图只有在t_infomask中的HEAP_HASNULL位被设置时存在。 如果存在,那么它紧跟在定长的头部后面,并占据足够的字节来容纳每个数据列对应的一个位(也就是说,位数等于t_infomask2中的属性计数。)。 在这个位的列表中,为 1 的位表示非空,而为 0 的位表示空。如果这个位图不存在,那么所有列都被假设为非空的。 对象 ID 只有在设置了 t_infomask里面的HEAP_HASOID_OLD位时才存在。 如果存在,它正好出现在t_hoff边界之前。如果需要对齐t_hoff使之成为 MAXALIGN 的倍数,那么填充将出现在空值位图和对象 ID 之间(这样也保证了对象 ID 得到恰当的对齐)。

表 68.4. HeapTupleHeaderData布局

类型长度描述
t_xminTransactionId4 bytes插入XID标志
t_xmaxTransactionId4 bytes删除XID标志
t_cidCommandId4 bytes插入和/或删除CID标志(覆盖t_xvac)
t_xvacTransactionId4 bytesVACUUM操作移动一个行版本的XID
t_ctidItemPointerData6 bytes当前版本的TID或者指向更新的行版本
t_infomask2uint162 bytes一些属性,加上多个标志位
t_infomaskuint162 bytes多个标志位
t_hoffuint81 byte到用户数据的偏移量

所有细节都可以在src/include/access/htup_details.h中找到。

只有从其他表里获取了信息之后才能对确切数据进行, 这些信息大多数在pg_attribute中。 标识域位置的关键值是attlenattalign。 我们没有办法直接获取某个特定属性,除非它们是定宽并且没有空值。所有这些复杂的操作都封装在函数heap_getattrfastgetattrheap_getsysattr中。

要读取数据的话,你需要轮流检查每个属性。首先根据空值位图检查该域是否为NULL。 如果是,那么跳到下一个。然后保证你的对齐是正确的。如果域是一个定宽域,那么所有字节都简单地放在其中。 如果它是一个变长域(attlen = -1),那么它就会有点复杂。所有变长数据类型都使用一个通用的头部结构struct varlena, 它包含所存储的值的总长度以及一些标志位。根据标志的不同,数据可能在线内或者是在一个TOAST中,还可能是压缩的(参阅第 68.2 节)。



[15] 实际上,表和索引访问模式并不需要使用这种页面格式。 heap表访问方法总是采用这种格式。 目前所有的索引方法的确也使用这个基本格式, 但索引元页里的数据通常并不遵循项布局规则。