wiki/Tech/database-system/PostgreSQL/基本概念.md

title	description	keywords	tags	author	date
基本概念	Postgresql 基本概念	Postgresql 基本概念	数据库系统/PostgreSQL 技术/数据库	7Wate	2023-09-21

引言

graph TD;
    A[大型图书馆系统] --> B1[历史分馆]
    A --> B2[科学分馆]
    A --> B3[文学分馆]
    
    B1 --> C1[古代历史区]
    B1 --> C2[现代历史区]
    
    B2 --> C3[物理学区]
    B2 --> C4[化学区]
    
    B3 --> C5[古典文学区]
    B3 --> C6[现代文学区]
    
    C1 --> D1[书籍1]
    C1 --> D2[书籍2]
    
    C2 --> D3[书籍3]
    C2 --> D4[书籍4]
    
    C3 --> D5[书籍5]
    C3 --> D6[书籍6]
    
    C4 --> D7[书籍7]
    C4 --> D8[书籍8]
    
    C5 --> D9[书籍9]
    C5 --> D10[书籍10]
    
    C6 --> D11[书籍11]
    C6 --> D12[书籍12]
    
    style A fill:#f9d,stroke:#333,stroke-width:2px;
    style B1 fill:#fc9,stroke:#333,stroke-width:2px;
    style B2 fill:#fc9,stroke:#333,stroke-width:2px;
    style B3 fill:#fc9,stroke:#333,stroke-width:2px;
    style C1 fill:#9cf,stroke:#333,stroke-width:2px;
    style C2 fill:#9cf,stroke:#333,stroke-width:2px;
    style C3 fill:#9cf,stroke:#333,stroke-width:2px;
    style C4 fill:#9cf,stroke:#333,stroke-width:2px;
    style C5 fill:#9cf,stroke:#333,stroke-width:2px;
    style C6 fill:#9cf,stroke:#333,stroke-width:2px;
    style D1 fill:#c9f,stroke:#333,stroke-width:2px;
    style D2 fill:#c9f,stroke:#333,stroke-width:2px;
    style D3 fill:#c9f,stroke:#333,stroke-width:2px;
    style D4 fill:#c9f,stroke:#333,stroke-width:2px;
    style D5 fill:#c9f,stroke:#333,stroke-width:2px;
    style D6 fill:#c9f,stroke:#333,stroke-width:2px;
    style D7 fill:#c9f,stroke:#333,stroke-width:2px;
    style D8 fill:#c9f,stroke:#333,stroke-width:2px;
    style D9 fill:#c9f,stroke:#333,stroke-width:2px;
    style D10 fill:#c9f,stroke:#333,stroke-width:2px;
    style D11 fill:#c9f,stroke:#333,stroke-width:2px;
    style D12 fill:#c9f,stroke:#333,stroke-width:2px;

**PostgreSQL 数据库服务可以被想象成一个大型的图书馆系统，它拥有一套完整的工具和服务来管理和查询存储在其中的数据，就像图书馆中的书籍。**这个系统不仅保证了数据的安全和完整性，还提供了高效的数据访问方式，就如同图书馆的管理员能够妥善管理所有的书籍和资料。

**在这个图书馆中，我们可以找到多个分馆，这就是所谓的数据库集簇。**每个数据库集簇就像一个分馆，拥有自己的一套书籍和资源，但都受到同一套图书馆系统的管理和维护。在 PostgreSQL 的架构中，一个数据库集簇是由多个数据库组成的，它们共享同一套 PostgreSQL 服务实例和系统资源，形成一个协调一致的系统。

**每个分馆可以被视为一个单一的实例，它是一个独立运行的 PostgreSQL 服务，管理着一个数据库集簇。**这个实例就像一个独立的图书馆分馆，拥有自己的资源和管理系统，可以为用户提供多样化的服务和资源。

**分馆中的各个专题区域，就是数据库。**在 PostgreSQL 中，一个数据库就像一个专门的区域，它聚焦于一个特定的主题或应用，存储着一系列相关的数据表和信息。就如同图书馆中有历史、科学或文学等不同的主题区域，每个区域都提供了丰富和多元的资源，满足不同用户的需求和探索。

通过这样的架构和组织方式，PostgreSQL 成为了一个高度灵活、安全和高效的数据库管理系统，能够满足现代数据管理的多样化需求。

组成

执行文件

文件名	描述
clusterdb	用于重新集群数据库表的工具。
createdb	用于创建新数据库的工具。
createuser	用于创建新数据库用户的工具。
dropdb	用于删除数据库的工具。
dropuser	用于删除数据库用户的工具。
initdb	用于初始化新数据库群集的工具。
oid2name	用于将 OID（对象标识符）转换为名称的工具。
pg_amcheck	用于验证索引的完整性和一致性的工具。
pg_archivecleanup	用于清理归档日志文件的工具，通常与归档日志一起使用。
pg_basebackup	用于创建 PostgreSQL 数据库的基本备份的工具。
pgbench	用于进行性能基准测试的工具。
pg_checksums	用于管理 PostgreSQL 数据目录中的页校验和设置。
pg_config	用于检索 PostgreSQL 安装的配置信息的工具。
pg_controldata	用于检索 PostgreSQL 数据目录中的控制信息的工具。
pg_ctl	用于启动、停止和管理 PostgreSQL 服务器的工具。
pg_dump	用于将 PostgreSQL 数据库导出为 SQL 脚本文件的工具。
pg_dumpall	用于导出所有 PostgreSQL 数据库的工具。
pg_isready	用于检查 PostgreSQL 服务器是否准备好接受连接的工具。
pg_receivewal	用于接收和保存流复制的 WAL（Write-Ahead Logging）数据的工具。
pg_recvlogical	用于接收和保存逻辑复制的数据的工具。
pg_resetwal	用于重置 PostgreSQL 的 WAL 日志文件的工具。
pg_restore	用于从 SQL 脚本文件或自定义归档中恢复 PostgreSQL 数据库的工具。
pg_rewind	用于将一个 PostgreSQL 数据库群集回滚到以前的状态的工具。
pg_test_fsync	用于测试文件同步性能的工具。
pg_test_timing	用于测试系统定时性能的工具。
pg_upgrade	用于升级 PostgreSQL 数据库群集的工具。
pg_verifybackup	用于验证 PostgreSQL 备份的完整性的工具。
pg_waldump	用于解析和显示 WAL（Write-Ahead Logging）文件内容的工具。
postgres	PostgreSQL 服务器主进程的可执行文件。
postmaster	符号链接，指向 PostgreSQL 服务器主进程的可执行文件。
psql	用于与 PostgreSQL 数据库进行交互的命令行客户端工具。
reindexdb	用于重新创建索引的工具。
vacuumdb	用于执行 VACUUM 操作以清理和优化 PostgreSQL 数据库的工具。
vacuumlo	用于管理 PostgreSQL 大对象的工具。

数据目录

文件/目录名称	作用
base	存储用户创建的数据库和表的数据文件
global	存储系统范围的共享表格定义和数据
pg_commit_ts	用于跟踪提交的事务时间戳
pg_dynshmem	动态共享内存目录，用于在运行时分配共享内存段
pg_hba.conf	客户端身份验证规则配置文件，用于控制客户端连接的权限
pg_ident.conf	用于标识客户端连接的规则配置文件
pg_logical	用于逻辑复制的相关文件和状态信息
pg_multixact	存储多事务共享锁的信息
pg_notify	用于实现 NOTIFY 和 LISTEN 功能的通知目录
pg_replslot	存储逻辑复制插槽信息的目录
pg_serial	存储序列的数据文件
pg_snapshots	存储快照信息
pg_stat	包含统计信息的目录，用于监视数据库性能
pg_stat_tmp	存储临时统计信息的目录
pg_subtrans	存储子事务信息
pg_tblspc	存储表空间符号链接的目录，每个数据库都有一个符号链接
pg_twophase	存储两阶段提交事务信息的目录
PG_VERSION	数据库簇的版本信息文件
pg_wal	存储 Write-Ahead Logging (WAL) 文件，用于事务恢复和复制
pg_xact	存储事务状态文件
postgresql.auto.conf	自动生成的配置文件，包含了数据库的自动化配置信息
postgresql.conf	数据库的主要配置文件，包含了许多配置选项
[postmaster.opts]	包含启动 PostgreSQL 时使用的最后一组选项。
[postmaster.pid]	包含运行的 PostgreSQL 主进程的 PID（进程 ID）和其他控制信息，用于防止多个服务器实例在同一数据目录上同时运行。

设计架构

架构图

graph LR;
    A[PostgreSQL 数据库服务] --> B[数据库集簇];
    B --> C[单一实例];
    C --> D1[数据库 A];
    C --> D2[数据库 B];
    C --> D3[数据库 C];
    D1 --> E1[数据表1];
    D1 --> E2[数据表2];
    D1 --> F1[视图];
    D1 --> F2[函数];
    D1 --> F3[触发器];
    E1 --> G1[列];
    E1 --> G2[索引];
    E1 --> G3[主键];
    E1 --> G4[外键];
    E1 --> G9[约束];
    E2 --> G5[列];
    E2 --> G6[索引];
    E2 --> G7[主键];
    E2 --> G8[外键];
    E2 --> G10[约束];
    A --> H1[事务和并发控制];
    A --> H2[备份和恢复];
    A --> H3[安全性和权限管理];
    A --> H4[复制和高可用性];
    A --> H5[扩展性和插件];
    A --> H6[连接管理];
    A --> H7[监听和通知];
    
    A --> I[进程管理器];
    A --> J[SQL 解析器];
    A --> K[查询优化器];
    A --> L[查询执行器];
    
    I --> M[后台进程];
    I --> N[自动清理进程];
    I --> O[后台工作进程];
    
    L --> P[存储管理器];
    P --> Q[缓冲区管理];
    P --> R[磁盘空间管理];
    P --> S[事务管理];
    P --> X[日志管理];
    
    Q --> T[共享缓冲区];
    
    S --> V[事务日志];
    S --> W[多版本并发控制 MVCC];
    S --> U[WAL 预写日志];
    
    H1 --> Y[锁管理];
    H2 --> Z1[物理备份];
    H2 --> Z2[逻辑备份];
    H3 --> Z3[角色和权限管理];
    H3 --> Z4[加密和认证];
    H4 --> Z6[主从复制];
    H4 --> Z7[同步复制];
    H5 --> Z8[新数据类型];
    H5 --> Z9[新函数];
    H6 --> Z10[客户端连接];
    H7 --> Z11[LISTEN];
    H7 --> Z12[NOTIFY];
    
    K --> Z5[统计信息];
    
    L --> Z13[顺序扫描];
    L --> Z14[索引扫描];
    L --> Z15[哈希连接];

style A fill:#f9d,stroke:#333,stroke-width:2px;  
style B fill:#fc9,stroke:#333,stroke-width:2px;  
style C fill:#9cf,stroke:#333,stroke-width:2px; 
style D1 fill:#9fc,stroke:#333,stroke-width:2px; 
style D2 fill:#9fc,stroke:#333,stroke-width:2px;
style D3 fill:#9fc,stroke:#333,stroke-width:2px;
style E1 fill:#c9f,stroke:#333,stroke-width:2px; 
style E2 fill:#c9f,stroke:#333,stroke-width:2px; 
style F1 fill:#ccf,stroke:#333,stroke-width:2px; 
style F2 fill:#ccf,stroke:#333,stroke-width:2px; 
style F3 fill:#ccf,stroke:#333,stroke-width:2px; 
style G1 fill:#fcc,stroke:#333,stroke-width:2px; 
style G2 fill:#fcc,stroke:#333,stroke-width:2px; 
style G3 fill:#fcc,stroke:#333,stroke-width:2px; 
style G4 fill:#fcc,stroke:#333,stroke-width:2px;
style G5 fill:#fcc,stroke:#333,stroke-width:2px;
style G6 fill:#fcc,stroke:#333,stroke-width:2px;
style G7 fill:#fcc,stroke:#333,stroke-width:2px;
style G8 fill:#fcc,stroke:#333,stroke-width:2px;
style G9 fill:#fcc,stroke:#333,stroke-width:2px;
style G10 fill:#fcc,stroke:#333,stroke-width:2px;
style H1 fill:#ccc,stroke:#333,stroke-width:2px;
style H2 fill:#ccc,stroke:#333,stroke-width:2px;
style H3 fill:#ccc,stroke:#333,stroke-width:2px;
style H4 fill:#ccc,stroke:#333,stroke-width:2px;
style H5 fill:#ccc,stroke:#333,stroke-width:2px;
style H6 fill:#ccc,stroke:#333,stroke-width:2px;
style H7 fill:#ccc,stroke:#333,stroke-width:2px;

进程结构

graph LR

    A[客户端] --> B[后端进程/Backend Process]
    B --> C[共享缓冲区/Shared Buffers]
    B --> D[事务日志/WAL Writer]
    B --> E[查询执行器/Query Executor]
    B --> L[日志管理器/Log Manager]
    B --> M[缓冲管理器/Buffer Manager]
    B --> N[锁管理器/Lock Manager]
    B --> O[进程间通信/IPC]
    
    C --> D[事务日志/WAL Writer]
    E --> C[共享缓冲区/Shared Buffers]
    D --> J[归档进程/Archiver]
    
    F[后台进程/Background Processes] --> C
    F --> D
    F --> G[统计信息收集器/Stats Collector]
    F --> H[自动清理进程/Autovacuum Worker]
    F --> I[检查点进程/Checkpointer]
    F --> J
    F --> K[后台工作进程/Background Worker]
    F --> P[WAL Receiver]
    
    I --> C[共享缓冲区/Shared Buffers]

    style A fill:#f9d,stroke:#333,stroke-width:2px;
    style B fill:#fc9,stroke:#333,stroke-width:2px;
    style C fill:#9cf,stroke:#333,stroke-width:2px;
    style D fill:#9cf,stroke:#333,stroke-width:2px;
    style E fill:#9cf,stroke:#333,stroke-width:2px;
    style F fill:#9fc,stroke:#333,stroke-width:2px;
    style G fill:#c9f,stroke:#333,stroke-width:2px;
    style H fill:#c9f,stroke:#333,stroke-width:2px;
    style I fill:#c9f,stroke:#333,stroke-width:2px;
    style J fill:#c9f,stroke:#333,stroke-width:2px;
    style K fill:#c9f,stroke:#333,stroke-width:2px;
    style L fill:#c9f,stroke:#333,stroke-width:2px;
    style M fill:#c9f,stroke:#333,stroke-width:2px;
    style N fill:#c9f,stroke:#333,stroke-width:2px;
    style O fill:#c9f,stroke:#333,stroke-width:2px;
    style P fill:#c9f,stroke:#333,stroke-width:2px;

• 客户端: 这是用户与 PostgreSQL 数据库交互的入口点。客户端可以是任何支持 PostgreSQL 的应用程序或工具，如 psql、PgAdmin 等。
• 后端进程/Backend Process: 当客户端发起连接请求时，PostgreSQL 会为每个连接创建一个后端进程。这个进程负责处理客户端的所有请求，包括查询执行、事务管理等。
• 共享缓冲区/Shared Buffers: 这是 PostgreSQL 的内存缓存，用于存储表数据、索引、系统目录等。后端进程和后台进程都可以访问这个缓冲区。
• 事务日志/WAL Writer: WAL (Write-Ahead Logging) 是 PostgreSQL 的一种持久化机制。在数据被写入磁盘之前，所有的修改都会先被记录在 WAL 中。这确保了在系统崩溃的情况下数据的完整性和持久性。
• 查询执行器/Query Executor: 负责解析、优化和执行 SQL 查询。
• 后台进程/Background Processes: 这是一组进程，负责各种后台任务，如清理、统计信息收集、日志归档等。
• 统计信息收集器/Stats Collector: 收集数据库的使用统计信息，如查询执行次数、表的访问频率等。
• 自动清理进程/Autovacuum Worker: 负责清理旧的数据和空间回收。
• 检查点进程/Checkpointer: 定期将共享缓冲区中的数据写入磁盘，并创建检查点。
• 归档进程/Archiver: 负责将 WAL 日志文件归档到一个指定的位置，以便于备份和恢复。
• 后台工作进程/Background Worker: 可以执行各种自定义的后台任务。
• 日志管理器/Log Manager , 缓冲管理器/Buffer Manager , 锁管理器/Lock Manager , 进程间通信/IPC: 这些都是 PostgreSQL 内部的核心组件，负责日志记录、缓冲管理、锁定资源和进程间的通信。
• WAL Receiver: 在复制环境中，WAL Receiver 负责从主服务器接收 WAL 记录。

内存结构

graph LR

    A[PostgreSQL 内存结构]
    A --> B[共享缓冲区/Shared Buffers]
    A --> C[工作内存/Work Mem]
    A --> D[维护工作内存/Maintenance Work Mem]
    A --> E[WAL缓冲区/WAL Buffers]
    A --> F[本地缓冲区/Local Buffers]
    A --> G[消息层/Message Layer]
    A --> H[CLOG缓冲区/CLOG Buffers]
    A --> I[TOAST缓冲区/TOAST Buffers]

    style A fill:#f9d,stroke:#333,stroke-width:2px;
    style B fill:#9cf,stroke:#333,stroke-width:2px;
    style C fill:#9cf,stroke:#333,stroke-width:2px;
    style D fill:#9cf,stroke:#333,stroke-width:2px;
    style E fill:#9cf,stroke:#333,stroke-width:2px;
    style F fill:#9cf,stroke:#333,stroke-width:2px;
    style G fill:#9cf,stroke:#333,stroke-width:2px;
    style H fill:#9cf,stroke:#333,stroke-width:2px;
    style I fill:#9cf,stroke:#333,stroke-width:2px;

• PostgreSQL 内存结构: 这是 PostgreSQL 数据库的总体内存结构，它包含了多个专门的缓冲区和内存区域，用于不同的任务和操作。
• 共享缓冲区/Shared Buffers: 这是 PostgreSQL 的主要缓存区，用于存储表数据、索引和系统目录。它是所有后端进程和后台进程共享的，用于减少磁盘 I/O。
• 工作内存/Work Mem: 用于存储排序和哈希操作的中间结果。每个后端进程都有自己的工作内存。
• 维护工作内存/Maintenance Work Mem: 用于存储维护任务（如 VACUUM、CREATE INDEX）的中间结果。这通常比普通的工作内存大。
• WAL 缓冲区/WAL Buffers: 用于存储即将写入 WAL（Write-Ahead Logging）的日志记录。这确保了在数据被写入磁盘之前，所有的修改都会先被记录在 WAL 中。
• 本地缓冲区/Local Buffers: 用于存储临时表的数据。与共享缓冲区不同，本地缓冲区是每个后端进程私有的。
• 消息层/Message Layer: 负责处理后端进程之间的消息传递，如锁通知和进程间通信。
• CLOG 缓冲区/CLOG Buffers: CLOG (Commit Log) 用于存储事务的提交状态。每个事务都有一个对应的 CLOG 记录，指示它是已提交、未提交还是中止。
• TOAST 缓冲区/TOAST Buffers: TOAST (The Oversized-Attribute Storage Technique) 是 PostgreSQL 用于存储大型数据的机制。当一个数据项太大而不能直接存储在常规的数据页中时，它会被“toast”到一个特殊的 TOAST 表中，并在原表中保留一个指针。TOAST 缓冲区用于缓存这些大型数据项。

逻辑存储结构

graph LR

    A[数据库集群/Cluster]
    A --> B[全局系统目录/pg_global]
    A --> C[数据库/Database 1]
    A --> D[数据库/Database 2]
    A --> E[...]
    A --> F[数据库/Database N]
    A --> S[表空间/Tablespace 1]
    A --> T[表空间/Tablespace 2]
    A --> U[...]
    A --> V[表空间/Tablespace N]

    B --> G[全局表/Global Tables]
    B --> H[全局系统目录/Global System Catalogs]

    C --> M[系统目录/System Catalogs]
    C --> N[用户表/User Tables]
    C --> O[索引/Indexes]
    C --> P[视图/Views]
    C --> Q[序列/Sequences]
    C --> R[其他对象/Other Objects]
    C --> W[扩展/Extensions]

物理存储结构

graph TD
    A[数据库 Database]
    B1[表空间 Tablespace 1]
    B2[表空间 Tablespace 2]
    C1[关系文件 Relation File 1]
    C2[关系文件 Relation File 2]
    D[数据文件 Data File]
    E[索引文件 Index File]
    F[事务日志 WAL]
    G[统计信息 Statistics]
    H[配置文件 Config Files]
    I[备份文件 Backup Files]

    A --> B1
    A --> B2
    B1 --> C1
    B2 --> C2
    C1 --> D
    C1 --> E
    C2 --> D
    C2 --> E
    A --> F
    A --> G
    A --> H
    A --> I

堆表文件内部结构

graph TD
    A[页面 Page]
    B[页面头部 Page Header]
    C[项目指针数组 Item Pointer Array]
    D[元组1 Tuple 1]
    E[元组2 Tuple 2]
    F[元组N Tuple N]
    G[空闲空间图 Free Space Map]
    H[可见性图 Visibility Map]
    I[多版本并发控制 MVCC]
    J[仅堆元组 HOT]

    A --> B
    A --> C
    C --> D
    C --> E
    C --> F
    A --> G
    A --> H
    D --> I
    E --> I
    F --> I
    D --> J
    E --> J
    F --> J

服务模式

graph TD
    A[PostgreSQL 服务模式]
    B[单用户模式]
    C[多用户模式]
    D[主-从复制模式]
    E[集群模式]
    F[主数据库]
    G[从数据库1]
    H[从数据库2]
    I[服务实例1]
    J[服务实例2]
    K[服务实例3]

    A --> B
    A --> C
    A --> D
    A --> E

    D --> F
    F --> G[同步数据]
    F --> H[同步数据]

    E --> I
    E --> J
    E --> K
    
    style A fill:#f9d,stroke:#333,stroke-width:2px
    style B fill:#eef,stroke:#333,stroke-width:2px
    style C fill:#eef,stroke:#333,stroke-width:2px
    style D fill:#eef,stroke:#333,stroke-width:2px
    style E fill:#eef,stroke:#333,stroke-width:2px
    style F fill:#ddd,stroke:#333,stroke-width:2px
    style G fill:#ddd,stroke:#333,stroke-width:2px
    style H fill:#ddd,stroke:#333,stroke-width:2px
    style I fill:#ddd,stroke:#333,stroke-width:2px
    style J fill:#ddd,stroke:#333,stroke-width:2px
    style K fill:#ddd,stroke:#333,stroke-width:2px

单用户模式

在单用户模式下，PostgreSQL 服务只允许一个用户（或一个应用）同时访问和操作数据库。这就像一个图书馆在特定时间只对一名读者开放，以便他/她可以独自浏览和使用图书馆的所有资源，而不会受到其他人的干扰。这种模式**通常用于数据库维护和故障排除。**在这种模式下，由于没有并发访问，管理员可以更容易地进行数据库的维护工作，如备份、恢复、重建索引等。

多用户模式

多用户模式是 PostgreSQL 的常规运行模式，它允许多个用户（或多个应用）同时访问和操作数据库。这就像一个图书馆在正常营业时间对所有读者开放，每个人都可以自由地浏览书籍和使用资源，同时图书馆的管理员会确保所有的操作都是有序和高效的。在这种模式下，数据库服务器必须处理并发访问，确保数据的完整性和一致性，并提供事务管理功能。

主 - 从复制模式

在主 - 从复制模式下，有一个主数据库（主图书馆）和一个或多个从数据库（分支图书馆）。**主数据库负责处理所有的写操作（如添加新书籍），而从数据库则是主数据库的只读副本，用于处理读操作（如查询书籍）。**从数据库会定期从主数据库同步数据，以保证数据的一致性。这样可以提高系统的读取性能和可用性。此外，这种模式还为数据备份和灾难恢复提供了额外的保障，因为从数据库可以作为备份数据源。

集群模式

**在集群模式下，多个 PostgreSQL 服务实例协同工作，共同提供数据库服务。**这就像一个图书馆网络，其中每个图书馆都可以提供完整的服务，并通过协同工作来提供更高效和更可靠的服务。这种模式可以提高系统的性能和可用性，同时也提供了更高的数据安全性。集群中的每个实例都可以处理读写请求，而数据的分布和复制是由集群管理软件自动处理的。这种模式通常用于大型、高并发的应用场景，需要高可用性和故障切换能力。