wiki/FormalSciences/ComputerScience/ComputerNetwork/5.WebServersNginx/内容缓存.md

title	description	keywords	tags	author	date
内容缓存	Nginx 内容缓存	Nginx 内容缓存	Nginx/内容缓存 技术/计算机网络	仲平	2024-01-03

Nginx，作为一种高效的 Web 服务器和反向代理服务，提供了一系列功能以优化和加速内容的交付。其中，内容缓存是其核心功能之一，它能显著提升网站的响应速度和后端服务的效率。

缓存基础

缓存是什么

缓存是一种存储技术，它保存数据副本以便快速访问。在 Web 环境中，缓存可以是页面、图片、文件等内容，存储在服务器或客户端。当用户再次请求相同的内容时，系统可以直接从缓存中提取，避免了重复的数据检索或计算过程，从而加快了交付速度。

缓存能解决的问题

• 减轻服务器负担： 通过缓存常请求的内容，减少对后端服务器的请求次数。
• 提高响应速度： 缓存的内容直接从内存或快速存储中提供，比从后端服务器处理和传输要快得多。
• 提升用户体验： 快速加载的页面和资源提升了用户的浏览体验。

Nginx 缓存原理

当用户首次请求网站的某个页面时，Nginx 会将请求转发到后端服务器（例如你的网站应用）。后端服务器处理请求后，将页面内容等资源返回给 Nginx，Nginx 再将这些内容发送给用户。在这个过程中，Nginx 会将收到的内容保存在缓存中。

当另一个用户请求同一个页面时，Nginx 会检查缓存。如果找到了之前保存的内容，并且内容还没有过期，Nginx 就会直接从缓存中取出内容发送给用户，而不是再次请求后端服务器。这样大大减少了处理时间和服务器负载。

Nginx 不是随意缓存所有内容，它通过一套规则来确定哪些内容应该被缓存，哪些不应该。这套规则可以非常灵活，你可以指定根据页面类型、用户的某些行为，甚至特定时间和日期来缓存内容。

缓存的内容并不是永远有效的。有时候网站内容会更新，如果用户还是接收到旧的缓存内容，那就会出现问题。因此，Nginx 允许设置缓存的有效期，一旦超过这个期限，缓存的内容就会被认为是过时的，Nginx 会从后端服务器获取最新的内容，并更新缓存。

sequenceDiagram
    participant 用户
    participant Nginx
    participant 缓存
    participant 后端服务器

    用户->>Nginx: 发起请求
    alt 缓存存在且有效
        Nginx->>缓存: 检查请求对应的缓存
        缓存->>Nginx: 返回缓存内容
        Nginx->>用户: 提供缓存内容
    else 缓存不存在或过期
        Nginx->>缓存: 检查请求对应的缓存
        缓存->>Nginx: 无有效缓存
        Nginx->>后端服务器: 转发请求
        后端服务器->>Nginx: 处理请求并返回结果
        Nginx->>缓存: 保存新的缓存内容
        Nginx->>用户: 提供后端服务器内容
    end

Nginx 缓存配置

1. 配置缓存区域

首先，你需要在 Nginx 配置文件中定义一个或多个缓存区域：

http {
    proxy_cache_path /path/to/cache levels=1:2 keys_zone=my_cache:10m max_size=1g inactive=60m use_temp_path=off;
}

配置指令	描述
proxy_cache_path	指定缓存的存储路径，定义了缓存文件存放的文件系统路径。
levels	定义缓存目录的层级，用于创建多级目录结构来存储缓存文件。
keys_zone	定义缓存区域的名称和大小，为缓存键和元数据分配内存。
max_size	缓存可以占用的最大磁盘空间，限制缓存目录可以使用的最大空间大小。
inactive	在此时间内未被访问的缓存内容将被删除，用于清理长时间未访问的缓存。
use_temp_path	是否使用临时路径存储缓存内容，控制是否先写入临时文件再移动到缓存路径。

2. 启用缓存

在适当的位置块中，启用缓存并指定缓存区域：

location / {
    proxy_cache my_cache;
    proxy_pass http://my_backend;
}

配置指令	描述
proxy_cache	在 location 块中使用，指定该位置的请求应使用哪个缓存区域。
proxy_cache_key	定义如何为请求生成缓存键，通常包含请求的元素如 URL、请求方法等。
proxy_cache_valid	设置不同 HTTP 状态码的响应的缓存有效期。
proxy_cache_use_stale	允许在后端服务器不可用时提供过期的缓存内容。
proxy_ignore_headers	指示 Nginx 忽略后端服务器发送的某些 HTTP 头，常用于控制缓存。
proxy_cache_lock	在处理缓存项时防止对同一个资源的并发请求，只让第一个请求查询后端并缓存，其他请求等待。
proxy_cache_bypass	设置条件，在满足条件时请求将绕过缓存直接转发给后端服务器。
proxy_no_cache	设置条件，在满足条件时不对响应进行缓存。
proxy_cache_revalidate	每次请求都会验证缓存内容的新鲜度，适用于需要高度一致性的场景。
proxy_cache_min_uses	指定一个响应在被缓存前需要被请求的最小次数，适用于控制不经常访问的内容的缓存。
proxy_cache_methods	指定哪些请求方法的响应应该被缓存，默认是 GET 和 HEAD。

示例配置

http {
    # 定义缓存存储路径及相关参数
    proxy_cache_path /path/to/cache levels=1:2 keys_zone=my_cache:10m max_size=1g inactive=60m use_temp_path=off;

    server {
        listen 80;

        location / {
            # 指定使用哪个缓存区域
            proxy_cache my_cache;
            
            # 定义缓存键
            proxy_cache_key "$scheme$request_method$host$request_uri";

            # 设置缓存有效期
            proxy_cache_valid 200 302 10m;
            proxy_cache_valid 404 1m;

            # 使用陈旧的缓存响应
            proxy_cache_use_stale error timeout updating http_500 http_502 http_503 http_504;

            # 忽略后端的Cache-Control和Expires头
            proxy_ignore_headers Cache-Control Expires;

            # 防止对同一个资源的并发请求
            proxy_cache_lock on;

            # 当特定条件满足时绕过缓存
            proxy_cache_bypass $http_cache_control;

            # 当特定条件满足时不缓存响应
            proxy_no_cache $http_pragma;

            # 验证缓存内容的新鲜度
            proxy_cache_revalidate on;

            # 指定一个响应在被缓存前需要被请求的最小次数
            proxy_cache_min_uses 3;

            # 指定哪些请求方法的响应应该被缓存
            proxy_cache_methods GET HEAD POST;

            # 转发请求到后端服务器
            proxy_pass http://my_backend;
            
            # 添加自定义头部以监控缓存状态
            add_header X-Cache-Status $upstream_cache_status;
        }
    }
}

浏览器缓存控制配置

合理的浏览器缓存策略可以减少服务器负载、减少网络延迟、加快页面加载速度，并节省用户的数据使用量。浏览器缓存主要通过 HTTP 响应头来控制，以下是一些最常用的 HTTP 缓存控制头：

• Cache-Control：这是最重要的缓存控制头。它允许指定多种指令来控制资源的缓存策略，例如 max-age、no-cache、no-store、must-revalidate 等。
• Expires：一个日期/时间值，告诉浏览器在这个时间点之前可以直接从缓存读取资源，而不需要去服务器检查。
• ETag：资源的唯一标识符。浏览器可以通过发送带有 If-None-Match 的请求来检查 ETag，判断资源是否已更改。
• Last-Modified：表示资源最后修改的日期和时间。浏览器可以通过发送带有 If-Modified-Since 的请求来检查资源是否已更改。

Cache-Control

现代应用倾向于使用 Cache-Control 头，因为它提供了更多的灵活性和控制。以下是一些常用的指令：

# 应用中不会改变的文件，通常可以再发送响应头前添加积极缓存
location ~* \.(js|css|png|jpg|gif)$ {
    add_header  Cache-Control public,max-age=31536000;
}

# 禁止缓存
location ~* \.(js|css|png|jpg|gif)$ {
    add_header  Cache-Control no-store,no-cache,must-revalidate;
}

配置选项	描述
no-store	指示请求或响应中的信息不能被缓存到任何地方。此设置适用于包含敏感信息的数据。
no-cache	缓存不应该存储未经验证的响应。即使有缓存，每次请求都需要向源服务器进行验证。
public	表示任何响应都可以被缓存，即使是通常不可缓存的内容，如经过身份验证的响应。
private	响应是为单个用户私有的，不能由共享缓存存储，但可以由私有缓存存储。比如，用户的个人信息页。
max-age=<seconds>	指定资源可以在本地缓存存储并被重用的最长时间（以秒为单位）。
s-maxage=<seconds>	类似于 max-age，但它仅适用于共享缓存（如 CDN）。覆盖 max-age 或者 Expires 头，但仅在共享缓存中。
must-revalidate	一旦资源过期（即超过 max-age），在使用旧的资源之前，缓存必须去服务器验证。对于某些需要保持最新的资源很有用。
proxy-revalidate	与 must-revalidate 类似，但它仅适用于共享缓存。
immutable	指示响应体不会随时间改变。在资源的缓存有效期内，浏览器不需要为了验证资源的新鲜度而发送条件请求。
stale-while-revalidate=<seconds>	表示客户端愿意接受超过 max-age 时间的响应，同时在后台异步检查新鲜度。
stale-if-error=<seconds>	表示如果源服务器在指定的时间内出错（如服务器宕机），客户端愿意接受一个过期的响应。

Expires

Expires 头是 HTTP/1.0 的遗留特性，但在 HTTP/1.1 中仍被广泛支持和使用。它用于指定资源的过期时间，告诉浏览器在这个时间点之前可以直接从本地缓存获取资源，而不必去服务器再次请求。一旦过了这个时间，浏览器会向服务器发送请求以检查资源是否有更新。尽管 Cache-Control 的 max-age 指令通常优先于 Expires，但在一些老旧的浏览器中，可能仍然需要设置此项。

server {
    listen 80;

    location /images/ {
        root /path/to/images;
        expires max;
    }

    location /css/ {
        root /path/to/css;
        expires 30d;
    }

    location /js/ {
        root /path/to/js;
        expires 24h;
    }
}

时间单位	描述	示例	说明
max	未来	expires max;	通常被解释为将资源的过期时间设置远在未来的时间点。
y	年	expires 1y;	表示资源应在一年后过期。
M	月	expires 1M;	表示资源应在一个月后过期。
w	周	expires 1w;	表示资源应在一周后过期。
d	天	expires 30d;	表示资源应在 30 天后过期。
h	小时	expires 24h;	表示资源应在 24 小时后过期。
m	分钟	expires 45m;	表示资源应在 45 分钟后过期。
s	秒	expires 30s;	表示资源应在 30 秒后过期。

Last-Modified

Last-Modified 头表示资源最后被修改的时间。它是一个日期/时间戳，告诉浏览器资源最后一次更改的时间。Nginx 默认会为静态文件发送 Last-Modified 头。如果你的资源是静态文件，比如图片、CSS 或 JavaScript 文件，通常你不需要做任何特别的配置。

当浏览器第一次请求一个资源时，服务器响应中会包含 Last-Modified 头。浏览器在下次请求相同资源时，会发送一个 If-Modified-Since 头，其值为之前收到的 Last-Modified 日期。

如果服务器发现资源自那以后没有被修改，它会返回一个 304 Not Modified 状态码，而不是资源内容，告诉浏览器可以安全地使用缓存的版本。

但是，如果你需要确保这个行为是打开的，可以确保 http 块中有以下指令：

http {
    server {
        location / {
            root /path/to/your/files;
            add_header Last-Modified $date_gmt;
        }
    }
}

ETag

ETag（实体标签）提供了一种资源的唯一标识符，通常是一个散列值或版本号。与 Last-Modified 相比，它可以更精确地判断资源是否变化。当浏览器第一次请求一个资源时，如果服务器配置了 ETag，响应中会包含一个 ETag 头。浏览器在后续请求相同资源时会发送一个 If-None-Match 头，其值为之前收到的 ETag 值。

如果服务器发现 ETag 匹配（即资源未更改），它会返回一个 304 Not Modified 状态码，告诉浏览器可以安全地使用缓存的版本。

Nginx 不会默认发送 ETag 头，你需要使用第三方模块或自定义配置。以下是一个示例配置，使用 Nginx 的 ngx_http_headers_module 模块来添加 ETag。

http {
    server {
        location / {
            root /path/to/your/files;
            etag on;  # 开启ETag
        }
    }
}

Gzip 压缩配置

gzip 是一种数据格式和文件压缩程序，使用 Lempel-Ziv 编码（LZ77）和 32 位循环冗余校验。当 Web 服务器启用了 gzip 压缩时，它会在发送文件到浏览器之前先将其压缩。支持 gzip 的浏览器会在 HTTP 请求头中包含 Accept-Encoding: gzip，表示它可以接收 gzip 压缩的内容。服务器响应这些请求时，会添加 Content-Encoding: gzip 头部，并发送压缩后的内容。

• 减少文件大小：通常可以减少 70% 左右的文件大小，从而减少网络传输时间。
• 提高加载速度：较小的文件可以更快地下载和解析，提升用户体验。
• 节省带宽资源：对于网站运营者来说，减少数据传输可以降低带宽成本。

Nginx 中配置 Gzip 压缩

在 Nginx 中启用 gzip 压缩相对简单。以下是一些基本的配置指令：

http {
    gzip on;
    gzip_buffers 16 8k;
    gzip_comp_level 5;
    gzip_min_length 256;
    gzip_http_version 1.1;
    gzip_proxied any;
    gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;
    gzip_vary on;
}

指令	描述	默认值/示例
gzip	启用或禁用 gzip 压缩。	on / off
gzip_buffers	设置用于压缩的缓冲区数量和大小。	16 8k
gzip_comp_level	设置 gzip 压缩级别，范围是 1（最快）到 9（最优）。较高的压缩级别可以提供更好的压缩率，但会消耗更多 CPU 资源。	1
gzip_disable	禁用 gzip 压缩的浏览器正则匹配。用于兼容不支持 gzip 的老旧浏览器。	"msie6"
gzip_min_length	设置触发压缩的最小响应体大小。较小的文件可能不值得压缩。	20 字节
gzip_http_version	设置启用压缩的最低 HTTP 协议版本。	1.1
gzip_proxied	设置在何种代理请求情况下应用压缩。	off
gzip_types	设置哪些 MIME 类型应该被压缩。通常包括文本文件如 HTML, CSS, JavaScript 等。	text/html
gzip_vary	启用或禁用根据请求头中的 Accept-Encoding 发送 Vary: Accept-Encoding 响应头。	off

Gzip 压缩适合哪些内容

• 文本文件：HTML、CSS、JavaScript、XML 和 JSON 等文本文件通常能获得很好的压缩效果。
• API 响应：对 JSON 或 XML 格式的 API 响应进行压缩，能加快移动应用或 Web 服务的响应速度。

注意事项

• 不要压缩已经压缩过的文件：对于 JPEG、PNG、MP3 和 PDF 等已经压缩过的文件，再次压缩不仅效果不佳，甚至可能使文件变大。
• 考虑 CPU 资源：虽然 gzip 压缩可以减少带宽使用，但它会增加服务器端的 CPU 负担。在负载较高的服务器上，应合理设置压缩级别。
• 客户端支持：几乎所有现代浏览器都支持 gzip，但在配置服务器时仍需考虑兼容性问题。

高级缓存策略

缓存预热

缓存预热是指在缓存启动后，系统自动访问特定的 URL 列表以填充缓存的过程。这确保了当真实用户请求到达时，他们需要的内容已经在缓存中可用，从而避免了冷启动时的延迟。

内容无效化

内容无效化是指在内容更新或变得不再有效时，有选择性地移除或更新缓存中的这些内容。这可以通过设置适当的缓存过期策略或使用 API 调用来手动清除特定的缓存项来实现。

智能缓存层

根据内容的类型和访问频率，智能缓存层可以自动决定将内容缓存在哪个层级（内存、SSD、HDD 等）。对于经常访问的热门内容，应优先存储在速度更快的存储中。

缓存调试与优化

缓存命中率优化

• 精细化缓存键：调整 proxy_cache_key，确保相似请求共享缓存，不同请求分开缓存，提高缓存利用率。
• 使用缓存分级：对不同类型或大小的内容使用不同的缓存策略，可以更细致地控制缓存行为，提高命中率。

动态与静态内容的处理

• 使用微缓存：对动态内容使用极短时间的缓存（例如 1 秒），可以在不牺牲实时性的情况下减轻后端负载。
• 内容分发网络（CDN）：将静态内容部署到 CDN 可以加速全球访问速度，并减轻主服务器的压力。

安全性和隔离

• 用户敏感数据处理：确保不会将含有用户敏感信息的动态内容错误地缓存。
• 缓存隔离：为不同的应用或网站配置独立的缓存区域，避免缓存污染和数据泄露。

资源优化

• 最小化资源：在服务器端压缩和最小化 CSS、JS 等文件，可以减少传输的数据量。
• 有效的图片格式：使用 WebP 等现代图片格式替代传统格式，可以在不牺牲质量的前提下大幅减少图片大小。

监控和调试

通过分析 Nginx 的访问和错误日志，可以获取关于缓存行为的宝贵信息。

log_format cache '*** $remote_addr - $upstream_cache_status [$time_local] '
                 '"$request" $status $body_bytes_sent '
                 '"$http_referer" "$http_user_agent"';
access_log /var/log/nginx/access.log cache;

• 缓存状态码： Nginx 在响应头中提供了 X-Cache-Status，表示缓存命中、未命中或过期等状态。

配置示例

http {
    # 开启gzip压缩
    gzip on;
    # 设置最小压缩长度为1000字节，小于此大小的文件不进行压缩
    gzip_min_length 1000;
    # 设置gzip缓冲区大小
    gzip_buffers 4 32k;
    # 指定哪些MIME类型的响应应该被压缩
    gzip_types text/plain application/x-javascript text/css application/xml;
    # 当浏览器支持gzip压缩时，添加Vary: Accept-Encoding头
    gzip_vary on;
    # 设置gzip压缩级别，范围是1（最快）到9（最优），推荐6作为一个平衡点
    gzip_comp_level 6;

    # 设置缓存路径，缓存键区域名，内存大小，缓存最大磁盘空间，缓存过期时间和临时路径使用
    proxy_cache_path /path/to/cache levels=1:2 keys_zone=my_cache:10m max_size=1g inactive=60m use_temp_path=off;

    server {
        listen 80;
        server_name example.com;

        # 静态内容的浏览器缓存配置
        location ~* \.(jpg|jpeg|png|gif|ico|css|js)$ {
            # 设置静态资源的过期时间为30天
            expires 30d;
            # 关闭访问日志记录
            access_log off;
            # 设置Cache-Control头，使浏览器和中间缓存服务器都可以缓存内容
            add_header Cache-Control "public";
        }

        # 动态内容的缓存和浏览器缓存配置
        location / {
            # 代理传递到后端服务器
            proxy_pass http://my_backend;
            # 启用缓存区域
            proxy_cache my_cache;
            # 对缓存内容进行验证，确保内容是最新的
            proxy_cache_revalidate on;
            # 设置资源在被缓存前需要被请求的最小次数
            proxy_cache_min_uses 3;
            # 当后端服务器错误时，使用过期的缓存内容
            proxy_cache_use_stale error timeout updating http_500 http_502 http_503 http_504;
            # 防止多个相同的请求同时更新缓存
            proxy_cache_lock on;

            # 为动态内容设置Cache-Control头，指示浏览器和代理服务器应该如何缓存内容
            add_header Cache-Control "public, must-revalidate, proxy-revalidate";

            # 启用gzip压缩
            gzip on;
            # 允许对代理的响应进行gzip压缩
            gzip_proxied any;
            # 指定哪些MIME类型的响应应该被压缩
            gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;
        }
    }
}