1
0
wiki/FormalSciences/ComputerScience/ComputerNetwork/5.WebServersNginx/内容缓存.md
2024-10-13 20:52:05 +08:00

435 lines
23 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

---
title: 内容缓存
description: Nginx 内容缓存
keywords:
- Nginx
- 内容缓存
tags:
- Nginx/内容缓存
- 技术/计算机网络
author: 仲平
date: 2024-01-03
---
Nginx作为一种高效的 Web 服务器和反向代理服务,提供了一系列功能以优化和加速内容的交付。其中,内容缓存是其核心功能之一,它能显著提升网站的响应速度和后端服务的效率。
## 缓存基础
### 缓存是什么
缓存是一种存储技术,它保存数据副本以便快速访问。在 Web 环境中,缓存可以是页面、图片、文件等内容,存储在服务器或客户端。当用户再次请求相同的内容时,系统可以直接从缓存中提取,避免了重复的数据检索或计算过程,从而加快了交付速度。
### 缓存能解决的问题
- **减轻服务器负担:** 通过缓存常请求的内容,减少对后端服务器的请求次数。
- **提高响应速度:** 缓存的内容直接从内存或快速存储中提供,比从后端服务器处理和传输要快得多。
- **提升用户体验:** 快速加载的页面和资源提升了用户的浏览体验。
## Nginx 缓存原理
当用户首次请求网站的某个页面时Nginx 会将请求转发到后端服务器(例如你的网站应用)。后端服务器处理请求后,将页面内容等资源返回给 NginxNginx 再将这些内容发送给用户。在这个过程中Nginx 会将收到的内容保存在缓存中。
当另一个用户请求同一个页面时Nginx 会检查缓存。如果找到了之前保存的内容并且内容还没有过期Nginx 就会直接从缓存中取出内容发送给用户,而不是再次请求后端服务器。这样大大减少了处理时间和服务器负载。
Nginx 不是随意缓存所有内容,它通过一套规则来确定哪些内容应该被缓存,哪些不应该。这套规则可以非常灵活,你可以指定根据页面类型、用户的某些行为,甚至特定时间和日期来缓存内容。
缓存的内容并不是永远有效的。有时候网站内容会更新如果用户还是接收到旧的缓存内容那就会出现问题。因此Nginx 允许设置缓存的有效期一旦超过这个期限缓存的内容就会被认为是过时的Nginx 会从后端服务器获取最新的内容,并更新缓存。
```mermaid
sequenceDiagram
participant 用户
participant Nginx
participant 缓存
participant 后端服务器
用户->>Nginx: 发起请求
alt 缓存存在且有效
Nginx->>缓存: 检查请求对应的缓存
缓存->>Nginx: 返回缓存内容
Nginx->>用户: 提供缓存内容
else 缓存不存在或过期
Nginx->>缓存: 检查请求对应的缓存
缓存->>Nginx: 无有效缓存
Nginx->>后端服务器: 转发请求
后端服务器->>Nginx: 处理请求并返回结果
Nginx->>缓存: 保存新的缓存内容
Nginx->>用户: 提供后端服务器内容
end
```
## Nginx 缓存配置
### 1. 配置缓存区域
首先,你需要在 Nginx 配置文件中定义一个或多个缓存区域:
```nginx
http {
proxy_cache_path /path/to/cache levels=1:2 keys_zone=my_cache:10m max_size=1g inactive=60m use_temp_path=off;
}
```
| 配置指令 | 描述 |
| ------------------ | ------------------------------------------------------------ |
| `proxy_cache_path` | 指定缓存的存储路径,定义了缓存文件存放的文件系统路径。 |
| `levels` | 定义缓存目录的层级,用于创建多级目录结构来存储缓存文件。 |
| `keys_zone` | 定义缓存区域的名称和大小,为缓存键和元数据分配内存。 |
| `max_size` | 缓存可以占用的最大磁盘空间,限制缓存目录可以使用的最大空间大小。 |
| `inactive` | 在此时间内未被访问的缓存内容将被删除,用于清理长时间未访问的缓存。 |
| `use_temp_path` | 是否使用临时路径存储缓存内容,控制是否先写入临时文件再移动到缓存路径。 |
### 2. 启用缓存
在适当的位置块中,启用缓存并指定缓存区域:
```nginx
location / {
proxy_cache my_cache;
proxy_pass http://my_backend;
}
```
| 配置指令 | 描述 |
| ------------------------ | ------------------------------------------------------------ |
| `proxy_cache` | 在 location 块中使用,指定该位置的请求应使用哪个缓存区域。 |
| `proxy_cache_key` | 定义如何为请求生成缓存键,通常包含请求的元素如 URL、请求方法等。 |
| `proxy_cache_valid` | 设置不同 HTTP 状态码的响应的缓存有效期。 |
| `proxy_cache_use_stale` | 允许在后端服务器不可用时提供过期的缓存内容。 |
| `proxy_ignore_headers` | 指示 Nginx 忽略后端服务器发送的某些 HTTP 头,常用于控制缓存。 |
| `proxy_cache_lock` | 在处理缓存项时防止对同一个资源的并发请求,只让第一个请求查询后端并缓存,其他请求等待。 |
| `proxy_cache_bypass` | 设置条件,在满足条件时请求将绕过缓存直接转发给后端服务器。 |
| `proxy_no_cache` | 设置条件,在满足条件时不对响应进行缓存。 |
| `proxy_cache_revalidate` | 每次请求都会验证缓存内容的新鲜度,适用于需要高度一致性的场景。 |
| `proxy_cache_min_uses` | 指定一个响应在被缓存前需要被请求的最小次数,适用于控制不经常访问的内容的缓存。 |
| `proxy_cache_methods` | 指定哪些请求方法的响应应该被缓存,默认是 GET 和 HEAD。 |
### 示例配置
```nginx
http {
# 定义缓存存储路径及相关参数
proxy_cache_path /path/to/cache levels=1:2 keys_zone=my_cache:10m max_size=1g inactive=60m use_temp_path=off;
server {
listen 80;
location / {
# 指定使用哪个缓存区域
proxy_cache my_cache;
# 定义缓存键
proxy_cache_key "$scheme$request_method$host$request_uri";
# 设置缓存有效期
proxy_cache_valid 200 302 10m;
proxy_cache_valid 404 1m;
# 使用陈旧的缓存响应
proxy_cache_use_stale error timeout updating http_500 http_502 http_503 http_504;
# 忽略后端的Cache-Control和Expires头
proxy_ignore_headers Cache-Control Expires;
# 防止对同一个资源的并发请求
proxy_cache_lock on;
# 当特定条件满足时绕过缓存
proxy_cache_bypass $http_cache_control;
# 当特定条件满足时不缓存响应
proxy_no_cache $http_pragma;
# 验证缓存内容的新鲜度
proxy_cache_revalidate on;
# 指定一个响应在被缓存前需要被请求的最小次数
proxy_cache_min_uses 3;
# 指定哪些请求方法的响应应该被缓存
proxy_cache_methods GET HEAD POST;
# 转发请求到后端服务器
proxy_pass http://my_backend;
# 添加自定义头部以监控缓存状态
add_header X-Cache-Status $upstream_cache_status;
}
}
}
```
## 浏览器缓存控制配置
合理的浏览器缓存策略可以减少服务器负载、减少网络延迟、加快页面加载速度,并节省用户的数据使用量。浏览器缓存主要通过 HTTP 响应头来控制,以下是一些最常用的 HTTP 缓存控制头:
- **Cache-Control**:这是最重要的缓存控制头。它允许指定多种指令来控制资源的缓存策略,例如 `max-age`、`no-cache`、`no-store`、`must-revalidate` 等。
- **Expires**:一个日期/时间值,告诉浏览器在这个时间点之前可以直接从缓存读取资源,而不需要去服务器检查。
- **ETag**:资源的唯一标识符。浏览器可以通过发送带有 `If-None-Match` 的请求来检查 ETag判断资源是否已更改。
- **Last-Modified**:表示资源最后修改的日期和时间。浏览器可以通过发送带有 `If-Modified-Since` 的请求来检查资源是否已更改。
### Cache-Control
现代应用倾向于使用 `Cache-Control` 头,因为它提供了更多的灵活性和控制。以下是一些常用的指令:
```nginx
# 应用中不会改变的文件,通常可以再发送响应头前添加积极缓存
location ~* \.(js|css|png|jpg|gif)$ {
add_header Cache-Control public,max-age=31536000;
}
# 禁止缓存
location ~* \.(js|css|png|jpg|gif)$ {
add_header Cache-Control no-store,no-cache,must-revalidate;
}
```
| 配置选项 | 描述 |
| ---------------------------------- | ------------------------------------------------------------ |
| `no-store` | 指示请求或响应中的信息不能被缓存到任何地方。此设置适用于包含敏感信息的数据。 |
| `no-cache` | 缓存不应该存储未经验证的响应。即使有缓存,每次请求都需要向源服务器进行验证。 |
| `public` | 表示任何响应都可以被缓存,即使是通常不可缓存的内容,如经过身份验证的响应。 |
| `private` | 响应是为单个用户私有的,不能由共享缓存存储,但可以由私有缓存存储。比如,用户的个人信息页。 |
| `max-age=<seconds>` | 指定资源可以在本地缓存存储并被重用的最长时间(以秒为单位)。 |
| `s-maxage=<seconds>` | 类似于 `max-age`,但它仅适用于共享缓存(如 CDN。覆盖 `max-age` 或者 `Expires` 头,但仅在共享缓存中。 |
| `must-revalidate` | 一旦资源过期(即超过 `max-age`),在使用旧的资源之前,缓存必须去服务器验证。对于某些需要保持最新的资源很有用。 |
| `proxy-revalidate` | 与 `must-revalidate` 类似,但它仅适用于共享缓存。 |
| `immutable` | 指示响应体不会随时间改变。在资源的缓存有效期内,浏览器不需要为了验证资源的新鲜度而发送条件请求。 |
| `stale-while-revalidate=<seconds>` | 表示客户端愿意接受超过 `max-age` 时间的响应,同时在后台异步检查新鲜度。 |
| `stale-if-error=<seconds>` | 表示如果源服务器在指定的时间内出错(如服务器宕机),客户端愿意接受一个过期的响应。 |
### Expires
`Expires` 头是 HTTP/1.0 的遗留特性,但在 HTTP/1.1 中仍被广泛支持和使用。它用于指定资源的过期时间,告诉浏览器在这个时间点之前可以直接从本地缓存获取资源,而不必去服务器再次请求。一旦过了这个时间,浏览器会向服务器发送请求以检查资源是否有更新。**尽管 `Cache-Control``max-age` 指令通常优先于 `Expires`,但在一些老旧的浏览器中,可能仍然需要设置此项。**
```nginx
server {
listen 80;
location /images/ {
root /path/to/images;
expires max;
}
location /css/ {
root /path/to/css;
expires 30d;
}
location /js/ {
root /path/to/js;
expires 24h;
}
}
```
| 时间单位 | 描述 | 示例 | 说明 |
| -------- | ---- | -------------- | -------------------------------------------------- |
| `max` | 未来 | `expires max;` | 通常被解释为将资源的过期时间设置远在未来的时间点。 |
| `y` | 年 | `expires 1y;` | 表示资源应在一年后过期。 |
| `M` | 月 | `expires 1M;` | 表示资源应在一个月后过期。 |
| `w` | 周 | `expires 1w;` | 表示资源应在一周后过期。 |
| `d` | 天 | `expires 30d;` | 表示资源应在 30 天后过期。 |
| `h` | 小时 | `expires 24h;` | 表示资源应在 24 小时后过期。 |
| `m` | 分钟 | `expires 45m;` | 表示资源应在 45 分钟后过期。 |
| `s` | 秒 | `expires 30s;` | 表示资源应在 30 秒后过期。 |
### Last-Modified
`Last-Modified` 头表示资源最后被修改的时间。它是一个日期/时间戳告诉浏览器资源最后一次更改的时间。Nginx 默认会为静态文件发送 `Last-Modified` 头。如果你的资源是静态文件比如图片、CSS 或 JavaScript 文件,通常你不需要做任何特别的配置。
当浏览器第一次请求一个资源时,服务器响应中会包含 `Last-Modified` 头。浏览器在下次请求相同资源时,会发送一个 `If-Modified-Since` 头,其值为之前收到的 `Last-Modified` 日期。
如果服务器发现资源自那以后没有被修改,它会返回一个 304 Not Modified 状态码,而不是资源内容,告诉浏览器可以安全地使用缓存的版本。
但是,如果你需要确保这个行为是打开的,可以确保 `http` 块中有以下指令:
```nginx
http {
server {
location / {
root /path/to/your/files;
add_header Last-Modified $date_gmt;
}
}
}
```
### ETag
`ETag`(实体标签)提供了一种资源的唯一标识符,通常是一个散列值或版本号。与 `Last-Modified` 相比,它可以更精确地判断资源是否变化。当浏览器第一次请求一个资源时,如果服务器配置了 ETag响应中会包含一个 ETag 头。浏览器在后续请求相同资源时会发送一个 `If-None-Match` 头,其值为之前收到的 ETag 值。
如果服务器发现 ETag 匹配(即资源未更改),它会返回一个 304 Not Modified 状态码,告诉浏览器可以安全地使用缓存的版本。
Nginx 不会默认发送 ETag 头,你需要使用第三方模块或自定义配置。以下是一个示例配置,使用 Nginx 的 `ngx_http_headers_module` 模块来添加 ETag。
```nginx
http {
server {
location / {
root /path/to/your/files;
etag on; # 开启ETag
}
}
}
```
## Gzip 压缩配置
`gzip` 是一种数据格式和文件压缩程序,使用 Lempel-Ziv 编码LZ77和 32 位循环冗余校验。当 Web 服务器启用了 `gzip` 压缩时,它会在发送文件到浏览器之前先将其压缩。支持 `gzip` 的浏览器会在 HTTP 请求头中包含 `Accept-Encoding: gzip`,表示它可以接收 `gzip` 压缩的内容。服务器响应这些请求时,会添加 `Content-Encoding: gzip` 头部,并发送压缩后的内容。
- **减少文件大小**:通常可以减少 70% 左右的文件大小,从而减少网络传输时间。
- **提高加载速度**:较小的文件可以更快地下载和解析,提升用户体验。
- **节省带宽资源**:对于网站运营者来说,减少数据传输可以降低带宽成本。
### Nginx 中配置 Gzip 压缩
在 Nginx 中启用 `gzip` 压缩相对简单。以下是一些基本的配置指令:
```nginx
http {
gzip on;
gzip_buffers 16 8k;
gzip_comp_level 5;
gzip_min_length 256;
gzip_http_version 1.1;
gzip_proxied any;
gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;
gzip_vary on;
}
```
| 指令 | 描述 | 默认值/示例 |
| ------------------- | ------------------------------------------------------------ | ------------ |
| `gzip` | 启用或禁用 gzip 压缩。 | `on` / `off` |
| `gzip_buffers` | 设置用于压缩的缓冲区数量和大小。 | `16 8k` |
| `gzip_comp_level` | 设置 gzip 压缩级别,范围是 1最快到 9最优。较高的压缩级别可以提供更好的压缩率但会消耗更多 CPU 资源。 | `1` |
| `gzip_disable` | 禁用 gzip 压缩的浏览器正则匹配。用于兼容不支持 gzip 的老旧浏览器。 | `"msie6"` |
| `gzip_min_length` | 设置触发压缩的最小响应体大小。较小的文件可能不值得压缩。 | `20` 字节 |
| `gzip_http_version` | 设置启用压缩的最低 HTTP 协议版本。 | `1.1` |
| `gzip_proxied` | 设置在何种代理请求情况下应用压缩。 | `off` |
| `gzip_types` | 设置哪些 MIME 类型应该被压缩。通常包括文本文件如 HTML, CSS, JavaScript 等。 | `text/html` |
| `gzip_vary` | 启用或禁用根据请求头中的 `Accept-Encoding` 发送 `Vary: Accept-Encoding` 响应头。 | `off` |
### Gzip 压缩适合哪些内容
- **文本文件**HTML、CSS、JavaScript、XML 和 JSON 等文本文件通常能获得很好的压缩效果。
- **API 响应**:对 JSON 或 XML 格式的 API 响应进行压缩,能加快移动应用或 Web 服务的响应速度。
### 注意事项
- **不要压缩已经压缩过的文件**:对于 JPEG、PNG、MP3 和 PDF 等已经压缩过的文件,再次压缩不仅效果不佳,甚至可能使文件变大。
- **考虑 CPU 资源**:虽然 `gzip` 压缩可以减少带宽使用,但它会增加服务器端的 CPU 负担。在负载较高的服务器上,应合理设置压缩级别。
- **客户端支持**:几乎所有现代浏览器都支持 `gzip`,但在配置服务器时仍需考虑兼容性问题。
## 高级缓存策略
### 缓存预热
缓存预热是指在缓存启动后,系统自动访问特定的 URL 列表以填充缓存的过程。这确保了当真实用户请求到达时,他们需要的内容已经在缓存中可用,从而避免了冷启动时的延迟。
### 内容无效化
内容无效化是指在内容更新或变得不再有效时,有选择性地移除或更新缓存中的这些内容。这可以通过设置适当的缓存过期策略或使用 API 调用来手动清除特定的缓存项来实现。
### 智能缓存层
根据内容的类型和访问频率智能缓存层可以自动决定将内容缓存在哪个层级内存、SSD、HDD 等)。对于经常访问的热门内容,应优先存储在速度更快的存储中。
## 缓存调试与优化
### 缓存命中率优化
- **精细化缓存键**:调整 `proxy_cache_key`,确保相似请求共享缓存,不同请求分开缓存,提高缓存利用率。
- **使用缓存分级**:对不同类型或大小的内容使用不同的缓存策略,可以更细致地控制缓存行为,提高命中率。
### 动态与静态内容的处理
- **使用微缓存**:对动态内容使用极短时间的缓存(例如 1 秒),可以在不牺牲实时性的情况下减轻后端负载。
- **内容分发网络CDN**:将静态内容部署到 CDN 可以加速全球访问速度,并减轻主服务器的压力。
### 安全性和隔离
- **用户敏感数据处理**:确保不会将含有用户敏感信息的动态内容错误地缓存。
- **缓存隔离**:为不同的应用或网站配置独立的缓存区域,避免缓存污染和数据泄露。
### 资源优化
- **最小化资源**:在服务器端压缩和最小化 CSS、JS 等文件,可以减少传输的数据量。
- **有效的图片格式**:使用 WebP 等现代图片格式替代传统格式,可以在不牺牲质量的前提下大幅减少图片大小。
### 监控和调试
通过分析 Nginx 的访问和错误日志,可以获取关于缓存行为的宝贵信息。
```nginx
log_format cache '*** $remote_addr - $upstream_cache_status [$time_local] '
'"$request" $status $body_bytes_sent '
'"$http_referer" "$http_user_agent"';
access_log /var/log/nginx/access.log cache;
```
- **缓存状态码:** Nginx 在响应头中提供了 `X-Cache-Status`,表示缓存命中、未命中或过期等状态。
## 配置示例
```nginx
http {
# 开启gzip压缩
gzip on;
# 设置最小压缩长度为1000字节小于此大小的文件不进行压缩
gzip_min_length 1000;
# 设置gzip缓冲区大小
gzip_buffers 4 32k;
# 指定哪些MIME类型的响应应该被压缩
gzip_types text/plain application/x-javascript text/css application/xml;
# 当浏览器支持gzip压缩时添加Vary: Accept-Encoding头
gzip_vary on;
# 设置gzip压缩级别范围是1最快到9最优推荐6作为一个平衡点
gzip_comp_level 6;
# 设置缓存路径,缓存键区域名,内存大小,缓存最大磁盘空间,缓存过期时间和临时路径使用
proxy_cache_path /path/to/cache levels=1:2 keys_zone=my_cache:10m max_size=1g inactive=60m use_temp_path=off;
server {
listen 80;
server_name example.com;
# 静态内容的浏览器缓存配置
location ~* \.(jpg|jpeg|png|gif|ico|css|js)$ {
# 设置静态资源的过期时间为30天
expires 30d;
# 关闭访问日志记录
access_log off;
# 设置Cache-Control头使浏览器和中间缓存服务器都可以缓存内容
add_header Cache-Control "public";
}
# 动态内容的缓存和浏览器缓存配置
location / {
# 代理传递到后端服务器
proxy_pass http://my_backend;
# 启用缓存区域
proxy_cache my_cache;
# 对缓存内容进行验证,确保内容是最新的
proxy_cache_revalidate on;
# 设置资源在被缓存前需要被请求的最小次数
proxy_cache_min_uses 3;
# 当后端服务器错误时,使用过期的缓存内容
proxy_cache_use_stale error timeout updating http_500 http_502 http_503 http_504;
# 防止多个相同的请求同时更新缓存
proxy_cache_lock on;
# 为动态内容设置Cache-Control头指示浏览器和代理服务器应该如何缓存内容
add_header Cache-Control "public, must-revalidate, proxy-revalidate";
# 启用gzip压缩
gzip on;
# 允许对代理的响应进行gzip压缩
gzip_proxied any;
# 指定哪些MIME类型的响应应该被压缩
gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;
}
}
}
```