zhouzhongping/wiki
1
0
Fork 0
Code

Compare commits

base: zhouzhongping:7c09e120d5dd809f0708124fc48a0f8a84f81905
Branches Tags
zhouzhongping:main
zhouzhongping:dev
zhouzhongping:quartz
zhouzhongping:phone
zhouzhongping:tmp-virt
zhouzhongping:30.0.0
zhouzhongping:20.0.0
..
compare: zhouzhongping:68623d6ffb52e26e5e9fe2d7c13995fda0fd1ee4
Branches Tags
zhouzhongping:dev
zhouzhongping:quartz
zhouzhongping:main
zhouzhongping:phone
zhouzhongping:tmp-virt
zhouzhongping:30.0.0
zhouzhongping:20.0.0

No commits in common. "7c09e120d5dd809f0708124fc48a0f8a84f81905" and "68623d6ffb52e26e5e9fe2d7c13995fda0fd1ee4" have entirely different histories.
7c09e120d5 ... 68623d6ffb

4 changed files with 183 additions and 2278 deletions
Show Stats Expand all files Collapse all files

871
Tech/operating-system/Virtualization/2.KVM虚拟化/4. KVM 网络配置.md
View File

@ -1,860 +1,139 @@
---
title: 4. KVM 网络配置
description: 本文详细介绍了KVM虚拟化环境中的网络配置，包括NAT、桥接、内部和仅主机网络的设置方法，以及如何使用NetworkManager和virsh工具进行网络管理、监控和故障排查。
title: 标题
description: 描述
keywords:
- KVM
- 网络配置
- NAT
- 桥接网络
- 内部网络
- 仅主机网络
- 故障排查
- 关键字
tags:
- 技术/操作系统
- 虚拟化/KVM
- 标签
author: 仲平
date: 2024-07-16
---
## KVM 网络基础
KVM（Kernel-based Virtual Machine）网络是指在 KVM 虚拟化环境中，为虚拟机提供的网络连接和通信机制。通过 KVM 网络，虚拟机可以与其他虚拟机、宿主机以及外部网络进行通信。
### KVM 网络的基本概念
| **网络类型** | **描述** | **优点** | **缺点** | **适用场景** |
| ------------ | ------------------------------------------------------------ | -------------------------------------------- | ------------------------------------------ | -------------------------------------- |
| NAT 网络 | 虚拟机通过宿主机的网络接口与外部通信，IP 地址被隐藏。 | 配置简单，适合需要外部通信的虚拟机。 | 虚拟机间通信需额外配置，网络性能可能受限。 | 适合不需外部访问但需访问外网的虚拟机。 |
| 桥接网络 | 虚拟机直接连接物理网络接口，拥有独立 IP 地址，可直接与其他设备通信。 | 与物理网络无缝集成，适合需外部访问的虚拟机。 | 配置较复杂，需适当配置物理网络接口。 | 适合需要直接对外提供服务的虚拟机。 |
| 内部网络 | 仅允许虚拟机之间的通信，不与宿主机或外部网络通信。 | 提供隔离网络，适合测试和开发。 | 虚拟机无法与外部网络通信。 | 适合需要隔离的测试和开发环境。 |
| 仅主机网络 | 允许虚拟机与宿主机通信，但不与外部网络通信。 | 简单隔离，适合虚拟机与宿主机通信。 | 虚拟机无法与外部网络通信。 | 适合虚拟机与宿主机需要频繁交互的场景。 |
### 虚拟网络的类型
- NAT 网络
- 桥接网络
- 内部网络
- 仅主机网络
## KVM 网络安装与准备
你**可以选择使用任意一款网络管理工具**，这里**推荐使用`NetworkManager`**来管理网络桥接。
### 安装必要的软件包
### 安装 NetworkManager
**非 Fedora/RHEL 系列，需要手动安装 NetworkManager**，并配置 NetworkManager 接管网络。
```shell
# Debian/Ubuntu 系列
sudo apt-get update
sudo apt-get install -y network-manager
```
- `libvirt`
- `bridge-utils`
### 配置系统网络支持
1. **启用 NetworkManager**
- 启用并配置网络管理器
- 确认内核模块加载情况
```shell
# 启动并启用 NetworkManager 服务
sudo systemctl start NetworkManager
sudo systemctl enable NetworkManager
```
## 配置 NAT 网络
2. **创建并配置网络桥接**
### 默认 NAT 网络配置
使用`nmcli`工具创建一个新的桥接接口。例如，创建名为`br0`的桥接接口并将现有的以太网接口（假设为`eth0`）添加到桥接中。
- 启用和配置默认网络
- 验证 NAT 网络的连通性
```shell
sudo nmcli connection add type bridge autoconnect yes con-name br0 ifname br0
sudo nmcli connection add type bridge-slave autoconnect yes con-name br0-slave ifname eth0 master br0
sudo nmcli connection modify br0 ipv4.method auto
sudo nmcli connection up br0
```
### 创建自定义 NAT 网络
3. **确认桥接网络配置**
- 使用 `virsh` 创建和配置 NAT 网络
- 配置 DHCP 和 IP 地址范围
使用以下命令确认桥接网络是否正确配置。
## 配置桥接网络
```shell
nmcli connection show
ip a
```
### 创建桥接网络接口
4. **确认内核模块加载情况**
- 配置网桥文件
- 绑定物理接口到网桥
确保KVM相关的内核模块已加载：
### 配置虚拟机使用桥接网络
```shell
lsmod | grep kvm
```
- 使用 `virt-manager` 配置桥接网络
- 使用 `virsh` 配置桥接网络
### 示例配置文件
## 配置内部网络
对于`NetworkManager`的配置文件（一般位于`/etc/NetworkManager/system-connections/`目录下），你可以手动编辑这些文件进行更复杂的配置。例如，编辑`br0`的配置文件：
### 创建内部网络
```ini
[connection]
id=br0
type=bridge
interface-name=br0
autoconnect=true
- 使用 `virsh` 创建内部网络
- 配置网络名称和范围
[ipv4]
method=auto
### 配置虚拟机使用内部网络
[ipv6]
method=auto
```
- 连接虚拟机到内部网络
- 验证虚拟机间的连通性
### 其他注意事项
## 配置仅主机网络
1. **防火墙配置**：确保你的防火墙规则允许桥接网络的流量。
2. **验证桥接网络**：创建一个虚拟机并将其连接到`br0`桥接网络，验证网络连接是否正常。
### 创建仅主机网络
## NAT 网络
- 使用 `virsh` 创建仅主机网络
- 配置仅主机网络的名称和范围
**KVM 默认会创建一个名为 `default` 的 NAT 网络。**这个网络通常在安装 libvirt 时自动创建和启用。
### 配置虚拟机使用仅主机网络
1. **检查并启用默认网络**：
- 连接虚拟机到仅主机网络
- 验证主机与虚拟机间的连通性
检查 `default` 网络是否已经存在并启用：
## 配置高级网络功能
```shell
sudo virsh net-list --all
```
如果默认网络未启用，可以通过以下命令启用：
### 配置 VLAN
```shell
sudo virsh net-start default
sudo virsh net-autostart default
```
2. **查看默认网络配置**：
查看默认网络的详细配置：
```
sudo virsh net-dumpxml default
```
典型的默认网络配置如下：
```xml
<network>
<name>default</name>
<uuid>……</uuid>
<forward mode='nat'>
<nat>
<port start='1024' end='65535'/>
</nat>
</forward>
<bridge name='virbr0' stp='on' delay='0'/>
<mac address='52:54:00:d3:9b:fb'/>
<ip address='192.168.122.1' netmask='255.255.255.0'>
<dhcp>
<range start='192.168.122.2' end='192.168.122.254'/>
</dhcp>
</ip>
</network>
```
3. **创建虚拟机**：
创建一台连接到 `default` 网络的虚拟机。可以使用 `virt-install` 命令来完成：
```shell
sudo virt-install \
--name myvm \
--ram 4096 \
--disk path=/var/lib/libvirt/images/myvm_storage.qcow2,size=32 \
--vcpus 2 \
--os-type linux \
--os-variant ubuntu20.04 \
--network network=default \
--graphics none \
--console pty,target_type=serial \
--location 'https://mirrors.tuna.tsinghua.edu.cn/ubuntu/dists/focal/main/installer-amd64/' \
--extra-args 'console=ttyS0,115200n8 serial'
```
4. **验证虚拟机网络连接**：
登录到虚拟机，并验证其网络连接：
```shell
ping -c 4 8.8.8.8
```
检查虚拟机是否能够获得 IP 地址：
```shell
ip a
```
### `virsh` 创建自定义 NAT 网络
通过 `virsh` 命令创建自定义 NAT 网络，并配置 DHCP 和 IP 地址范围。
1. **创建网络配置文件**：
创建一个自定义网络配置文件（如 `custom-net.xml`）：
```xml
<network>
<name>custom-net</name>
<forward mode='nat'/>
<bridge name='virbr1' stp='on' delay='0'/>
<mac address='52:54:00:12:34:56'/>
<ip address='192.168.100.1' netmask='255.255.255.0'>
<dhcp>
<range start='192.168.100.2' end='192.168.100.254'/>
</dhcp>
</ip>
</network>
```
2. **定义并启动网络**：
使用 `virsh` 命令定义并启动该网络：
```shell
sudo virsh net-define custom-net.xml
sudo virsh net-start custom-net
sudo virsh net-autostart custom-net
```
3. **查看自定义网络状态**：
确认网络已启用：
```shell
sudo virsh net-list --all
```
在上面的 `custom-net.xml` 文件中，已经定义了 DHCP 范围：
```xml
<ip address='192.168.100.1' netmask='255.255.255.0'>
<dhcp>
<range start='192.168.100.2' end='192.168.100.254'/>
</dhcp>
</ip>
```
此配置表示：
- **网关地址**：192.168.100.1
- **DHCP 范围**：192.168.100.2 到 192.168.100.254
### `NetworkManager` 创建自定义 NAT 网络
1. **确保 NetworkManager 已启用**：
```shell
sudo systemctl enable --now NetworkManager
```
2. **创建 NetworkManager 桥接连接**：
编辑 NetworkManager 配置文件，创建一个桥接网络（例如 `/etc/NetworkManager/system-connections/bridge-br1.nmconnection`）：
```ini
[connection]
id=bridge-br1
type=bridge
autoconnect=true
[bridge]
stp=true
[ipv4]
method=manual
address1=192.168.100.1/24
[ipv6]
method=ignore
```
3. **重启 NetworkManager 服务**：
```shell
sudo systemctl restart NetworkManager
```
4. **验证桥接网络**：
确认新的桥接网络已创建并启用：
```shell
nmcli connection show
```
## 桥接网络
使用 NetworkManager 的 `nmcli` 命令来创建和配置桥接网络接口，并将物理接口绑定到网桥。
1. **创建桥接接口**：
使用 `nmcli` 命令创建一个新的桥接接口：
```shell
sudo nmcli connection add type bridge ifname br0
```
2. **配置桥接接口的 IP 地址**：
为桥接接口配置 IP 地址：
```shell
sudo nmcli connection modify br0 ipv4.addresses 192.168.1.100/24 ipv4.method manual
sudo nmcli connection modify br0 ipv4.gateway 192.168.1.1
sudo nmcli connection modify br0 ipv4.dns "8.8.8.8,8.8.4.4"
sudo nmcli connection modify br0 connection.autoconnect yes
```
3. **将物理接口绑定到桥接接口**：
假设物理接口为 `eth0`，使用 `nmcli` 将其绑定到 `br0`：
```shell
sudo nmcli connection add type ethernet ifname eth0 master br0
```
4. **启用桥接接口**：
启用桥接接口 `br0` 和物理接口 `eth0`：
```shell
sudo nmcli connection up br0
sudo nmcli connection up eth0
```
5. **编辑虚拟机的 XML 配置文件**：
假设虚拟机名称为 `testvm`，使用以下命令编辑其 XML 配置文件：
```shell
sudo virsh edit testvm
```
6. **添加桥接网络接口配置**：
在 `<devices>` 部分中添加以下内容，将 `br0` 作为桥接接口：
```xml
<interface type='bridge'>
<mac address='52:54:00:12:34:56'/>
<source bridge='br0'/>
<model type='virtio'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>
</interface>
```
7. **保存并退出**：
保存配置文件并退出编辑器。
8. **重启虚拟机**：
重启虚拟机使新的网络配置生效：
```shell
sudo virsh shutdown testvm
sudo virsh start testvm
```
## 内部网络
内部网络允许虚拟机之间进行通信，而无需通过外部网络。这种网络模式适用于需要隔离的测试环境或需要内部通信的应用。
1. **创建内部网络 XML 配置文件**
首先，创建一个 XML 文件（如 `internal-net.xml`），定义内部网络的配置：
```xml
<network>
<name>internal-net</name>
<forward mode='none'/>
<bridge name='virbr1' stp='on' delay='0'/>
<ip address='192.168.200.1' netmask='255.255.255.0'>
<dhcp>
<range start='192.168.200.2' end='192.168.200.254'/>
</dhcp>
</ip>
</network>
```
在上面的 XML 文件中，已定义网络名称为 `internal-net`，IP 地址范围为 `192.168.200.2` 到 `192.168.200.254`。
2. **定义并启动网络**
使用 `virsh` 命令定义并启动内部网络：
```shell
sudo virsh net-define internal-net.xml
sudo virsh net-start internal-net
sudo virsh net-autostart internal-net
```
3. 编辑虚拟机的 XML 配置文件：
```
sudo virsh edit <vm_name>
```
4. 在 `<devices>`部分中添加以下内容，将 `internal-net`作为网络接口：
```xml
<interface type='network'>
<mac address='52:54:00:12:34:56'/>
<source network='internal-net'/>
<model type='virtio'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>
</interface>
```
5. 保存并退出编辑器。
6. 重启虚拟机使新的网络配置生效：
```shell
sudo virsh shutdown <vm_name>
sudo virsh start <vm_name>
```
## 仅主机网络
仅主机网络（Host-only Network）允许虚拟机与宿主机通信，但不允许虚拟机与外部网络通信。这种网络模式适用于需要虚拟机与宿主机进行隔离通信的场景。
1. **创建仅主机网络 XML 配置文件**
创建一个 XML 文件（如 `host-only-net.xml`），定义仅主机网络的配置：
```xml
<network>
<name>host-only-net</name>
<forward mode='none'/>
<bridge name='virbr2' stp='on' delay='0'/>
<ip address='192.168.150.1' netmask='255.255.255.0'>
<dhcp>
<range start='192.168.150.2' end='192.168.150.254'/>
</dhcp>
</ip>
</network>
```
在上面的 XML 文件中，已定义网络名称为 `host-only-net`，IP 地址范围为 `192.168.150.2` 到 `192.168.150.254`。
2. **定义并启动网络**
使用 `virsh` 命令定义并启动仅主机网络：
```xml
sudo virsh net-define host-only-net.xml
sudo virsh net-start host-only-net
sudo virsh net-autostart host-only-net
```
3. 编辑虚拟机的 XML 配置文件：
```shell
sudo virsh edit <vm_name>
```
4. 在 `<devices>`部分中添加以下内容，将 `host-only-net` 作为网络接口：
```xml
<interface type='network'>
<mac address='52:54:00:12:34:56'/>
<source network='host-only-net'/>
<model type='virtio'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>
</interface>
```
5. 保存并退出编辑器。
6. 重启虚拟机使新的网络配置生效：
```xml
sudo virsh shutdown <vm_name>
sudo virsh start <vm_name>
```
## 高级网络功能
### VLAN 配置
使用 NetworkManager 和 `nmcli` 命令创建 VLAN 网络。
1. **创建 VLAN 接口**：
假设物理接口为 `eth0`，VLAN ID 为 100，VLAN 接口命名为 `eth0.100`：
```shell
sudo nmcli connection add type vlan con-name vlan100 dev eth0 id 100
```
2. **配置 VLAN 接口 IP 地址**：
为 VLAN 接口配置 IP 地址：
```shell
sudo nmcli connection modify vlan100 ipv4.addresses 192.168.100.1/24 ipv4.method manual
sudo nmcli connection modify vlan100 ipv4.gateway 192.168.100.254
sudo nmcli connection modify vlan100 ipv4.dns "8.8.8.8,8.8.4.4"
sudo nmcli connection up vlan100
```
3. **使用 `virsh` 配置 VLAN 网络**
1. 编辑虚拟机的 XML 配置文件：
```shell
sudo virsh edit <vm_name>
```
2. 在 `<devices>`部分中添加以下内容，将 `vlan100`作为网络接口：
```xml
<interface type='network'>
<mac address='52:54:00:12:34:56'/>
<source network='vlan100'/>
<model type='virtio'/>
<vlan>
<tag id='100'/>
</vlan>
<address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>
</interface>
```
3. 保存并退出编辑器。
4. 重启虚拟机使新的网络配置生效：
```bash
sudo virsh shutdown <vm_name>
sudo virsh start <vm_name>
```
- 创建 VLAN 网络
- 配置虚拟机使用 VLAN 网络
### 配置虚拟机的多网卡
1. 编辑虚拟机的 XML 配置文件：
```shell
sudo virsh edit <vm_name>
```
2. 在 `<devices>`部分中添加多个 `<interface>`元素，每个代表一个网络接口：
```xml
<interface type='network'>
<mac address='52:54:00:12:34:56'/>
<source network='default'/>
<model type='virtio'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>
</interface>
<interface type='network'>
<mac address='52:54:00:12:34:57'/>
<source network='vlan100'/>
<model type='virtio'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
</interface>
```
3. 保存并退出编辑器。
4. 重启虚拟机使新的网络配置生效：
```shell
sudo virsh shutdown <vm_name>
sudo virsh start <vm_name>
```
- 添加多个网卡到虚拟机
- 配置不同网卡的网络类型
### 配置网络带宽限制
1. 编辑虚拟机的 XML 配置文件：
```shell
sudo virsh edit <vm_name>
```
2. 在 `<interface>` 元素中添加 `<bandwidth>` 元素，设置带宽限制参数，例如：
```xml
<interface type='network'>
<mac address='52:54:00:12:34:56'/>
<source network='default'/>
<model type='virtio'/>
<bandwidth>
<inbound average='1000' peak='2000' burst='512'/>
<outbound average='1000' peak='2000' burst='512'/>
</bandwidth>
<address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>
</interface>
```
以上配置将网络带宽限制为入站和出站各 1000 Kbps 平均速率，2000 Kbps 峰值速率，512 KB 突发流量。
3. 保存并退出编辑器。
4. 重启虚拟机使新的网络配置生效：
```shell
sudo virsh shutdown <vm_name>
sudo virsh start <vm_name>
```
- 在宿主机和虚拟机上安装 `iperf`：
```shell
sudo apt install iperf3 # Ubuntu
sudo yum install iperf3 # CentOS/RHEL
```
- 在虚拟机上启动 `iperf` 服务端：
```shell
iperf3 -s
```
- 在宿主机上运行 `iperf` 客户端进行带宽测试：
```shell
iperf3 -c <vm_ip_address>
```
- 检查测试结果，验证带宽限制是否生效。
通过以上步骤使用 NetworkManager 和 `nmcli` 命令配置 VLAN 网络、为虚拟机添加多个网卡，并使用 `virsh` 配置网络带宽限制。同时，可以通过 `iperf` 工具验证网络带宽限制的效果。
- 使用 `virsh` 配置带宽限制
- 验证网络带宽限制效果
## 管理和监控虚拟网络
### `virsh` 命令管理网络
### 使用 `virsh` 命令管理网络
| 命令 | 描述 |
| ------------------------------------------------------ | ----------------------- |
| `virsh net-list --all` | 列出所有虚拟网络 |
| `virsh net-info <network>` | 显示虚拟网络的信息 |
| `virsh net-dumpxml <network>` | 显示虚拟网络的 XML 配置 |
| `virsh net-create <network.xml>` | 创建虚拟网络 |
| `virsh net-destroy <network>` | 销毁虚拟网络 |
| `virsh net-start <network>` | 启动虚拟网络 |
| `virsh net-autostart <network>` | 设置虚拟网络开机自启 |
| `virsh net-undefine <network>` | 取消定义虚拟网络 |
| `virsh net-edit <network>` | 编辑虚拟网络的 XML 配置 |
| `virsh net-update <network> <command> <section> <xml>` | 更新虚拟网络 |
| `virsh net-dhcp-leases <network>` | 列出网络的 DHCP 租约 |
- 列出网络和查看网络详情
- 启动和停止虚拟网络
### 使用 `virt-manager` 管理网络
- 图形化界面查看和管理网络
- 创建和删除虚拟网络
### 监控网络性能
#### 使用 `iftop` 和 `vnstat` 等工具
1. **安装 `iftop` 和 `vnstat`**
```shell
# 在 Ubuntu 上
sudo apt install iftop vnstat
# 在 CentOS/RHEL 上
sudo yum install iftop vnstat
```
2. **使用 `iftop` 监控实时网络流量**：
```shell
sudo iftop -i <network_interface>
```
`iftop` 会显示实时的网络流量，包括发送和接收数据的主机 IP 和带宽使用情况。
3. **使用 `vnstat` 监控网络流量**：
初始化 `vnstat`数据库：
```shell
sudo vnstat -u -i <network_interface>
```
- 查看实时流量：
```shell
sudo vnstat -l
```
- 查看流量统计：
```shell
sudo vnstat
```
- 查看详细流量统计：
```shell
sudo vnstat -d # 查看每日流量统计
sudo vnstat -m # 查看每月流量统计
sudo vnstat -t # 查看每小时流量统计
```
#### 分析网络流量和性能
1. **分析流量数据**：
- 使用 `iftop` 和 `vnstat` 收集的流量数据，可以帮助识别网络瓶颈和高流量的主机。
2. **优化网络配置**：
- 根据监控数据，优化虚拟网络的配置，例如调整网络带宽限制、优化网络拓扑结构等。
3. **监控网络接口的性能**：
- 定期检查和分析网络接口的性能，确保虚拟网络的稳定性和高效运行。
## 安全配置
### 配置防火墙规则
#### 使用 `iptables` 配置防火墙
1. **安装 `iptables`**：
```shell
# 在 CentOS/RHEL 上
sudo yum install iptables-services
sudo systemctl enable --now iptables
# 在 Ubuntu 上
sudo apt install iptables
```
2. **配置基本规则**：
允许虚拟机网络通信：
```shell
sudo iptables -A FORWARD -i virbr0 -o eth0 -j ACCEPT
sudo iptables -A FORWARD -i eth0 -o virbr0 -j ACCEPT
```
3. **保存规则**：
```shell
# 在 CentOS/RHEL 上
sudo service iptables save
# 在 Ubuntu 上
sudo iptables-save | sudo tee /etc/iptables/rules.v4
```
#### 配置 `firewalld` 管理规则
1. **安装 `firewalld`**：
```shell
# 在 CentOS/RHEL 上
sudo yum install firewalld
sudo systemctl enable --now firewalld
# 在 Ubuntu 上
sudo apt install firewalld
sudo systemctl enable --now firewalld
```
2. **配置基本规则**：
允许虚拟机网络通信：
```shell
sudo firewall-cmd --zone=public --add-interface=virbr0 --permanent
sudo firewall-cmd --zone=public --add-masquerade --permanent
sudo firewall-cmd --reload
```
### 网络隔离与访问控制
#### 使用 VLAN 实现网络隔离
1. **创建 VLAN 接口**：
使用 `nmcli`创建 VLAN 接口：
```shell
sudo nmcli connection add type vlan con-name vlan100 dev eth0 id 100
sudo nmcli connection modify vlan100 ipv4.addresses 192.168.100.1/24 ipv4.method manual
sudo nmcli connection up vlan100
```
2. **配置虚拟机使用 VLAN**：
使用 `virt-manager` 或 `virsh` 配置虚拟机连接到 VLAN 网络。
#### 配置虚拟机访问控制列表（ACL）
1. **使用 `virsh` 配置 ACL**：
为虚拟机创建网络 ACL 规则：
```shell
sudo virsh nwfilter-define /etc/libvirt/nwfilter/myfilter.xml
```
配置 `myfilter.xml`文件示例：
```xml
<filter name='myfilter' chain='ipv4'>
<uuid>...</uuid>
<rule action='accept' direction='in' priority='500'>
<mac address='52:54:00:12:34:56'/>
</rule>
<rule action='drop' direction='in' priority='1000'/>
</filter>
```
2. **应用 ACL 到虚拟机**：
编辑虚拟机的 XML 配置文件，应用网络过滤器：
```xml
<interface type='network'>
<mac address='52:54:00:12:34:56'/>
<source network='default'/>
<model type='virtio'/>
<filterref filter='myfilter'/>
</interface>
```
重启虚拟机使 ACL 生效。
- 使用 `iftop` 和 `vnstat` 等工具
- 分析网络流量和性能
## 故障排查
### 常见网络问题及解决方法
#### 虚拟机无法连接网络
1. **检查虚拟机的网络配置**：
- 确认虚拟机的网络接口配置正确。
- 使用 `virsh dumpxml <vm_name>` 命令查看虚拟机的 XML 配置，确保 `<interface>` 部分配置正确。
2. **检查虚拟网络状态**：
- 使用 `virsh net-list --all` 命令查看虚拟网络是否启动。
- 如果虚拟网络未启动，使用 `virsh net-start <network_name>` 启动虚拟网络。
3. **检查宿主机的网络配置**：
- 确认宿主机的网络接口和桥接配置正确。
- 使用 `nmcli connection show` 命令查看 NetworkManager 的连接状态，确保相关接口已连接。
4. **检查虚拟机的 IP 地址**：
- 登录到虚拟机，使用 `ip a` 命令查看虚拟机的 IP 地址是否正确分配。
- 如果未分配 IP 地址，检查 DHCP 配置是否正确。
#### 网络性能问题
1. **检查网络带宽限制**：
- 确认是否为虚拟机配置了带宽限制。
- 使用 `virsh edit <vm_name>` 命令检查 `<bandwidth>` 配置。
2. **检查网络流量**：
- 使用 `iftop` 和 `vnstat` 等工具监控网络流量，识别高流量主机和瓶颈。
3. **优化网络配置**：
- 调整虚拟机的网络接口配置，例如使用 Virtio 网络驱动以提高性能。
- 使用桥接网络模式，确保虚拟机与物理网络的高效通信。
- 虚拟机无法连接网络
- 网络性能问题
### 日志查看与分析
#### 查看 `libvirt` 网络日志
- 查看 `libvirt` 网络日志
- 使用系统日志进行排查
1. **libvirt 日志路径**：
- 在 CentOS/RHEL 上，`libvirt` 日志通常位于 `/var/log/libvirt/` 目录下。
- 在 Ubuntu 上，`libvirt` 日志通常位于 `/var/log/libvirt/` 目录下。
2. **查看网络日志**：
- 使用 `tail -f /var/log/libvirt/libvirtd.log` 命令查看实时日志。
- 使用 `grep` 命令筛选关键字以查找特定问题，例如 `grep "network" /var/log/libvirt/libvirtd.log`。
## 安全配置
#### 使用系统日志进行排查
### 配置防火墙规则
1. **查看系统日志**：
- 使用 `journalctl` 命令查看系统日志，例如 `journalctl -u libvirtd` 查看 `libvirtd` 服务的日志。
2. **检查网络相关日志**：
- 使用 `dmesg` 命令查看内核日志，查找与网络相关的错误信息。
- 使用 `iptables` 配置防火墙
- 配置 `firewalld` 管理规则
### 网络隔离与访问控制
- 使用 VLAN 实现网络隔离
- 配置虚拟机访问控制列表（ACL）

680
Tech/operating-system/Virtualization/2.KVM虚拟化/5. KVM 存储管理.md
View File

@ -1,691 +1,101 @@
---
title: 5. KVM 存储管理
description: 本文深入探讨了KVM虚拟化环境中的存储管理，涵盖了磁盘映像文件、逻辑卷管理（LVM）、网络存储（NFS、iSCSI）的配置方法，以及存储池和存储卷的创建与管理。
title: 标题
description: 描述
keywords:
- KVM
- 存储管理
- 磁盘映像文件
- LVM
- 网络存储
- 存储池
- 存储卷
- 关键字
tags:
- 技术/操作系统
- 虚拟化/KVM
- 标签
author: 仲平
date: 2024-07-16
---
## KVM 存储
## KVM 存储基础
### 存储概念
KVM（Kernel-based Virtual Machine）存储是指在 KVM 虚拟化环境中，为虚拟机提供的存储资源。KVM 支持多种存储类型，包括磁盘映像文件、逻辑卷管理（LVM）和网络存储。虚拟机的存储设备可以像物理机的硬盘一样使用，并且可以通过不同的存储格式和协议进行管理和访问。
### KVM 存储的基本概念
### 虚拟机存储类型
#### 磁盘映像文件（qcow2, raw）
- 磁盘映像文件（qcow2, raw 等）
- 逻辑卷管理（LVM）
- 网络存储（NFS, iSCSI）
| 类型 | 特点 | 使用场景 |
| ---------------------------------------- | ------------------------------------------------------------ | ------------------------------------ |
| **qcow2** (QEMU Copy On Write version 2) | 支持动态分配、快照、压缩和加密。磁盘空间在实际使用时才分配，可以节省存储空间。 | 适合需要多快照和动态存储分配的环境。 |
| **raw** | 不支持快照、压缩和加密，直接映射磁盘数据。性能更高，适合需要最大化性能的场景。 | 适合高性能需求和简单存储管理的环境。 |
## KVM 存储安装与准备
#### 其他常见磁盘映像文件类型
### 安装必要的软件包
| 类型 | 特点 | 使用场景 |
| -------------------------------- | ------------------------------------------------------------ | --------------------------------------------- |
| **qcow** (QEMU Copy On Write) | qcow2 的前身，支持动态分配和快照，但性能和功能不及 qcow2。 | 已有 qcow 格式的旧环境。 |
| **vmdk** (Virtual Machine Disk) | 主要用于 VMware 虚拟机，可以兼容 KVM。支持多种虚拟磁盘格式和快照。 | 需要在 KVM 和 VMware 之间进行迁移的环境。 |
| **vdi** (Virtual Disk Image) | 主要用于 Oracle VirtualBox 虚拟机，可以兼容 KVM。支持动态分配和快照。 | 需要在 KVM 和 VirtualBox 之间进行迁移的环境。 |
| **vhd/vhdx** (Virtual Hard Disk) | 主要用于 Microsoft Hyper-V 虚拟机，可以兼容 KVM。vhdx 是 vhd 的改进版本，支持更大容量和更高性能。 | 需要在 KVM 和 Hyper-V 之间进行迁移的环境。 |
#### 逻辑卷管理（LVM）
逻辑卷管理（LVM）提供灵活的存储管理，可以动态调整逻辑卷大小、快照和卷组管理。性能较高，适合企业级应用和需要高性能、灵活存储管理的环境。
1. 创建物理卷和卷组：
```shell
sudo pvcreate /dev/sdX
sudo vgcreate vg_kvm /dev/sdX
```
2. 创建逻辑卷：
```shell
sudo lvcreate -n lv_myvm -L 20G vg_kvm
```
#### 网络存储（NFS, iSCSI）
NFS（Network File System）通过网络共享文件系统，适合共享存储和集中存储管理，以及多台虚拟机需要共享同一存储资源的环境。
挂载 NFS 存储：
```shell
sudo mount -t nfs server:/path/to/nfs /mnt/nfs
```
**iSCSI（Internet Small Computer Systems Interface）**：
通过网络提供块级存储，适合高性能需求的存储应用，以及需要集中管理和高性能存储访问的环境。
1. 安装 iSCSI 客户端：
```shell
sudo apt install open-iscsi # Ubuntu
sudo yum install iscsi-initiator-utils # CentOS/RHEL
```
1. 发现和登录 iSCSI 目标：
```shell
sudo iscsiadm -m discovery -t sendtargets -p <iSCSI_server_IP>
sudo iscsiadm -m node --login
```
- `libvirt`
- `qemu-kvm`
### 配置系统存储支持
#### 确认存储驱动加载情况
1. **检查存储驱动**：
使用 `lsmod` 命令检查存储驱动是否加载：
```shell
lsmod | grep -E 'virtio_blk|virtio_scsi'
```
2. **加载存储驱动**：
如果存储驱动未加载，可以手动加载：
```shell
sudo modprobe virtio_blk
sudo modprobe virtio_scsi
```
#### 准备存储设备和挂载点
1. **准备本地存储设备**：
分区和格式化存储设备：
```shell
sudo fdisk /dev/sdX
sudo mkfs.ext4 /dev/sdX1
```
创建挂载点并挂载：
```shell
sudo mkdir -p /mnt/kvm_storage
sudo mount /dev/sdX1 /mnt/kvm_storage
```
2. **准备网络存储设备（NFS 例子）**：
安装 NFS 客户端：
```shell
sudo apt install nfs-common # Ubuntu
sudo yum install nfs-utils # CentOS/RHEL
```
挂载 NFS 共享：
```shell
sudo mkdir -p /mnt/nfs_storage
sudo mount -t nfs server:/path/to/nfs /mnt/nfs_storage
```
3. **配置自动挂载**：
编辑 `/etc/fstab` 文件，添加以下内容确保重启后自动挂载：
```text
/dev/sdX1 /mnt/kvm_storage ext4 defaults 0 2
server:/path/to/nfs /mnt/nfs_storage nfs defaults 0 0
```
通过以上步骤，可以为 KVM 环境配置各种存储支持，包括磁盘映像文件、LVM 和网络存储。确保存储驱动已加载，并准备好存储设备和挂载点，为虚拟机提供可靠的存储资源。
- 确认存储驱动加载情况
- 准备存储设备和挂载点
## 配置存储池
### 存储池是什么
### 什么是存储池
#### 存储池的概念
存储池（Storage Pool）是 KVM 虚拟化环境中的一种抽象概念，用于管理和组织底层存储资源。存储池可以包含多个存储卷（Storage Volume），每个存储卷对应虚拟机的一个磁盘映像文件、逻辑卷或网络存储块。通过存储池，管理员可以更方便地管理和分配存储资源。
#### 存储池的类型
| 类型 | 特点 | 使用场景 |
| --------------------------------------- | ------------------------------------------------------------ | ------------------------------ |
| **目录存储池** (Directory Storage Pool) | 使用本地或挂载的目录作为存储池。简单易用，适合中小型部署。 | 适合中小型部署。 |
| **逻辑卷存储池** (LVM Storage Pool) | 基于 LVM（Logical Volume Manager）创建和管理逻辑卷。提供灵活的卷管理和快照功能。 | 适合企业级部署。 |
| **网络存储池** (Network Storage Pool) | 使用网络存储协议（如 NFS、iSCSI）创建存储池。适合分布式存储和集中存储管理。 | 适合分布式存储和集中存储管理。 |
- 存储池的概念
- 存储池的类型
### 创建和管理目录存储池
#### 使用 `virsh` 创建目录存储池
1. **创建目录存储池**：
创建一个目录存储池的 XML 配置文件，例如 `dir-pool.xml`：
```xml
<pool type='dir'>
<name>dir-pool</name>
<target>
<path>/mnt/kvm_storage</path>
</target>
</pool>
```
2. **定义并启动存储池**：
使用 `virsh` 命令定义并启动目录存储池：
```shell
sudo virsh pool-define dir-pool.xml
sudo virsh pool-start dir-pool
sudo virsh pool-autostart dir-pool
```
#### 配置目录存储池
1. **查看存储池信息**：
```shell
sudo virsh pool-info dir-pool
```
2. **查看存储池中的存储卷**：
```shell
sudo virsh vol-list dir-pool
```
3. **创建存储卷**：
```shell
sudo virsh vol-create-as dir-pool volume1 10G
```
- 使用 `virsh` 创建目录存储池
- 配置目录存储池
### 创建和管理逻辑卷存储池
#### 使用 `virsh` 创建 LVM 存储池
1. **创建 LVM 存储池**：
创建一个 LVM 存储池的 XML 配置文件，例如 `lvm-pool.xml`：
```xml
<pool type='logical'>
<name>lvm-pool</name>
<source>
<device path='/dev/vg_kvm'/>
<name>vg_kvm</name>
<format type='lvm2'/>
</source>
<target>
<path>/dev/vg_kvm</path>
</target>
</pool>
```
2. **定义并启动存储池**：
使用 `virsh` 命令定义并启动 LVM 存储池：
```shell
sudo virsh pool-define lvm-pool.xml
sudo virsh pool-start lvm-pool
sudo virsh pool-autostart lvm-pool
```
#### 配置 LVM 存储池
1. **查看存储池信息**：
```shell
sudo virsh pool-info lvm-pool
```
2. **查看存储池中的存储卷**：
```shell
sudo virsh vol-list lvm-pool
```
3. **创建存储卷**：
```shell
sudo virsh vol-create-as lvm-pool lv_volume1 20G
```
- 使用 `virsh` 创建 LVM 存储池
- 配置 LVM 存储池
### 创建和管理网络存储池
#### 使用 `virsh` 创建 NFS 存储池
1. **创建 NFS 存储池**：
创建一个 NFS 存储池的 XML 配置文件，例如 `nfs-pool.xml`：
```xml
<pool type='netfs'>
<name>nfs-pool</name>
<source>
<host name='nfs-server'/>
<dir path='/path/to/nfs'/>
</source>
<target>
<path>/mnt/nfs_storage</path>
</target>
</pool>
```
2. **定义并启动存储池**：
使用 `virsh` 命令定义并启动 NFS 存储池：
```shell
sudo virsh pool-define nfs-pool.xml
sudo virsh pool-start nfs-pool
sudo virsh pool-autostart nfs-pool
```
#### 使用 `virsh` 创建 iSCSI 存储池
1. **创建 iSCSI 存储池**：
创建一个 iSCSI 存储池的 XML 配置文件，例如 `iscsi-pool.xml`：
```xml
<pool type='iscsi'>
<name>iscsi-pool</name>
<source>
<host name='iscsi-server'/>
<device path='/dev/sdX'/>
</source>
<target>
<path>/dev/disk/by-path/</path>
</target>
</pool>
```
2. **定义并启动存储池**：
使用 `virsh` 命令定义并启动 iSCSI 存储池：
```shell
sudo virsh pool-define iscsi-pool.xml
sudo virsh pool-start iscsi-pool
sudo virsh pool-autostart iscsi-pool
```
#### 配置网络存储池
1. **查看存储池信息**：
```shell
sudo virsh pool-info nfs-pool
sudo virsh pool-info iscsi-pool
```
2. **查看存储池中的存储卷**：
```shell
sudo virsh vol-list nfs-pool
sudo virsh vol-list iscsi-pool
```
3. **创建存储卷**：
```shell
sudo virsh vol-create-as nfs-pool volume1 10G
sudo virsh vol-create-as iscsi-pool volume2 20G
```
- 使用 `virsh` 创建 NFS 存储池
- 使用 `virsh` 创建 iSCSI 存储池
## 配置存储卷
### 存储卷的概念
### 什么是存储卷
**存储卷（Storage Volume）是存储池（Storage Pool）中的一个逻辑单元，类似于传统文件系统中的文件。**存储卷为虚拟机提供存储空间，用于存储操作系统、应用程序和数据。每个存储卷可以对应一个磁盘映像文件、逻辑卷或网络存储块。通过存储卷，管理员可以灵活管理和分配存储资源。
- 存储卷的概念
- 存储卷的类型
### 创建和管理磁盘映像文件
#### 使用 `virsh` 创建磁盘映像文件
1. **创建磁盘映像文件**：
使用 `virsh` 创建一个磁盘映像文件：
```shell
sudo virsh vol-create-as dir-pool mydisk.qcow2 20G --format qcow2
```
以上命令将在 `dir-pool` 存储池中创建一个名为 `mydisk.qcow2` 的磁盘映像文件，大小为 20GB，格式为 qcow2。
2. **查看磁盘映像文件信息**：
查看创建的磁盘映像文件信息：
```shell
sudo virsh vol-info mydisk.qcow2 --pool dir-pool
```
#### 配置磁盘映像文件的大小和格式
1. **调整磁盘映像文件大小**：
可以使用 `qemu-img` 工具调整磁盘映像文件的大小：
```shell
qemu-img resize /path/to/mydisk.qcow2 +10G
```
以上命令将 `mydisk.qcow2` 的大小增加 10GB。
2. **转换磁盘映像文件格式**：
可以使用 `qemu-img` 工具转换磁盘映像文件的格式：
```shell
qemu-img convert -f qcow2 -O raw /path/to/mydisk.qcow2 /path/to/mydisk.raw
```
以上命令将 `mydisk.qcow2` 转换为 `mydisk.raw`，格式从 qcow2 转换为 raw。
- 使用 `virsh` 创建磁盘映像文件
- 配置磁盘映像文件的大小和格式
### 创建和管理逻辑卷
#### 使用 `virsh` 创建逻辑卷
1. **创建逻辑卷**：
使用 `virsh` 创建一个逻辑卷：
```shell
sudo virsh vol-create-as lvm-pool lv_mydisk 20G
```
以上命令将在 `lvm-pool` 存储池中创建一个名为 `lv_mydisk` 的逻辑卷，大小为 20GB。
2. **查看逻辑卷信息**：
查看创建的逻辑卷信息：
```shell
sudo virsh vol-info lv_mydisk --pool lvm-pool
```
#### 配置逻辑卷的大小和格式
1. **调整逻辑卷大小**：
可以使用 `lvresize` 工具调整逻辑卷的大小：
```shell
sudo lvresize -L +10G /dev/vg_kvm/lv_mydisk
```
以上命令将 `lv_mydisk` 的大小增加 10GB。
2. **格式化逻辑卷**：
在使用逻辑卷之前，需要对其进行格式化：
```shell
sudo mkfs.ext4 /dev/vg_kvm/lv_mydisk
```
通过以上步骤，可以使用 `virsh` 创建和管理磁盘映像文件和逻辑卷，并灵活配置其大小和格式。这些存储卷为虚拟机提供了可靠和高效的存储解决方案。
- 使用 `virsh` 创建逻辑卷
- 配置逻辑卷的大小和格式
## 虚拟机的存储配置
### 使用 `virsh` 添加和删除虚拟机磁盘
### 添加和删除虚拟机磁盘
**添加虚拟机磁盘**
- 使用 `virt-manager` 添加和删除虚拟机磁盘
- 使用 `virsh` 添加和删除虚拟机磁盘
1. 创建一个新的磁盘映像文件（如果需要）：
### 配置虚拟机的启动磁盘
```shell
sudo qemu-img create -f qcow2 /var/lib/libvirt/images/mydisk.qcow2 20G
```
2. 使用 `virsh` 命令编辑虚拟机的 XML 配置文件：
```shell
sudo virsh edit <vm_name>
```
3. 在 `<devices>` 部分中添加以下内容，指定新的磁盘设备：
```xml
<disk type='file' device='disk'>
<driver name='qemu' type='qcow2'/>
<source file='/var/lib/libvirt/images/mydisk.qcow2'/>
<target dev='vdb' bus='virtio'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x09' function='0x0'/>
</disk>
```
4. 保存并退出编辑器，启动或重启虚拟机以使新磁盘生效：
```shell
sudo virsh start <vm_name>
```
**删除虚拟机磁盘**
1. 使用 `virsh` 命令编辑虚拟机的 XML 配置文件：
```shell
sudo virsh edit <vm_name>
```
2. 找到需要删除的 `<disk>` 节点，并将其删除：
```xml
<disk type='file' device='disk'>
<driver name='qemu' type='qcow2'/>
<source file='/var/lib/libvirt/images/mydisk.qcow2'/>
<target dev='vdb' bus='virtio'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x09' function='0x0'/>
</disk>
```
3. 保存并退出编辑器，启动或重启虚拟机以应用更改：
```shell
sudo virsh start <vm_name>
```
### `virsh` 配置虚拟机的启动磁盘
1. 使用 `virsh` 命令编辑虚拟机的 XML 配置文件：
```shell
sudo virsh edit <vm_name>
```
2. 在 `<os>` 部分中，找到 `<boot dev='...'>` 节点并调整顺序。例如，将磁盘设备设为首选启动设备：
```xml
<os>
<type arch='x86_64' machine='pc-i440fx-2.9'>hvm</type>
<boot dev='hd'/>
<boot dev='cdrom'/>
</os>
```
3. 保存并退出编辑器，启动或重启虚拟机以应用更改：
```shell
sudo virsh start <vm_name>
```
#### 配置虚拟机 BIOS 设置
1. 使用 `virsh` 命令编辑虚拟机的 XML 配置文件：
```shell
sudo virsh edit <vm_name>
```
2. 在 `<os>` 部分中，添加或修改 `<bios>` 节点。例如，启用 BIOS 引导菜单：
```xml
<os>
<type arch='x86_64' machine='pc-i440fx-2.9'>hvm</type>
<loader readonly='yes' type='pflash'>/usr/share/OVMF/OVMF_CODE.fd</loader>
<nvram>/var/lib/libvirt/qemu/nvram/<vm_name>.fd</nvram>
<bootmenu enable='yes'/>
</os>
```
3. 保存并退出编辑器，启动或重启虚拟机以应用更改：
```shell
sudo virsh start <vm_name>
```
- 设置启动磁盘顺序
- 配置虚拟机 BIOS 设置
## 高级存储管理
### 快照管理
#### 创建和管理磁盘快照
- 创建和管理磁盘快照
- 使用 `virt-manager` 管理快照
- 使用 `virsh` 管理快照
快照是虚拟机在某一时刻的状态，包括虚拟机的磁盘和内存状态。通过快照，您可以在需要时恢复虚拟机到之前的状态。
### 存储池的扩展和缩减
**创建磁盘快照**
使用 `virsh` 创建磁盘快照：
```shell
sudo virsh snapshot-create-as <vm_name> <snapshot_name> --disk-only --atomic
```
以上命令创建一个仅包含磁盘状态的快照。
**管理磁盘快照**
使用 `virsh` 列出所有快照：
```shell
sudo virsh snapshot-list <vm_name>
```
**恢复快照**
使用 `virsh` 恢复快照：
```shell
sudo virsh snapshot-revert <vm_name> <snapshot_name>
```
#### 扩展存储池容量
**扩展目录存储池**
确保文件系统有足够的空间，然后直接添加更多存储卷到目录存储池即可。
**扩展 LVM 存储池**
1. 添加新的物理卷到卷组：
```shell
sudo pvcreate /dev/sdX
sudo vgextend vg_kvm /dev/sdX
```
2. 更新存储池配置：
```shell
sudo virsh pool-refresh lvm-pool
```
**扩展网络存储池**
对于 NFS 和 iSCSI，直接在网络存储服务器上扩展存储容量，然后刷新存储池即可。
#### 缩减存储池容量
**缩减 LVM 存储池**
1. 移动逻辑卷中的数据到其他物理卷：
```shell
sudo pvmove /dev/sdX
```
2. 移除物理卷并减少卷组大小：
```shell
sudo vgreduce vg_kvm /dev/sdX
sudo pvremove /dev/sdX
```
**缩减目录存储池和网络存储池**
一般不直接缩减这些存储池，建议清理不需要的存储卷以释放空间。
- 扩展存储池容量
- 缩减存储池容量
### 磁盘镜像和克隆
#### 创建磁盘镜像
**创建磁盘镜像**
使用 `qemu-img` 创建磁盘镜像：
```shell
qemu-img create -f qcow2 /var/lib/libvirt/images/mydisk.qcow2 20G
```
**转换磁盘镜像格式**
使用 `qemu-img` 转换磁盘镜像格式：
```shell
qemu-img convert -f qcow2 -O raw /path/to/mydisk.qcow2 /path/to/mydisk.raw
```
#### 克隆虚拟机磁盘
1. 使用 `qemu-img` 克隆磁盘映像：
```shell
qemu-img create -f qcow2 -b /var/lib/libvirt/images/source-disk.qcow2 /var/lib/libvirt/images/clone-disk.qcow2
```
2. 使用 `virsh` 定义新的虚拟机，并指定克隆的磁盘映像：
创建虚拟机 XML 文件：
```xml
<domain type='kvm'>
<name>clone-vm</name>
<memory unit='KiB'>1048576</memory>
<vcpu placement='static'>1</vcpu>
<os>
<type arch='x86_64' machine='pc-i440fx-2.9'>hvm</type>
</os>
<devices>
<disk type='file' device='disk'>
<driver name='qemu' type='qcow2'/>
<source file='/var/lib/libvirt/images/clone-disk.qcow2'/>
<target dev='vda' bus='virtio'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
</disk>
</devices>
</domain>
```
3. 使用 `virsh` 定义并启动新的虚拟机：
```shell
sudo virsh define /path/to/clone-vm.xml
sudo virsh start clone-vm
```
- 创建磁盘镜像
- 克隆虚拟机磁盘

573
Tech/operating-system/Virtualization/2.KVM虚拟化/6. KVM 性能优化.md
View File

@ -1,17 +1,10 @@
---
title: 6. KVM 性能优化
description: 本文详细讨论了KVM虚拟化环境中的性能优化策略，包括资源监控、CPU与内存优化、存储和网络性能提升，以及快照和备份的性能影响。强调了合理分配资源、使用高效技术和工具、以及日志分析在故障排查中的重要性。
title: 标题
description: 描述
keywords:
- KVM
- 性能优化
- CPU分配
- 内存管理
- 存储性能
- 网络性能
- 日志分析
- 关键字
tags:
- 技术/操作系统
- 虚拟化/KVM
- 标签
author: 仲平
date: 2024-07-16
---
@ -20,594 +13,100 @@ date: 2024-07-16
### 为什么需要性能优化？
性能优化在虚拟化环境中至关重要，原因如下：
- **提高资源利用率：** 通过性能优化，可以更有效地利用计算资源（CPU、内存、存储和网络），从而支持更多的虚拟机运行在同一硬件上。
- **增强用户体验：** 优化虚拟机性能可以降低延迟、提高响应速度，为最终用户提供更好的体验。
- **降低运营成本：** 更高的资源利用率意味着可以在相同的硬件投资上运行更多的虚拟机，从而降低数据中心的运营成本。
- **延长硬件寿命：** 通过优化，避免资源的过度使用和硬件的过度磨损，从而延长硬件的使用寿命。
- **提高系统稳定性和可靠性：** 优化虚拟化环境中的性能可以减少瓶颈和故障，从而提高系统的稳定性和可靠性。
### 性能优化的基本原则
- **监控和分析**：持续监控虚拟机和宿主机的性能指标，分析性能瓶颈。使用工具如 `top`、`htop`、`vmstat`、`iostat` 和 `sar`。
- **资源隔离和分配**：合理配置虚拟机的资源分配，使用 CPU 和内存配额、限制和保留来避免资源争用。
- **调整虚拟机配置**：根据负载情况调整虚拟机的 CPU、内存、存储和网络配置，确保满足应用需求。
- **优化存储性能**：使用合适的存储格式（如 `qcow2` 和 `raw`）、启用缓存和 I/O 调度策略，优化磁盘 I/O 性能。
- **优化网络性能**：使用 Virtio 网络驱动、启用多队列支持、调整网络缓冲区大小和使用网络分段来提高网络性能。
- **保持系统和软件更新**：定期更新操作系统和虚拟化软件，获取最新的性能优化和安全补丁。
### 性能优化的常见挑战
- **资源争用**：当多个虚拟机共享相同的物理资源时，可能会导致资源争用，影响整体性能。需要合理配置资源隔离和分配策略。
- **I/O 瓶颈**：磁盘 I/O 和网络 I/O 是虚拟化环境中常见的瓶颈。需要优化存储和网络配置以提高 I/O 性能。
- **CPU 和内存过载**：虚拟机可能会导致宿主机的 CPU 和内存过载，从而影响系统性能。需要监控和调整虚拟机的 CPU 和内存使用。
- **网络延迟和吞吐量**：虚拟化环境中的网络性能可能受到延迟和吞吐量的限制，需要优化网络配置和使用高效的网络驱动。
- **存储性能下降**：存储设备性能下降可能会影响虚拟机的响应时间。需要选择合适的存储设备和优化存储配置。
- **软件和硬件兼容性**：某些软件和硬件可能无法充分利用虚拟化环境中的优化功能，需要确保兼容性和最佳实践。
## CPU 性能优化
在 KVM（Kernel-based Virtual Machine）虚拟化环境中，CPU 性能优化对于提升虚拟机（VM）的运行效率和整体系统性能至关重要。本文将深入探讨 CPU 性能优化的几个关键方面，包括 CPU 分配和超线程、CPU 亲和性设置、以及优化 CPU 调度策略。
### CPU 分配和超线程
#### 分配虚拟 CPU (vCPU)
虚拟机的 CPU 分配直接影响其性能。为虚拟机分配适当数量的 vCPU 可以确保其在执行任务时拥有足够的计算资源。以下是几个关键点：
1. **评估工作负载**：根据虚拟机所需运行的应用程序或服务的特定需求来分配 vCPU 数量。一般来说，轻量级应用程序需要较少的 vCPU，而计算密集型应用程序则需要更多的 vCPU。
2. **避免过度分配**：避免为虚拟机分配过多的 vCPU，这样可能会导致宿主机资源紧张，影响整体性能。
3. **动态调整**：利用 KVM 的热插拔功能，可以在虚拟机运行时动态调整 vCPU 数量，以适应变化的工作负载。
#### 启用和配置超线程
超线程技术（Hyper-Threading）允许每个物理 CPU 核心同时处理多个线程，从而提高 CPU 的并行处理能力。启用和配置超线程可以显著提升虚拟机的性能：
1. **启用超线程**：在 BIOS 或 UEFI 中启用超线程功能，以便操作系统和 KVM 可以利用这一技术。
2. **合理配置**：在分配 vCPU 时，考虑超线程的影响。例如，如果物理 CPU 核心启用了超线程，理论上每个核心可以运行两个 vCPU。根据实际性能测试结果，调整 vCPU 分配策略。
- 分配虚拟 CPU (vCPU)
- 启用和配置超线程
### CPU 亲和性设置
#### 配置 CPU 亲和性
CPU 亲和性（CPU Affinity）指将特定的 vCPU 绑定到物理 CPU 核心上，从而减少 CPU 切换带来的性能开销，提高缓存命中率。配置 CPU 亲和性的方法包括：
1. **手动配置**：在创建虚拟机时，通过指定 vCPU 与物理 CPU 核心的绑定关系来配置 CPU 亲和性。
2. **自动化工具**：使用自动化工具（如 libvirt）进行配置，简化管理过程。
#### 使用 `virsh` 设置 vCPU 亲和性
`virsh` 是一个用于管理 KVM 虚拟机的命令行工具，通过它可以方便地设置和调整 vCPU 亲和性：
1. **查看当前配置**：使用 `virsh vcpuinfo <VM名>` 查看虚拟机当前的 vCPU 配置和绑定关系。
2. **设置亲和性**：使用 `virsh vcpupin <VM名> <vCPU编号> <物理CPU编号>` 命令，将指定的 vCPU 绑定到物理 CPU 核心。例如，`virsh vcpupin myvm 0 2` 将虚拟机 myvm 的第一个 vCPU 绑定到物理 CPU 的第二个核心。
3. **保存配置**：确保更改的配置在虚拟机重启后仍然有效，可以将配置写入虚拟机的 XML 配置文件中。
- 配置 CPU 亲和性
- 使用 `virsh` 设置 vCPU 亲和性
### 优化 CPU 调度策略
#### 使用 Cgroups 控制 CPU 使用
控制组（cgroups）是一种 Linux 内核功能，允许用户对进程进行资源限制和监控。利用 cgroups 可以更精细地控制虚拟机的 CPU 资源使用：
1. **创建 cgroup**：使用 `cgcreate` 命令创建一个新的 cgroup。例如，`cgcreate -g cpu:/mygroup` 创建一个名为 mygroup 的 cgroup。
2. **设置 CPU 限额**：使用 `cgset` 命令设置 cgroup 的 CPU 使用限制。例如，`cgset -r cpu.shares=512 mygroup` 将 mygroup 的 CPU 使用份额设置为 512。
3. **将虚拟机进程加入 cgroup**：通过 `cgclassify` 或 `echo <PID> > /sys/fs/cgroup/cpu/mygroup/tasks` 命令将虚拟机进程加入 cgroup 中，以应用资源限制。
#### 调整调度策略
KVM 虚拟化环境中，合理的 CPU 调度策略可以显著提升虚拟机的性能和响应速度。常见的调度策略包括：
1. **完全公平调度器（CFS）**：Linux 默认的调度策略，适用于大多数场景。通过调整 CFS 参数，可以优化虚拟机的 CPU 性能。
2. **实时调度器（RT）**：适用于对延迟敏感的应用，如音视频处理或实时计算任务。可以通过设置实时优先级和资源预留来优化性能。
3. **自动化调度工具**：使用如 libvirt 的调度策略配置功能，自动优化虚拟机的调度策略。
通过以上方法和工具，可以系统地优化 KVM 环境下虚拟机的 CPU 性能，从而提高整体系统的效率和稳定性。在实际应用中，应根据具体需求和工作负载特征，选择合适的优化策略和参数设置，以达到最佳性能表现。
- 使用 cgroups 控制 CPU 使用
- 调整调度策略
## 内存性能优化
内存性能是虚拟化环境中影响虚拟机（VM）运行效率的关键因素之一。KVM（Kernel-based Virtual Machine）提供了多种内存优化技术，本文将详细探讨内存分配和大页支持、内存过量使用和气球驱动、以及 NUMA 配置优化等方面的内容。
### 内存分配和大页支持
#### 分配合适的内存大小
为虚拟机分配合适的内存大小是确保其性能的基本步骤：
1. **评估工作负载需求**：根据虚拟机上运行的应用程序和服务的需求，确定所需的内存大小。轻量级应用程序需要较少的内存，而数据密集型或计算密集型应用程序则需要更多的内存。
2. **避免过度分配**：过度分配内存会导致宿主机的内存资源紧张，影响整体系统性能。因此，需要合理分配内存，确保宿主机和所有虚拟机的内存需求都能得到满足。
3. **动态调整内存**：利用 KVM 的热插拔内存功能，可以在虚拟机运行时动态调整内存大小，以应对变化的工作负载需求。
#### 启用和配置大页（HugePages）
大页（HugePages）是指较大的内存页，用于减少内存分页和 TLB（Translation Lookaside Buffer）失效的开销，从而提高内存访问效率。启用和配置大页可以显著提升虚拟机的性能：
1. **启用大页支持**：在宿主机上启用大页支持，可以通过修改内核参数或使用命令来实现。例如，可以在 `/etc/sysctl.conf` 文件中添加 `vm.nr_hugepages=512`，然后运行 `sysctl -p` 应用配置。
2. **配置大页使用**：在创建或配置虚拟机时，指定其使用大页内存。例如，通过 libvirt 的 XML 配置文件，可以在 `<memoryBacking>` 节点中添加 `<hugepages/>` 元素。
3. **监控大页使用**：使用 `cat /proc/meminfo | grep HugePages` 查看当前系统的大页使用情况，确保配置的生效和合理性。
- 分配合适的内存大小
- 启用和配置大页（HugePages）
### 内存过量使用和气球驱动
#### 启用内存过量使用
内存过量使用（Memory Overcommitment）允许为虚拟机分配的内存总量超过宿主机的物理内存量，从而提高资源利用率：
1. **评估风险**：内存过量使用虽然可以提高资源利用率，但也带来了一定的风险，如宿主机内存不足导致的性能下降或崩溃。因此，需要谨慎评估和控制过量使用的程度。
2. **启用内存过量使用**：在 KVM 环境中，可以通过调整宿主机的内存管理策略和参数来实现内存过量使用。例如，调整 `vm.overcommit_memory` 参数为 `1`，表示允许过量分配内存。
#### 使用气球驱动动态调整内存
气球驱动（Ballooning）是一种动态调整虚拟机内存分配的技术，通过调整虚通过以上常见性能问题及其解决方法的介绍，以及日志分析方法的讲解，可以帮助管理员有效地排查和解决 KVM 虚拟化环境中的性能问题，确保虚拟机的稳定运行和高效性能。在实际应用中，应结合具体问题和环境特点，灵活应用这些故障排查方法。拟机的内存使用，优化宿主机的内存资源分配：
1. **安装气球驱动**：确保虚拟机中安装了气球驱动，通常 KVM 虚拟机中默认包含该驱动。如果没有，可以通过安装相应的虚拟化工具包来获取。
2. **启用气球驱动**：在虚拟机的配置文件中启用气球驱动，例如在 libvirt 的 XML 配置文件中，添加 `<memballoon model='virtio'/>` 元素。
3. **动态调整内存**：使用 `virsh` 命令行工具，通过 `virsh setmem <VM名> <内存大小>` 命令动态调整虚拟机的内存大小。例如，`virsh setmem myvm 2G` 将虚拟机 myvm 的内存调整为 2GB。
- 启用内存过量使用
- 使用气球驱动动态调整内存
### NUMA 配置优化
#### 什么是 NUMA？
非一致性内存访问（NUMA，Non-Uniform Memory Access）是一种内存架构，在多处理器系统中，每个处理器拥有自己的本地内存，访问本地内存的速度比访问其他处理器的内存更快。合理配置 NUMA 可以显著提升多处理器系统中虚拟机的性能。
#### 配置虚拟机的 NUMA 节点
在 KVM 虚拟化环境中，可以配置虚拟机的 NUMA 节点，以优化内存访问性能：
1. **查看宿主机的 NUMA 配置**：使用 `numactl --hardware` 或 `lscpu` 命令查看宿主机的 NUMA 节点和 CPU、内存分布情况。
2. 配置虚拟机的 NUMA 节点：在 libvirt 的 XML 配置文件中，指定虚拟机的 NUMA 节点。例如：
```xml
<numatune>
<memory mode='strict' nodeset='0-1'/>
</numatune>
<cputune>
<vcpupin vcpu='0' cpuset='0-3'/>
<vcpupin vcpu='1' cpuset='4-7'/>
</cputune>
<memoryBacking>
<nodeset>0-1</nodeset>
</memoryBacking>
```
以上配置将虚拟机的内存和 vCPU 绑定到宿主机的 0 和 1 号 NUMA 节点，确保虚拟机内存访问的性能。
3. **测试和调整**：在实际应用中，通过性能测试和监控工具，评估 NUMA 配置的效果，根据需要进行调整和优化。
- 什么是 NUMA？
- 配置虚拟机的 NUMA 节点
## 存储性能优化
在 KVM（Kernel-based Virtual Machine）虚拟化环境中，磁盘 I/O 性能是影响虚拟机（VM）整体性能的关键因素之一。本文将详细探讨使用 Virtio 驱动提升性能、优化磁盘 I/O 调度策略、以及使用缓存策略等方面的内容。
### 使用 Virtio 驱动提升性能
#### Virtio 驱动的优势
Virtio 是 KVM 环境中用于提高虚拟机 I/O 性能的一组标准驱动程序。Virtio 驱动通过简化虚拟化 I/O 路径和减少开销，提供了显著的性能提升：
1. **高效的 I/O 处理**：Virtio 驱动直接与 KVM hypervisor 通信，减少了传统设备模拟带来的开销，提高了 I/O 操作的效率。
2. **更低的延迟**：通过简化 I/O 路径和优化数据传输，Virtio 驱动显著降低了 I/O 操作的延迟，提升了虚拟机的响应速度。
3. **广泛的兼容性**：Virtio 驱动被广泛支持，适用于大多数 Linux 发行版和现代 Windows 操作系统，确保了虚拟机的兼容性和稳定性。
#### 安装和配置 Virtio 驱动
安装和配置 Virtio 驱动以充分利用其性能优势：
1. **Linux 虚拟机**：在大多数现代 Linux 发行版中，Virtio 驱动通常已经内置。如果需要手动安装，可以使用包管理器安装相应的 Virtio 驱动包。
配置虚拟机使用 Virtio 驱动，在 libvirt 的 XML 配置文件中，将磁盘设备类型设置为 `virtio`：
```xml
<disk type='file' device='disk'>
<driver name='qemu' type='qcow2'/>
<source file='/var/lib/libvirt/images/myvm.qcow2'/>
<target dev='vda' bus='virtio'/>
</disk>
```
2. **Windows 虚拟机**：
- 下载并安装 Virtio 驱动程序，通常可以从 Red Hat 提供的 Virtio 驱动包中获取。
- 在虚拟机创建过程中，通过虚拟光驱加载 Virtio 驱动 ISO 文件，并在 Windows 安装过程中手动加载驱动程序。
- 配置完成后，在设备管理器中确认 Virtio 驱动已正确安装并应用于相应的设备。
- Virtio 驱动的优势
- 安装和配置 Virtio 驱动
### 磁盘 I/O 调度策略
#### 选择合适的 I/O 调度器
I/O 调度器负责管理磁盘 I/O 请求的调度，选择合适的 I/O 调度器可以显著提升磁盘 I/O 性能。常见的 I/O 调度器包括：
1. **CFQ（Completely Fair Queuing）**：适用于大多数通用场景，通过公平分配 I/O 带宽，提供较好的性能和响应时间。
2. **Deadline**：适用于对延迟敏感的应用，通过设置请求的截止时间，确保 I/O 请求在规定时间内完成，减少延迟。
3. **NOOP**：适用于 SSD 等固态存储设备，采用简单的 FIFO 队列，减少 I/O 调度开销。
在宿主机上，可以通过修改 `/sys/block/<设备名>/queue/scheduler` 文件来设置 I/O 调度器，例如：
```shell
echo deadline > /sys/block/sda/queue/scheduler
```
#### 使用 `ionice` 控制 I/O 优先级
`ionice` 命令可以设置进程的 I/O 优先级，从而控制其 I/O 操作的优先级顺序：
1. **命令语法**：
```shell
ionice -c <class> -n <priority> <command>
```
- `<class>`：I/O 优先级类别，0（实时）、1（最佳努力）、2（空闲）。
- `<priority>`：优先级级别，范围为 0 到 7，数值越小优先级越高。
2. **示例**：
```shell
ionice -c 1 -n 3 dd if=/dev/zero of=/var/lib/libvirt/images/test.img bs=1M count=1024
```
以上命令将 `dd` 命令的 I/O 优先级设置为最佳努力类别，优先级为 3。
- 选择合适的 I/O 调度器
- 使用 `ionice` 控制 I/O 优先级
### 使用缓存策略
#### 配置缓存模式
KVM 虚拟机的磁盘设备支持多种缓存模式，不同缓存模式对性能有不同影响：
1. **none**：直接 I/O 模式，虚拟机的 I/O 请求直接传递到宿主机，不经过宿主机的页缓存。适用于需要确保数据一致性的场景，如数据库应用。
2. **writeback**：写回缓存模式，I/O 请求先写入缓存，再异步写入磁盘。提供较好的写入性能，但在宿主机崩溃时可能导致数据丢失。
3. **writethrough**：直写缓存模式，写请求直接写入磁盘，同时更新缓存。确保数据的一致性，但写入性能相对较低。
在 libvirt 的 XML 配置文件中，可以通过 `<driver>` 元素配置缓存模式，例如：
```xml
<disk type='file' device='disk'>
<driver name='qemu' type='qcow2' cache='none'/>
<source file='/var/lib/libvirt/images/myvm.qcow2'/>
<target dev='vda' bus='virtio'/>
</disk>
```
#### 使用 Directsync 和 None 模式
`directsync` 和 `none` 模式在确保数据一致性的同时提供不同的性能优势：
1. **directsync**：同步 I/O 模式，I/O 请求直接传递到宿主机，并在请求完成后返回，确保数据一致性。适用于需要严格数据一致性的应用。
2. **none**：直接 I/O 模式，无缓存。适用于需要高性能的读写操作，且能够容忍一定程度数据丢失的场景。
通过合理选择和配置缓存模式，可以在性能和数据一致性之间取得平衡，优化虚拟机的磁盘 I/O 性能。
综上所述，通过使用 Virtio 驱动、优化 I/O 调度策略和缓存策略，可以显著提升 KVM 虚拟化环境中虚拟机的磁盘 I/O 性能。在实际应用中，应根据具体需求和工作负载特征，选择合适的优化策略和参数设置，以达到最佳性能表现。
- 配置缓存模式
- 使用 directsync 和 none 模式
## 网络性能优化
### 使用 Virtio 网卡
#### Virtio 网卡的优势
Virtio 网卡是 KVM 虚拟化环境中用于提高网络性能的一种标准化虚拟网络接口。使用 Virtio 网卡具有以下优势：
1. **高效的 I/O 处理**：Virtio 网卡通过简化 I/O 路径，减少传统网络设备模拟带来的开销，提高网络吞吐量和数据传输效率。
2. **低延迟**：Virtio 网卡通过优化数据传输路径，显著降低了网络延迟，提高了虚拟机的网络响应速度。
3. **广泛的兼容性**：Virtio 网卡被广泛支持，适用于大多数 Linux 发行版和现代 Windows 操作系统，确保虚拟机的兼容性和稳定性。
#### 配置 Virtio 网卡
配置 Virtio 网卡以充分利用其性能优势：
1. **在 Linux 虚拟机中配置 Virtio 网卡**：
确保虚拟机的网络接口类型设置为 `virtio`，在 libvirt 的 XML 配置文件中，可以这样配置：
```xml
<interface type='network'>
<mac address='52:54:00:6b:3c:58'/>
<source network='default'/>
<model type='virtio'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>
</interface>
```
在虚拟机操作系统中确认 Virtio 驱动已正确加载，通常在现代 Linux 发行版中默认支持。
2. **在 Windows 虚拟机中配置 Virtio 网卡**：
1. 下载并安装 Virtio 网络驱动程序，通常可以从 Red Hat 提供的 Virtio 驱动包中获取。
2. 在虚拟机创建过程中，通过虚拟光驱加载 Virtio 驱动 ISO 文件，并在 Windows 设备管理器中手动安装驱动程序。
3. 确认 Virtio 网卡在设备管理器中正确识别并工作。
- Virtio 网卡的优势
- 配置 Virtio 网卡
### 网络带宽限制和优先级
#### 配置网络带宽限制
通过配置网络带宽限制，可以有效管理虚拟机的网络流量，防止个别虚拟机占用过多带宽，从而影响其他虚拟机的网络性能：
使用 libvirt 的 XML 配置文件，可以为虚拟机的网络接口设置带宽限制。例如：
```xml
<interface type='network'>
<mac address='52:54:00:6b:3c:58'/>
<source network='default'/>
<model type='virtio'/>
<bandwidth>
<inbound average='1000' peak='1200' burst='256'/>
<outbound average='1000' peak='1200' burst='256'/>
</bandwidth>
</interface>
```
以上配置将虚拟机的入站和出站流量限制为平均 1000kbps，峰值 1200kbps，突发流量 256kb。
#### 使用 `tc` 命令设置优先级
`tc`（Traffic Control）命令是 Linux 中用于网络流量控制的强大工具，可以设置流量优先级，确保关键应用的网络性能：
1. **安装 `tc` 工具**：大多数 Linux 发行版默认包含 `tc` 工具，如果没有安装，可以通过包管理器安装（如 `apt-get install iproute2`）。
2. 配置流量优先级：
- 创建根队列：
```shell
tc qdisc add dev eth0 root handle 1: htb default 12
```
- 创建类并分配带宽：
```shell
tc class add dev eth0 parent 1: classid 1:1 htb rate 100mbit
tc class add dev eth0 parent 1:1 classid 1:11 htb rate 30mbit
tc class add dev eth0 parent 1:1 classid 1:12 htb rate 70mbit
```
- 配置流量过滤规则：
```shell
tc filter add dev eth0 protocol ip parent 1:0 prio 1 u32 match ip src 192.168.1.100/32 flowid 1:11
tc filter add dev eth0 protocol ip parent 1:0 prio 1 u32 match ip dst 192.168.1.100/32 flowid 1:11
```
- 配置网络带宽限制
- 使用 `tc` 命令设置优先级
### 调整网络缓冲区和队列
#### 优化网络缓冲区大小
优化网络缓冲区大小可以提高网络吞吐量，减少丢包率，从而提升网络性能：
1. **调整接收（RX）和发送（TX）缓冲区**：使用 `ethtool`命令查看和设置网卡的缓冲区大小。例如：
```shell
ethtool -g eth0
ethtool -G eth0 rx 4096 tx 4096
```
以上命令将 eth0 网卡的接收和发送缓冲区大小设置为 4096。
1. **调整内核参数**：修改 `/etc/sysctl.conf` 文件，增加以下参数：
```shell
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.core.rmem_default = 8388608
net.core.wmem_default = 8388608
```
应用配置：
```shell
sysctl -p
```
#### 配置多队列支持
启用和配置多队列（Multiqueue）支持，可以提高网络 I/O 并行处理能力，提升网络性能：
1. **启用多队列**：
在 libvirt 的 XML 配置文件中，为 Virtio 网卡启用多队列支持：
```xml
<interface type='network'>
<mac address='52:54:00:6b:3c:58'/>
<source network='default'/>
<model type='virtio'/>
<driver name='vhost' queues='4'/>
</interface>
```
以上配置将 Virtio 网卡的队列数设置为 4。
2. **调整虚拟机内核参数**：
修改虚拟机操作系统内核参数，以支持多队列。例如，在 Linux 虚拟机中，可以使用
```shell
ethtool
```
命令启用多队列：
```shell
ethtool -L eth0 combined 4
```
以上命令将 eth0 网卡的队列数设置为 4。
- 优化网络缓冲区大小
- 配置多队列支持
## 虚拟机快照和备份的性能优化
在 KVM（Kernel-based Virtual Machine）虚拟化环境中，快照和备份功能是保障数据安全和系统可靠性的重要手段。然而，这些操作也会对系统性能产生影响。本文将详细探讨快照性能影响及其优化策略、以及优化备份策略以减少对系统性能的影响。
### 快照性能影响
#### 快照的创建和管理
快照是虚拟机在某一时刻的状态，包括内存、磁盘和设备状态的完整备份。快照可以用于快速恢复到某一特定状态，但频繁的快照操作会影响系统性能：
1. **快照的创建**：
快照创建过程中，KVM 会冻结虚拟机的运行状态并复制当前的内存和磁盘数据。这会占用大量 I/O 资源，导致虚拟机短暂的性能下降。使用 `virsh` 命令创建快照，例如：
```shell
virsh snapshot-create-as --domain <VM名> --name <快照名> --description "<描述>" --disk-only --atomic
```
2. **快照的管理**：
定期检查并管理快照，删除不再需要的快照以释放存储空间，减少性能影响。使用 `virsh` 命令查看和删除快照，例如：
```shell
virsh snapshot-list <VM名>
virsh snapshot-delete <VM名> <快照名>
```
#### 减少快照对性能的影响
为了减少快照对虚拟机性能的影响，可以采取以下优化策略：
1. **优化快照存储位置**：
将快照存储在性能较高的存储设备上，例如 SSD，减少 I/O 瓶颈对虚拟机性能的影响。
2. **限制快照数量**：
避免同时创建过多的快照，定期清理不需要的快照，保持系统存储的简洁性和高效性。
3. **使用外部快照**：
使用外部快照（External Snapshot）将快照数据与原始磁盘数据分开存储，减少对原始磁盘 I/O 的影响。例如：
```shell
virsh snapshot-create-as --domain <VM名> --name <快照名> --diskspec <disk>,snapshot=external --disk-only
```
- 快照的创建和管理
- 减少快照对性能的影响
### 备份策略
#### 使用增量备份减少影响
增量备份是指仅备份自上次备份以来发生变化的数据，相较于全量备份，增量备份占用的存储空间更少，备份速度更快，性能影响更低：
1. **配置增量备份**：
使用增量备份工具（如 rsync、Bacula、Duplicity）配置增量备份任务，定期备份虚拟机的数据。例如，使用 `rsync` 进行增量备份：
```shell
rsync -av --progress --delete /path/to/source /path/to/destination
```
2. **利用 KVM 内置增量备份功能**：
利用 KVM 和 QEMU 的增量备份功能，使用 QEMU 提供的块设备接口（如 qemu-img）进行增量备份。例如：
```shell
qemu-img create -f qcow2 -b <base-image> <incremental-image>
```
#### 配置备份窗口和策略
配置合理的备份窗口和策略，减少备份操作对系统性能的影响：
1. **选择备份窗口**：
选择系统负载较低的时间段进行备份操作，例如夜间或周末，避免影响业务高峰期的性能。
使用任务调度工具（如 cron）配置备份任务的执行时间。例如，配置每日凌晨 3 点进行备份：
```shell
0 3 * * * /path/to/backup-script.sh
```
2. **配置备份策略**：
制定合理的备份策略，包括全量备份和增量备份的频率、保留周期等。例如，每周进行一次全量备份，每日进行增量备份，保留最近一个月的备份数据。
使用备份管理工具（如 Bacula、Amanda）配置和管理备份策略，实现自动化和集中管理。
- 使用增量备份减少影响
- 配置备份窗口和策略
## 性能问题的故障排查
在 KVM（Kernel-based Virtual Machine）虚拟化环境中，性能问题的故障排查是保障虚拟机（VM）稳定运行的重要工作。本文将详细探讨常见性能问题及其解决方法，以及如何通过日志分析进行性能排查。
### 常见性能问题及解决方法
#### 虚拟机运行缓慢
- 虚拟机运行缓慢
| **问题** | **原因** | **解决方法** |
| ----------------- | ----------------------------------------------------- | ------------------------------------------------------------ |
| **CPU 资源不足** | 虚拟机分配的 vCPU 数量不足，或者宿主机的 CPU 资源紧张 | 增加虚拟机的 vCPU 数量。检查宿主机的 CPU 负载，优化其他虚拟机的 CPU 使用，必要时迁移部分虚拟机到其他宿主机。 |
| **内存资源不足** | 虚拟机分配的内存不足，或者宿主机的内存资源紧张 | 增加虚拟机的内存。检查宿主机的内存使用情况，优化其他虚拟机的内存使用，必要时使用内存气球驱动动态调整内存分配。 |
| **磁盘 I/O 瓶颈** | 虚拟机磁盘 I/O 负载过高，导致 I/O 操作延迟 | 优化虚拟机的磁盘 I/O 调度策略，使用合适的 I/O 调度器。将虚拟机的磁盘文件迁移到性能更好的存储设备（如 SSD）。启用并配置 Virtio 磁盘驱动，提高 I/O 性能。 |
| **网络 I/O 瓶颈** | 虚拟机网络负载过高，导致网络延迟和吞吐量下降 | 配置 Virtio 网卡，提高网络 I/O 性能。优化网络带宽限制和优先级配置，确保关键应用的网络带宽。检查宿主机和虚拟机的网络配置，确保网络连接正常。 |
#### 网络性能不佳
| **问题** | **原因** | **解决方法** |
| ---------------- | ------------------------------------ | ------------------------------------------------------------ |
| **网络配置问题** | 虚拟机或宿主机的网络配置错误或不优化 | 检查虚拟机和宿主机的网络配置，确保网络接口和路由配置正确。优化虚拟机的网络缓冲区和队列配置，提高网络 I/O 性能。 |
| **网络带宽瓶颈** | 虚拟机网络流量过大，占用过多带宽 | 配置网络带宽限制，确保网络资源合理分配。使用 `tc` 命令配置网络流量优先级，确保关键应用的网络性能。 |
| **网络延迟问题** | 虚拟机或宿主机的网络延迟过高 | 优化虚拟机的网络路由配置，减少中间跳数和延迟。检查宿主机的网络硬件，确保网卡和交换机性能正常。 |
- 网络性能不佳
### 性能日志分析
日志分析是故障排查的重要手段，通过查看和分析 KVM 和系统日志，可以快速定位和解决性能问题。
- 查看和分析 KVM 日志
#### 查看和分析 KVM 日志
KVM 和 libvirt 生成的日志文件可以提供虚拟机运行的详细信息，帮助排查性能问题：
1. **查看 libvirt 日志**：libvirt 日志通常位于 `/var/log/libvirt` 目录下，可以通过 `virsh` 命令查看特定虚拟机的日志：
```shell
virsh log <VM名>
```
直接查看日志文件：
```shell
tail -f /var/log/libvirt/qemu/<VM名>.log
```
2. **分析日志内容**：
- 检查日志中是否有错误信息、警告信息或性能相关的提示。
- 根据日志中的时间戳和事件，定位性能问题发生的时间段和可能的原因。
#### 使用系统日志进行排查
系统日志（如 syslog、dmesg）记录了宿主机的各种事件，包括硬件信息、系统错误和性能警告，通过分析系统日志，可以排查性能问题：
1. **查看系统日志**：使用 `dmesg` 命令查看内核日志：
```shell
dmesg | less
```
查看 syslog 日志，通常位于 `/var/log` 目录下：
```shell
tail -f /var/log/syslog
```
2. **分析日志内容**：
- 检查是否有与虚拟机或宿主机相关的错误信息或警告信息。
- 根据日志信息，确定是否有硬件故障、资源瓶颈或其他性能问题。
- 使用系统日志进行排查

337
Tech/operating-system/Virtualization/2.KVM虚拟化/7. KVM 系统监控.md
View File

@ -1,349 +1,66 @@
---
title: 7. KVM 系统监控
description: 本文介绍了KVM虚拟化环境中的系统监控，强调了监控的重要性，并详细探讨了使用virsh、virt-top、top、htop、iotop和iftop等工具进行资源监控和性能优化的方法。
title: 标题
description: 描述
keywords:
- KVM
- 监控
- virsh
- virt-top
- top
- htop
- iotop
- iftop
- 关键字
tags:
- 技术/操作系统
- 虚拟化/KVM
- 标签
author: 仲平
date: 2024-07-16
---
## 监控概述
在 KVM（Kernel-based Virtual Machine）虚拟化环境中，监控是确保系统稳定性、性能优化和故障排查的重要手段。本文将探讨监控的必要性、基本原则以及常用的监控工具。
为什么需要监控？
### 为什么需要监控？
监控的基本原则
- **确保系统稳定性**：
- 通过监控系统资源使用情况和性能指标，可以及时发现潜在的问题，防止系统崩溃或服务中断。
- 实时监控有助于预防性维护，提前识别并解决硬件或软件故障。
- **优化性能**：
- 监控数据提供了关于资源使用的详细信息，帮助管理员优化虚拟机配置和资源分配，以提高整体系统性能。
- 通过性能趋势分析，可以发现并消除系统瓶颈，提升用户体验。
- **故障排查**：
- 监控日志和性能指标记录了系统运行的详细信息，帮助管理员快速定位和解决故障。
- 实时报警功能可以在问题发生时立即通知管理员，减少故障排除时间和系统停机时间。
- **容量规划**：
- 监控资源使用趋势和增长情况，有助于进行合理的容量规划，确保系统在未来增长中仍能稳定运行。
- 提前规划资源扩展，避免资源不足导致的性能下降。
### 监控的基本原则
| 原则 | 详细内容 |
| -------------- | ------------------------------------------------------------ |
| **全面覆盖** | 监控系统应覆盖所有关键组件，包括 CPU、内存、磁盘、网络等资源，以及虚拟机和宿主机的状态。 监控范围还应包括应用层面的性能指标，以全面掌握系统运行状况。 |
| **实时性** | 监控系统应提供实时的数据采集和报警功能，确保在问题发生时能够立即响应。 实时监控有助于快速发现和解决突发问题，减少对业务的影响。 |
| **历史记录** | 监控系统应保存历史数据，便于进行趋势分析和性能基线建立。 历史记录有助于识别长期趋势和周期性问题，进行有效的容量规划和性能优化。 |
| **报警机制** | 监控系统应具备灵活的报警机制，根据预定义的阈值触发报警，通知管理员采取措施。 报警应支持多种通知方式（如邮件、短信、即时通讯工具），确保及时传达信息。 |
| **可视化展示** | 监控数据应通过可视化的方式展示，便于管理员直观了解系统状态和性能指标。 可视化工具（如仪表盘、图表）有助于快速识别问题和进行数据分析。 |
### 常用的监控工具
| 工具 | 概述 | 特点 |
| -------------- | ------------------------------------------------------------ | ------------------------------------------------------------ |
| **Prometheus** | Prometheus 是一款开源的系统监控和报警工具，特别适用于云原生和容器化环境。 | 高效的数据采集和存储，强大的查询语言（PromQL），灵活的报警机制，丰富的可视化支持（如 Grafana）。 |
| **Grafana** | Grafana 是一款开源的可视化和分析平台，用于展示和监控系统数据。 | 支持多种数据源（如 Prometheus、InfluxDB、Elasticsearch），强大的仪表盘和图表功能，灵活的报警和通知机制。 |
| **Zabbix** | Zabbix 是一款开源的企业级监控解决方案，适用于大规模分布式系统的监控。 | 全面的监控功能，灵活的报警机制，强大的数据可视化和报告生成能力，广泛的社区支持。 |
| **Nagios** | Nagios 是一款经典的开源监控工具，广泛应用于 IT 基础设施的监控。 | 灵活的插件机制，支持多种监控对象，可靠的报警和通知功能，丰富的社区插件。 |
| **Collectd** | Collectd 是一款轻量级的系统统计收集工具，用于收集和传输系统性能数据。 | 高效的数据采集，多种插件支持，灵活的数据输出选项（如写入 InfluxDB、Graphite）。 |
| **Telegraf** | Telegraf 是一个开源的服务器代理，用于收集和发送指标数据，作为 TICK（Telegraf, InfluxDB, Chronograf, Kapacitor）堆栈的一部分。 | 插件驱动的架构，支持多种输入和输出插件，易于集成和扩展。 |
常用的监控工具
## 使用内置工具监控
KVM（Kernel-based Virtual Machine）环境中，内置的监控工具如 `virsh` 和 `virt-top` 提供了便捷的虚拟机监控方法，帮助管理员实时了解虚拟机的运行状态和资源使用情况。本文将详细介绍如何使用 `virsh` 和 `virt-top` 进行监控。
### 使用 `virsh` 进行监控
`virsh` 是 libvirt 提供的命令行工具，用于管理和监控 KVM 虚拟机。通过 `virsh` 命令，可以查看虚拟机的信息和资源使用情况。
- 查看虚拟机信息
#### 查看虚拟机信息
使用 `virsh` 命令可以查看虚拟机的基本信息，包括状态、配置和资源分配情况：
1. **列出所有虚拟机**：
```shell
virsh list --all
```
输出示例：
```
Id Name State
----------------------------------------------------
1 myvm running
- testvm shut off
```
2. **查看虚拟机详细信息**：
```shell
virsh dominfo <VM名>
```
输出示例：
```text
Id: 1
Name: myvm
UUID: 2d4c3b1c-467d-4b88-8f0d-5b63a3c6e29d
OS Type: hvm
State: running
CPU(s): 4
Max memory: 2097152 KiB
Used memory: 2097152 KiB
Persistent: yes
Autostart: disable
Managed save: no
```
#### 监控资源使用情况
通过 `virsh` 命令，可以监控虚拟机的实时资源使用情况，包括 CPU 和内存使用情况：
1. **查看虚拟机 CPU 和内存使用情况**：
```shell
virsh domstats <VM名>
```
输出示例：
```text
Domain: 'myvm'
state.state=1
state.reason=1
cpu.time=1234567890
cpu.user=234567890
cpu.system=34567890
balloon.current=2097152
balloon.maximum=2097152
balloon.swap_in=0
balloon.swap_out=0
balloon.major_fault=0
balloon.minor_fault=12345
balloon.usable=1987654
...
```
2. **查看所有虚拟机的资源使用情况**：
```shell
virsh list --all --name | xargs -I{} virsh domstats {}
```
该命令将列出所有虚拟机的资源使用统计信息，便于管理员进行整体监控。
- 监控资源使用情况
### 使用 `virt-top` 监控
`virt-top` 是一个类似于 `top` 的命令行工具，用于实时监控 KVM 虚拟机的性能和资源使用情况。通过 `virt-top`，管理员可以直观地查看每个虚拟机的 CPU、内存、磁盘和网络使用情况。
- 安装和配置 `virt-top`
#### 安装和配置 `virt-top`
1. **安装 `virt-top`**：
```shell
## 在基于 Debian 的系统（如 Ubuntu）上
sudo apt-get install virt-top
## 在基于 RHEL 的系统（如 CentOS）上
sudo yum install virt-top
```
1. **配置 `virt-top`**：
安装完成后，运行 `virt-top` 命令启动监控：
```shell
sudo virt-top
```
### 使用 `virt-top` 查看虚拟机性能
`virt-top` 提供了一个交互式界面，显示每个虚拟机的详细性能数据：
1. **启动 `virt-top`**：
```shell
sudo virt-top
```
输出示例：
```text
virt-top 0.5.12 x86_64 libvirt 6.0.0
2 domains, 1 active, 1 running, 0 sleeping, 0 paused, 0 inactive D:0 O:0 X:0
CPU: 2.0% Mem: 2097152 kB (64.0%) RSS: 512 MB
Domains: 2 ID S RDRQ RDRS WRRQ WRRS RXBY TXBY %CPU %MEM
1 myvm 1 R 0 0 0 0 0 0 2.0 64.0
```
2. **查看具体虚拟机的详细信息**：
- 在 `virt-top` 界面中，使用箭头键选择具体的虚拟机，然后按回车键查看详细信息。
- 可以查看的性能指标包括：CPU 使用率、内存使用率、磁盘读写、网络接收和发送等。
3. **自定义视图和排序**：
- 按 `f` 键选择要显示的字段，可以选择 CPU、内存、磁盘、网络等不同的监控指标。
- 按 `s` 键选择排序方式，可以按 CPU 使用率、内存使用率、磁盘 I/O 等进行排序，方便定位高负载的虚拟机。
通过使用 `virsh` 和 `virt-top` 工具，管理员可以方便地监控 KVM 虚拟化环境中虚拟机的运行状态和资源使用情况。这些工具提供了丰富的命令和参数，可以满足大部分日常监控和性能分析的需求。在实际应用中，应根据具体需求和环境特点，选择合适的监控工具和方法，以确保虚拟机和宿主机的稳定运行和高效性能。
- 使用 `virt-top` 查看虚拟机性能
## 使用系统监控工具
除了专门的虚拟化监控工具，系统自带的监控工具如 `top`、`htop`、`iotop` 和 `iftop` 也可以用来监控 KVM 虚拟化环境中的性能。本文将详细介绍这些工具的使用方法，包括查看系统整体性能、监控虚拟机的资源占用、监控磁盘 I/O 性能以及监控网络流量。
### 使用 `top` 和 `htop`
## 使用 `top` 和 `htop`
- 查看系统整体性能
### 查看系统整体性能
- 监控虚拟机的资源占用
`top` 和 `htop` 是常用的系统性能监控工具，提供了关于系统资源使用的实时信息：
### 使用 `iotop`
1. **使用 `top` 查看系统性能**：启动 `top`：
- 监控磁盘 I/O 性能
```shell
top
```
- 找出性能瓶颈
输出示例：
### 使用 `iftop`
```text
top - 14:55:30 up 10 days, 2:48, 3 users, load average: 0.00, 0.01, 0.05
Tasks: 125 total, 1 running, 124 sleeping, 0 stopped, 0 zombie
%Cpu(s): 0.3 us, 0.1 sy, 0.0 ni, 99.5 id, 0.0 wa, 0.0 hi, 0.1 si, 0.0 st
KiB Mem : 2048.0 total, 104.0 free, 512.0 used, 1432.0 buff/cache
KiB Swap: 1024.0 total, 1024.0 free, 0.0 used. 1480.0 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1234 root 20 0 162180 7644 4388 S 0.3 0.4 0:00.03 qemu-kvm
...
```
- 监控网络流量
该命令显示系统的 CPU、内存使用情况，以及每个进程的资源占用。
- 分析网络性能问题
2. **使用 `htop` 查看系统性能**：启动 `htop`（如果未安装，可以通过 `sudo apt-get install htop` 或 `sudo yum install htop` 安装）：
## 高级监控工具
```shell
htop
```
### 使用 `Nagios` 和 `Zabbix`
`htop` 提供了比 `top` 更友好的界面，支持鼠标操作和自定义视图。可以使用上下箭头键浏览进程，使用 F2 键进入设置界面。
- 安装和配置 `Nagios`/`Zabbix`
### 监控虚拟机的资源占用
- 配置 KVM 虚拟机监控
在 `top` 和 `htop` 中，可以通过筛选 KVM 相关进程来监控虚拟机的资源占用情况：
### 使用 `Prometheus` 和 `Grafana`
1. **使用 `top` 监控虚拟机资源占用**：
- 安装和配置 `Prometheus`
启动 `top` 后，按 `u` 键，然后输入虚拟机所属用户（通常是 qemu 或 libvirt），按回车键：
```shell
top -u qemu
```
该命令将只显示属于该用户的进程，包括 KVM 虚拟机进程。
2. **使用 `htop` 监控虚拟机资源占用**：启动 `htop` 后，按 `F4` 键进入过滤模式，然后输入 `qemu` 或虚拟机进程名：
```shell
htop
```
## 使用 `iotop`
`iotop` 是一个用于监控磁盘 I/O 性能的工具，可以帮助找出性能瓶颈。需要 root 权限运行。
### 监控磁盘 I/O 性能
1. **安装 `iotop`**：
```shell
# 在基于Debian的系统上
sudo apt-get install iotop
# 在基于RHEL的系统上
sudo yum install iotop
```
2. **启动 `iotop`**：
```shell
sudo iotop
```
输出示例：
```text
less复制代码Total DISK READ : 0.00 B/s | Total DISK WRITE : 0.00 B/s
Actual DISK READ: 0.00 B/s | Actual DISK WRITE: 0.00 B/s
TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
1234 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % [kworker/0:1]
...
```
`iotop` 显示每个进程的实时磁盘读写速度，帮助管理员识别高 I/O 负载进程。
### 找出性能瓶颈
1. **通过排序和过滤找出 I/O 瓶颈**：
- 在 `iotop` 界面中，按 `O` 键只显示正在进行 I/O 操作的进程。
- 按 `P` 键根据 I/O 优先级排序，或按 `T` 键根据线程排序，快速定位高 I/O 负载进程。
2. **查看具体进程的 I/O 使用情况**：
- 使用上下箭头键选择具体进程，查看详细的 I/O 读写情况。可以通过进程 ID（PID）进一步分析相关进程的具体操作和配置。
## 使用 `iftop`
`iftop` 是一个实时网络流量监控工具，可以帮助分析网络性能问题。
### 监控网络流量
1. **安装 `iftop`**：
```shell
## 在基于 Debian 的系统上
sudo apt-get install iftop
## 在基于 RHEL 的系统上
sudo yum install iftop
```
2. **启动 `iftop`**：
```shell
sudo iftop
```
输出示例：
```text
interface: eth0
IP address is: 192.168.1.10
MAC address is: 00:1a:4b:16:01:59
Listening on port 0000
---------------------------------------------------
192.168.1.10 => 192.168.1.1 123KB 456KB 789KB
<= 23KB 56KB 89KB
...
```
`iftop` 显示网络接口的实时流量情况，包括发送和接收数据的速率。
### 分析网络性能问题
1. **通过排序和过滤分析流量**：
- 在 `iftop` 界面中，按 `P` 键切换端口显示模式，按 `N` 键切换主机名显示模式，按 `S` 键切换源地址和目的地址显示顺序。
- 使用 `l` 键限制显示特定网络接口的流量，帮助聚焦分析特定接口的网络性能。
2. **查看具体连接的流量使用情况**：
- 使用上下箭头键选择具体连接，查看详细的流量使用情况。可以进一步分析哪些主机或服务占用了过多的网络带宽。
通过使用系统监控工具如 `top`、`htop`、`iotop` 和 `iftop`，管理员可以实时了解 KVM 虚拟化环境中系统资源的使用情况，快速识别并解决性能问题，确保虚拟机和宿主机的稳定运行和高效性能。在实际应用中，应结合具体需求和环境特点，灵活使用这些工具进行系统监控和性能优化。
- 使用 `Grafana` 可视化监控数据