Proxmox VE 网卡直通配置 🌐

1
2
3
4
5

# 检查CPU虚拟化支持
grep -E '(vmx|svm)' /proc/cpuinfo

# 检查IOMMU支持
dmesg | grep -i IOMMU

1
2

# 使用 nano 编辑器修改 GRUB 配置
nano /etc/default/grub

1
2

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"
# iommu=pt 参数仅对直通设备启用IOMMU，提高性能

1

GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt"

1
2

# 使配置修改生效
update-grub

1
2
3
4
5
6
7
8

# 编辑模块配置文件
nano /etc/modules

# 添加以下内容：
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

1
2
3

# 防止宿主机占用要直通的网卡
echo "blacklist igb" >> /etc/modprobe.d/pve-blacklist.conf
# 请将igb替换为您的网卡驱动名（如：r8169, e1000e等）

1
2

# 更新初始RAM文件系统
update-initramfs -u -k all

1
2

# 重启使所有配置生效
reboot now

1
2
3
4
5

# 检查dmesg输出中是否有IOMMU相关信息
dmesg | grep -e DMAR -e IOMMU

# 期望看到类似输出：
# DMAR: IOMMU enabled

1
2
3
4
5
6
7
8

# 查看IOMMU分组信息
find /sys/kernel/iommu_groups/ -type l

# 查看详细的PCI设备信息
lspci -nnk

# 查看特定网卡信息（示例为网络设备）
lspci | grep -i ethernet

1
2

# 确认VFIO模块正确加载
lsmod | grep vfio

1
2
3
4
5
6

# 获取网卡的PCI ID（格式：XXXX:XX:XX.X）
lspci -n | grep -i ethernet

# 示例输出：
# 02:00.0 Ethernet controller [0200]: Intel Corporation I211 Gigabit Network Connection [8086:1539] (rev 03)
# 这里8086:1539就是设备ID

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

# 检查设备是否被其他驱动占用
lspci -vvv -s 02:00.0  # 替换为您的设备地址

# 检查dmesg中关于VFIO的错误信息
dmesg | grep -i vfio

# 检查IOMMU分组是否合理
#!/bin/bash
for d in /sys/kernel/iommu_groups/*/devices/*; do
    n=${d#*/iommu_groups/*}; n=${n%%/*}
    printf 'IOMMU Group %s ' "$n"
    lspci -nns "${d##*/}"
done

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

# 恢复GRUB配置为默认值
nano /etc/default/grub
# 将参数改回 "quiet"

# 移除或注释掉 /etc/modules 中添加的vfio模块
nano /etc/modules

# 移除黑名单配置（如果添加了）
nano /etc/modprobe.d/pve-blacklist.conf

# 更新GRUB和initramfs
update-grub
update-initramfs -u -k all

# 重启系统
reboot

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

# 查看直通设备状态
virsh nodedev-list --cap pci

# 查看设备详细信息
virsh nodedev-dumpxml pci_0000_02_00_0

# 监控直通设备性能
apt install iperf3
iperf3 -s # 在服务器端
iperf3 -c server_ip # 在客户端