PVE虚拟机直通英伟达GPU显卡完全指南

前言

本教程在pve宿主机执行

一. 前提条件

Bios开启VT-d HD-t

1、确认CPU是否支持VT-D

Inter官网查询： https://www.intel.cn
AMD官方网站： https://www.amd.com/zh-hans
- 例： i7-7700 查询结果

2、确保启动方式为gurb，非systemd-boot
如果启动方式为systemd-boot，在0x02步骤中需要参考 [3] Proxmox VE Administration Guide 开启iommu功能或参考本文末尾下方第二链接即 proxmox-boot-tool refresh

二. 开启IOMMU功能

编辑文件/etc/default/grub，修改GRUB_CMDLINE_LINUX_DEFAULT字段值

如果为Intel的CPU

1	GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on"

如果为AMD的CPU

1	GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on"

三. 添加`VT-D`功能的内核模块

打开文件/etc/modules，新增以下4行内容

vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

四. 屏蔽宿主机显卡驱动

# 屏蔽镭龙显卡驱动
echo "blacklist radeon" >> /etc/modprobe.d/pve-blacklist.conf

# 屏蔽英伟达显卡的开源nouveau驱动
echo "blacklist nouveau" >> /etc/modprobe.d/pve-blacklist.conf

# 屏蔽英伟达显卡驱动
echo "blacklist nvidia" >> /etc/modprobe.d/pve-blacklist.conf

五. 其它参数

# 允许不安全的中断
echo "options vfio_iommu_type1 allow_unsafe_interrupts=1" > /etc/modprobe.d/iommu_unsafe_interrupts.conf

# 忽略异常，防止虚拟机异常导致宿主机崩溃
#   ignore_msrs             :   忽略异常
#   report_ignored_msrs     :   是否报告异常
echo "options kvm ignore_msrs=1 report_ignored_msrs=0" > /etc/modprobe.d/kvm.conf

六. 配置VFIO

ps：执行此操作后可能无法输出到外接显示器，若出现此情况，请撤回该步骤

1、查看显卡ID

1 2	root@pve:~# lspci -nn \| grep VGA 01:00.0 VGA compatible controller [0300]: NVIDIA Corporation Device [10de:2685] (rev a1)

N卡编号为01:00，搜索对应的设备ID和音频设备ID

1
2
3

root@pve:~# lspci -n -s 01:00
01:00.0 0300: 10de:2685 (rev a1)
01:00.1 0403: 10de:22ba (rev a1)

或者直接以NVIDIA为关键词搜索相关的设备，其中一个是音频

1
2
3

root@pve:~# lspci -nn | grep NVIDIA
01:00.0 VGA compatible controller [0300]: NVIDIA Corporation Device [10de:2685] (rev a1)
01:00.1 Audio device [0403]: NVIDIA Corporation AD102 High Definition Audio Controller [10de:22ba] (rev a1)

得到显卡的设备ID和显卡内置音频设备ID为：

显卡ID： 10de:2685
音频ID： 10de:22ba

2、将设备ID添加到vfio.conf

1
2
3

echo "options vfio-pci ids=10de:2685,10de:22ba disable_vga=1" > /etc/modprobe.d/vfio.conf
# 如果无法输出到外接显示器，取消disable_vga=1参数试试
echo "options vfio-pci ids=10de:2685,10de:22ba" > /etc/modprobe.d/vfio.conf

七. 应用更改

1、刷新更改
1
2
update-grub
update-initramfs -u -k all
2、重启PVE
1
reboot

3、检查是否配置成功

root@pve:~# lspci -nnk
01:00.0 VGA compatible controller [0300]: NVIDIA Corporation Device [10de:2685] (rev a1)
        Subsystem: Shenzhen Colorful Yugong Technology and Development Co. Device [7377:1400]
        Kernel driver in use: vfio-pci
        Kernel modules: nvidiafb, nouveau
01:00.1 Audio device [0403]: NVIDIA Corporation AD102 High Definition Audio Controller [10de:22ba] (rev a1)
        Subsystem: Shenzhen Colorful Yugong Technology and Development Co. AD102 High Definition Audio Controller [7377:1400]
        Kernel driver in use: vfio-pci
        Kernel modules: snd_hda_intel