13년차의 서버실

서버, 인프라, 홈랩 기술 블로그

[태그:] vGPU

  • [Proxmox] Proxmox GPU 패스스루: Error 43·IOMMU 문제 완벽 해결 가이드

    [Proxmox] Proxmox GPU 패스스루: Error 43·IOMMU 문제 완벽 해결 가이드

    목차

    안녕하세요, 13년차 서버실 지킴이입니다. 오늘은 홈랩(Homelab)에서 Proxmox VE를 운영하면서 정말 많은 분들이 도전하고 그만큼 많은 삽질을 하는 주제, 바로 Proxmox GPU 패스스루(Passthrough)와 GPU 가상화에 대해 이야기해보려고 합니다. 저도 처음에는 ‘이거 뭐 별거 있겠어?’ 하고 덤볐다가, 밤새도록 머리 싸매고 고민했던 경험이 한두 번이 아니거든요. 특히 Error 43이나 IOMMU 관련 문제들은 정말이지… 멘탈을 흔들리게 하죠. 😅

    하지만 결국 해결하고 나면, 가상머신(Virtual Machine, VM)에서 직접 게임을 돌리거나, AI/ML(머신러닝) 작업을 하거나, 고화질 미디어 서버를 구축하는 등 무궁무진한 가능성이 열리게 됩니다. 제가 직접 부딪히고 해결했던 경험들을 바탕으로, 여러분들이 겪을 수 있는 흔한 문제들과 그 해결 전략을 자세히 알려드릴게요. 멘토처럼 든든하게 옆에서 알려드리는 마음으로 시작해볼까요?

    Proxmox GPU 패스스루의 전체적인 구조를 한눈에 볼 수 있는 다이어그램입니다. 호스트 서버의 물리 GPU가 가상머신으로 직접 연결되는 방식이죠.

    Proxmox GPU 패스스루, vGPU, 그리고 IOMMU 개념 이해하기

    본격적인 설정에 들어가기 전에, 몇 가지 핵심 개념을 확실히 짚고 넘어가야 합니다. 이게 헷갈리면 나중에 삽질의 깊이가 더 깊어지거든요. 제가 처음 그랬습니다. ㅎㅎ

    GPU 패스스루 (GPU Passthrough)

    • 무엇인가요? 쉽게 말해, Proxmox 호스트 서버에 꽂혀 있는 물리적인 GPU(그래픽 카드)를 특정 가상머신이 단독으로 사용할 수 있도록 넘겨주는 기술입니다. 마치 그 VM에 GPU가 직접 꽂혀 있는 것처럼 만들어주는 거죠.
    • 왜 필요한가요? 게임, 영상 편집, 딥러닝(Deep Learning) 학습 등 높은 그래픽 성능이나 GPU 병렬 연산 능력이 필요한 작업들을 가상머신 환경에서 효율적으로 처리하려면 필요해요. 일반적인 가상화 환경에서는 GPU 자원을 공유하기 때문에 제 성능을 내기 어렵거든요.

    vGPU (Virtual GPU)

    • 무엇인가요? GPU 패스스루가 하나의 GPU를 하나의 VM에 통째로 넘겨주는 방식이라면, vGPU는 하나의 물리 GPU를 여러 가상머신이 나눠서 사용할 수 있도록 하는 기술입니다.
    • 홈랩에선 어떤가요? 사실 vGPU는 NVIDIA GRID 같은 특정 엔터프라이즈용 GPU와 드라이버, 라이선스 정책이 필요해서 홈랩 환경에서 쉽게 구현하기는 어렵더라고요. 저도 여러 번 시도해봤지만, 비용과 복잡성 때문에 결국 패스스루에 집중하게 되었어요. 혹시 나중에 더 발전된 오픈소스 vGPU 솔루션이 나온다면 꼭 다뤄보고 싶네요!

    IOMMU (Input/Output Memory Management Unit)

    • 무엇인가요? IOMMU는 CPU와 PCIe 장치(GPU 포함) 사이의 메모리 접근을 관리하는 장치예요. 쉽게 말해, 가상머신이 물리 장치에 직접 접근할 수 있도록 메모리 주소를 매핑(Mapping)해주는 역할을 하죠.
    • 왜 중요한가요? GPU 패스스루를 위해서는 IOMMU가 필수적으로 활성화되어야 해요. 그래야 Proxmox 호스트가 GPU를 VM에 안전하고 효율적으로 넘겨줄 수 있거든요. 이게 비활성화되어 있으면 아무리 다른 설정을 잘해도 패스스루는 불가능합니다. 저도 처음에 BIOS에서 이걸 빼먹어서 몇 시간을 날렸던 기억이 생생하네요 😭.

    Error 43

    • 무엇인가요? Windows 가상머신에 NVIDIA 또는 AMD 그래픽 드라이버를 설치했을 때, 장치 관리자에서 ‘이 장치에 대한 드라이버를 로드할 수 없습니다. (코드 43)’이라는 메시지가 뜨는 현상이에요.
    • 왜 발생하나요? 대부분의 GPU 드라이버는 가상머신 환경에서 설치되는 것을 막기 위한 보호 장치를 가지고 있어요. VM 환경임을 감지하면 드라이버가 제대로 동작하지 않도록 하는 거죠. 이걸 우회하는 방법을 찾아야 합니다.

    Proxmox GPU 패스스루 실전 구현: 단계별 설정

    자, 이제 개념을 알았으니 직접 Proxmox에 GPU 패스스루를 설정해보겠습니다. 제가 겪었던 시행착오들을 줄여드리기 위해 핵심만 콕콕 짚어드릴게요.

    1. BIOS/UEFI 설정 변경

    가장 기본 중의 기본입니다. 메인보드 BIOS/UEFI 설정으로 들어가서 아래 항목들을 활성화해야 합니다.

    • Intel VT-d (Intel CPU 사용자) 또는 AMD-V (AMD CPU 사용자): 가상화 기술 및 IOMMU를 활성화하는 옵션이에요.
    • SR-IOV (Supported if available): PCIe 장치 가상화 기술인데, GPU 패스스루에 직접적인 필수 요소는 아니지만 활성화해두면 좋아요.
    • Above 4G Decoding: 일부 메인보드에서 GPU 메모리 주소 할당을 위해 필요합니다. GPU 패스스루 시 안정성을 높여줄 수 있어요.
    • CSM (Compatibility Support Module) 비활성화: UEFI 부팅 환경을 제대로 활용하기 위함입니다.

    설정을 변경한 후에는 반드시 저장하고 재부팅해주세요.

    2. Proxmox VE 호스트 설정

    이제 Proxmox 쉘에 접속하여 필요한 모듈을 로드하고 GRUB 설정을 변경해야 합니다.

    2.1. 필수 모듈 로드

    IOMMU와 VFIO(Virtual Function I/O) 관련 모듈을 로드해야 해요. /etc/modules 파일을 열어 아래 내용을 추가합니다.

    echo "vfio" >> /etc/modules
echo "vfio_iommu_type1" >> /etc/modules
echo "vfio_pci" >> /etc/modules
echo "vfio_virqfd" >> /etc/modules

# 변경사항 적용을 위해 모듈 로드 (재부팅해도 유지됨)
update-initramfs -u -k all

    이후 reboot 명령으로 재부팅하는 것을 추천합니다.

    2.2. GRUB 설정 변경 (IOMMU 활성화 및 GPU 블랙리스트)

    GRUB 부트로더 설정을 통해 IOMMU를 활성화하고, Proxmox 호스트가 패스스루할 GPU를 사용하지 못하도록 블랙리스트에 추가해야 해요.

    nano /etc/default/grub

    GRUB_CMDLINE_LINUX_DEFAULT 라인을 찾아서 아래와 같이 수정합니다.

    • Intel CPU: GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"
    • AMD CPU: GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt"

    여기에 GPU 블랙리스트 설정을 추가합니다. 먼저 패스스루할 GPU의 벤더 ID와 장치 ID를 확인해야 해요. 쉘에서 다음 명령어를 실행합니다.

    lspci -nn | grep -i vga

    출력 결과는 보통 이런 식일 겁니다:

    01:00.0 VGA compatible controller [0300]: NVIDIA Corporation GP107 [GeForce GTX 1050 Ti] [10de:1c82] (rev a1)
01:00.1 Audio device [0403]: NVIDIA Corporation GP107 High Definition Audio Controller [10de:0fb9] (rev a1)

    여기서 [10de:1c82]와 [10de:0fb9]가 각각 GPU 비디오 장치와 오디오 장치의 벤더 ID:장치 ID예요. 이 값들을 콤마(,)로 구분하여 GRUB 설정에 추가합니다.

    # Intel CPU 예시 (GTX 1050 Ti 기준)
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt video=efifb:off,vesafb:off disable_vga=1 vfio_pci.ids=10de:1c82,10de:0fb9"

    ⚠️ 중요: video=efifb:off,vesafb:off disable_vga=1 옵션은 Proxmox 호스트가 해당 GPU를 초기화하지 않도록 하여 패스스루 시 발생할 수 있는 충돌을 방지해요. 이 옵션 없이는 Error 43이 발생할 확률이 매우 높아집니다.

    GRUB 설정을 변경했으면, 반드시 업데이트하고 initramfs를 다시 생성해야 합니다.

    update-grub
update-initramfs -u -k all
reboot
    Proxmox VM 설정에서 PCIe 장치 추가 화면

    Proxmox 웹 UI에서 가상머신에 GPU 장치를 추가하는 모습입니다. 올바르게 설정되었다면 목록에 GPU가 보일 거예요.

    3. 가상머신 (VM) 설정

    Proxmox 호스트 설정이 끝났으니, 이제 GPU를 사용할 가상머신을 설정할 차례예요.

    3.1. VM 생성 시 주의사항

    • OS Type: Windows 사용 시 ‘Microsoft Windows’ 선택.
    • BIOS: ‘OVMF (UEFI)’를 선택해야 해요. 레거시 BIOS는 패스스루 시 문제가 많더라고요.
    • Machine: ‘q35’를 선택하는 게 좋아요. PCIe 장치 관리에 더 최적화되어 있거든요.
    • CPU: ‘Host’로 설정하여 호스트 CPU의 모든 기능을 VM에서 활용할 수 있도록 합니다.
    • Disk: SATA 또는 SCSI(VirtIO)를 사용하되, SCSI VirtIO를 추천합니다. 성능이 더 좋아요.

    3.2. GPU 장치 추가

    VM 생성 후, VM의 ‘Hardware’ 탭으로 이동하여 ‘Add’ -> ‘PCI Device’를 선택합니다.

    • PCIe Device: 패스스루할 GPU의 비디오 장치와 오디오 장치를 각각 추가해요.
    • All Functions: 활성화합니다.
    • Primary GPU: 패스스루할 GPU를 VM의 주 GPU로 설정하려면 활성화합니다.
    • ROM-Bar: 활성화하는 것을 추천해요. 특히 구형 GPU에서 문제가 생길 때 해결책이 될 수 있거든요.

    3.3. QEMU/KVM 추가 설정 (중요!)

    이제 Error 43을 피하기 위한 핵심 설정입니다. Proxmox 웹 UI에서는 설정할 수 없는 고급 옵션이므로, Proxmox 쉘에서 qm set 명령어를 사용해야 해요.

    # VM ID는 여러분의 VM ID로 변경해주세요 (예: 100)
# 'kvm=off,hv_vendor_id=null' 옵션으로 VM 환경 감지 우회
qm set <VM_ID> -args '-cpu host,kvm=off,hv_vendor_id=null'
# VM ID 100번에 대한 예시
qm set 100 -args '-cpu host,kvm=off,hv_vendor_id=null'

    또는 VM 설정 파일 (/etc/pve/qemu-server/<VM_ID>.conf)을 직접 수정하여 args: 라인을 추가할 수도 있어요.

    # /etc/pve/qemu-server/100.conf 예시
args: -cpu host,kvm=off,hv_vendor_id=null

    이 설정은 QEMU/KVM이 가상화 환경임을 숨기도록 도와주며, NVIDIA나 AMD 드라이버가 VM 환경을 감지하지 못하게 해요. 저도 이 설정 하나로 몇 번의 Error 43을 해결했었습니다. 💡

    ⚠️ 흔한 문제와 해결 전략 (삽질 경험 공유)

    제가 Proxmox GPU 패스스루를 하면서 가장 많이 겪었던 문제들과 그 해결 전략을 솔직하게 공유합니다. 여러분은 저처럼 삽질하지 마세요!

    1. IOMMU 그룹 문제 (가장 흔하고 골치 아픈 문제)

    문제: IOMMU가 활성화되었는데도 GPU가 VM에 제대로 패스스루되지 않거나, VM이 부팅되지 않는 경우가 있어요. lspci -nnk 명령으로 보면 분명 VFIO 드라이버가 붙어있는데 말이죠.

    원인: 이는 대부분 IOMMU 그룹 문제 때문입니다. IOMMU는 장치들을 ‘그룹’으로 묶어서 관리하는데, 만약 GPU와 다른 중요 장치(예: USB 컨트롤러, PCIe 브리지)가 같은 그룹에 묶여 있다면, GPU만 개별적으로 패스스루하기 어렵더라고요. IOMMU는 그룹 단위로 장치를 격리하려 하기 때문이죠.

    확인 방법: 다음 명령어로 현재 시스템의 IOMMU 그룹을 확인해볼 수 있어요.

    for iommu_group in $(find /sys/kernel/iommu_groups/ -maxdepth 1 -mindepth 1 -type d); do echo "IOMMU Group $(basename "$iommu_group")"; for device in $(ls -v "$iommu_group"/devices/); do echo -n $'\t'; lspci -nns "$device"; done; done

    이 결과를 보고 GPU와 그에 딸린 오디오 장치만 하나의 그룹에 묶여 있고, 다른 장치들과는 분리되어 있는지 확인해야 해요. 만약 GPU와 다른 장치들이 같은 그룹에 묶여 있다면… 아, 골치 아파지는 거죠.

    해결 전략:

    • 다른 PCIe 슬롯 사용: 메인보드마다 PCIe 슬롯의 IOMMU 그룹 분리 방식이 달라요. GPU를 다른 PCIe 슬롯에 꽂아보세요. 의외로 간단하게 해결되는 경우가 많습니다.
    • BIOS/UEFI 설정 재확인: ‘Above 4G Decoding’이나 ‘PCIe ARI Support’ 같은 옵션들이 IOMMU 그룹화에 영향을 줄 수 있어요. 활성화/비활성화해보면서 테스트해볼 필요가 있습니다.
    • 듀얼 GPU 사용: 만약 내장 그래픽(iGPU)이 있거나 다른 저렴한 그래픽 카드가 있다면, 호스트 Proxmox는 그 GPU를 사용하고, 패스스루할 GPU는 완전히 VM에 전용으로 넘겨주는 방식이 가장 확실해요. 이렇게 하면 IOMMU 그룹 문제가 발생할 확률이 현저히 줄어들어요. 저도 결국 이렇게 구성해서 안정적으로 사용하고 있습니다.
    • (고급) ACS Override Patch: 일부 커뮤니티에서는 ACS(Access Control Services) Override 패치를 커널에 적용하여 IOMMU 그룹을 강제로 분리하는 방법도 사용하지만, 이는 커널 컴파일이 필요하고 시스템 안정성에 영향을 줄 수 있어서 초보자에게는 절대 추천하지 않습니다. 잘못하면 시스템이 벽돌이 될 수 있어요.

    2. Windows VM에서 Error 43 발생

    문제: 위에서 설명한 `qm set` 명령어를 통한 `kvm=off,hv_vendor_id=null` 설정에도 불구하고 여전히 Error 43이 발생하는 경우가 있어요.

    원인: NVIDIA나 AMD 드라이버가 VM 환경을 감지하는 방식이 점점 더 교묘해지고 있어요. 또는 BIOS/UEFI 설정이 제대로 안 되어 있을 수도 있습니다.

    해결 전략:

    • BIOS/UEFI 설정 재확인: ‘Above 4G Decoding’이 활성화되어 있는지, ‘CSM’이 비활성화되어 있는지 다시 한번 확인해주세요. 이 두 가지는 Error 43과 깊은 연관이 있어요.
    • 최신 드라이버 vs. 구형 드라이버: 때로는 최신 드라이버보다 약간 구형 드라이버가 VM 환경에서 더 잘 작동하는 경우가 있어요. 특히 NVIDIA 드라이버는 특정 버전에서 VM 감지 로직이 더 강화되기도 합니다. 몇 가지 드라이버 버전을 시도해보는 것도 방법이에요.
    • Windows 업데이트 확인: Windows 업데이트가 드라이버와 충돌을 일으키는 경우도 있어요. 드라이버 설치 전 Windows를 최신 상태로 업데이트하거나, 반대로 특정 업데이트를 제거해보는 것도 시도해볼 수 있습니다.

    3. VM 부팅 시 화면 출력 안 됨

    문제: VM은 시작되는데 모니터에 아무것도 출력되지 않거나, Proxmox 웹 UI의 콘솔 화면만 보이고 GPU 출력은 나오지 않는 경우가 있어요.

    원인: GPU 초기화 문제, 또는 VM의 메인 디스플레이 설정 문제입니다.

    해결 전략:

    • BIOS/UEFI의 Primary Graphics Adapter 설정: 메인보드 BIOS에서 Primary Graphics Adapter(주 그래픽 어댑터) 설정을 ‘PCIe’ 또는 ‘Discrete Graphics’로 변경해보세요.
    • Proxmox GRUB 설정 재확인: video=efifb:off,vesafb:off disable_vga=1 옵션이 제대로 적용되었는지 확인해요. 이 옵션이 없으면 Proxmox 호스트가 GPU를 먼저 잡아버려서 VM이 사용할 수 없게 되는 경우가 많더라고요.
    • VM에 가상 디스플레이 제거: VM의 ‘Hardware’ 탭에서 ‘Display’ 장치를 ‘none’으로 설정해보세요. GPU 패스스루 시에는 가상 디스플레이가 필요 없으며, 오히려 충돌을 일으킬 수 있거든요.

    ✅ 검증 및 결과 확인

    모든 설정을 마치고 VM을 부팅했다면, 이제 드디어 결과물을 확인할 차례예요! 이 순간이 제일 두근거리고, 성공하면 희열이 엄청나죠. 🎉

    1. Windows 장치 관리자 확인

    Windows VM에 접속하여 ‘장치 관리자(Device Manager)’를 열어보세요. ‘디스플레이 어댑터(Display Adapters)’ 항목 아래에 패스스루한 GPU가 정상적으로 인식되고, 경고 표시(느낌표) 없이 드라이버가 설치되어 있다면 성공이에요!

    만약 아직도 Error 43이 보인다면, 위에 제시된 트러블슈팅 방법을 다시 한번 꼼꼼히 확인하고 재부팅을 반복해보세요. 때로는 인내심이 필요해요. 끈기가 정답이더라고요.

    2. GPU-Z 또는 FurMark로 테스트

    GPU-Z 같은 유틸리티를 설치해서 GPU 정보가 정확하게 표시되는지 확인하고, FurMark 같은 벤치마크 툴로 간단한 스트레스 테스트를 진행해보세요. 이때 GPU 온도가 정상적으로 표시되고, 프레임이 잘 나온다면 완벽하게 패스스루가 된 거예요. 저는 이때마다 ‘드디어 됐다!’ 하고 외치곤 합니다. 😂

    Windows VM에서 GPU-Z를 통한 Proxmox GPU 패스스루 확인

    Windows VM 안에서 GPU-Z를 실행한 모습입니다. 물리 GPU 정보가 그대로 잘 보이죠? 이 화면을 보면 얼마나 뿌듯한지 몰라요!

    마무리하며: 삽질 끝의 뿌듯함, 그리고 다음 단계

    Proxmox GPU 패스스루, 결코 쉽지 않은 여정입니다. 특히 IOMMU 그룹 문제나 Error 43 같은 예상치 못한 복병들을 만나면 ‘이거 그냥 포기할까?’ 하는 생각도 들죠. 저도 수도 없이 그런 생각을 했었어요. 하지만 포기하지 않고 끈기 있게 해결해나가다 보면, 결국 원하는 결과를 얻게 되고 그 과정에서 정말 많은 것을 배우게 됩니다.

    이렇게 GPU 패스스루를 성공하고 나면, 여러분의 Proxmox 홈랩은 한 단계 더 강력해질 거예요. 고성능 게이밍 머신, AI 개발 환경, 또는 고화질 트랜스코딩이 가능한 미디어 서버 등 게임부터 AI 개발까지 뭐든 가능해지는 기반이 마련되는 거죠.

    다음번에는 이렇게 구축된 강력한 VM 환경을 활용하여 Docker 컨테이너 환경을 효율적으로 관리하는 방법이나, ZFS 또는 Ceph를 이용한 스토리지 구성에 대해 다뤄볼 수도 있겠네요. 궁금한 점이 있다면 언제든지 댓글로 남겨주세요! 제 삽질 경험이 여러분의 시간을 아껴주기를 바라며, 오늘의 이야기는 여기서 마치겠습니다. 긴 글 읽어주셔서 감사합니다!

    Proxmox GPU 패스스루 성공과 실패 시나리오 비교 인포그래픽

    Proxmox GPU 패스스루의 성공과 실패 시나리오를 한눈에 비교해주는 인포그래픽입니다. 성공했을 때의 짜릿함과 실패했을 때의 좌절감이 느껴지시나요?

  • [Proxmox] PCIe 패스스루 오류: vGPU 가상화 실패 디버깅 사례

    [Proxmox] PCIe 패스스루 오류: vGPU 가상화 실패 디버깅 사례

    목차

    [Proxmox] PCIe 패스스루 오류: vGPU 가상화 실패 디버깅 사례

    안녕하세요, 13년차 서버실 지킴이, ’13년차의 서버실’입니다. 홈랩에서 다양한 장비들을 만져보며 삽질을 즐기는 저에게, 가장 큰 도전 중 하나는 역시 Proxmox PCIe 패스스루(Passthrough)더라고요. 특히 고성능 GPU를 가상 머신(Virtual Machine, VM)에 넘겨줘서 게임이나 AI 연산, 아니면 고사양 CAD 작업을 해보겠다고 마음먹었을 때의 그 설렘, 다들 경험해보셨죠?

    근데 이게 말처럼 쉽지가 않더라고요. 분명히 공식 문서와 수많은 가이드를 따라했는데도, VM에서는 GPU를 제대로 인식 못 하거나, 인식하더라도 알 수 없는 오류 코드(Error Code)를 뿜어내며 vGPU 가상화 실패를 알리는 경우가 많았습니다. 저도 처음엔 이게 뭔가 싶었는데, 결국 삽질 끝에 해결했던 경험을 여러분과 공유하려고 합니다. 혹시 저와 비슷한 문제로 골머리를 앓고 계시다면, 이 글이 작은 도움이 되기를 바랍니다.

    그림 1: Proxmox와 PCIe 패스스루의 개념적 아키텍처. 호스트의 물리 GPU가 VM에 직접 연결되는 모습을 보여줍니다.

    PCIe 패스스루와 vGPU, 그리고 VFIO: 왜 이렇게 복잡할까?

    먼저, 우리가 이야기할 핵심 개념들을 간단히 짚어볼게요. 저도 처음엔 용어 때문에 많이 헤맸거든요.

    • PCIe Passthrough (PCIe 패스스루): 쉽게 말해, Proxmox 호스트 서버에 꽂혀 있는 물리적인 PCIe 장치(예: 그래픽 카드, NVMe SSD, 네트워크 카드)를 가상 머신(VM)이 마치 자기 것처럼 직접 사용할 수 있도록 ‘직통’으로 연결해주는 기술이에요. 호스트의 간섭 없이 장치의 모든 성능을 VM이 온전히 활용할 수 있게 해줍니다.
    • vGPU (Virtual GPU): 하나의 물리적인 GPU를 여러 가상 머신이 나눠 쓸 수 있도록 해주는 기술예요. NVIDIA GRID나 AMD MxGPU 같은 솔루션들이 대표적이죠. 하지만 우리가 보통 홈랩에서 시도하는 건, 하나의 물리 GPU를 하나의 VM에 통째로 넘겨주는 싱글 GPU 패스스루(Single GPU Passthrough)가 대부분입니다.
    • IOMMU (Input/Output Memory Management Unit): CPU가 메모리를 관리하는 MMU(Memory Management Unit)처럼, IOMMU는 입출력(I/O) 장치들이 메모리에 직접 접근하는 방식(DMA, Direct Memory Access)을 관리하고 격리시켜줘요. 이 기능이 활성화되어야만 PCIe 장치를 안전하게 VM에 넘겨줄 수 있습니다. BIOS/UEFI에서 VT-d (Intel) 또는 AMD-Vi (AMD)라는 이름으로 찾아볼 수 있어요.
    • VFIO (Virtual Function I/O): Linux 커널이 제공하는 표준 인터페이스로, 안전하게 PCIe 장치를 사용자 공간(user-space) 애플리케이션(여기서는 QEMU/KVM)에 전달하는 역할을 합니다. Proxmox에서 PCIe 패스스루를 구현할 때 vfio-pci라는 커널 모듈이 핵심적인 역할을 하죠.

    결국, 이 모든 기술들이 잘 맞물려야 비로소 VM에서 GPU를 사용할 수 있게 되는 거더라고요. 어느 하나라도 삐끗하면 가상화 오류가 발생하는 겁니다.

    실전 구현: 기본 패스스루 설정 과정

    제가 Proxmox에서 NVIDIA RTX 3060 그래픽 카드를 Windows VM에 패스스루 하려고 시도했던 과정을 예시로 들어볼게요. 기본적인 설정은 다음과 같습니다.

    1. BIOS/UEFI 설정 확인: 메인보드 BIOS/UEFI 설정에서 IOMMU, VT-d (Intel) 또는 AMD-Vi (AMD) 기능을 ‘Enabled’로 활성화해야 합니다. 이 단계를 빼먹으면 모든 것이 시작도 안 돼요! ⚠️
    2. GRUB 설정 수정: Proxmox 호스트의 GRUB 부트로더 설정에 IOMMU를 활성화하는 파라미터를 추가합니다.

      # /etc/default/grub 파일 편집
sudo nano /etc/default/grub

# GRUB_CMDLINE_LINUX_DEFAULT 값에 다음 추가 (Intel CPU)
# GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"

# 또는 AMD CPU의 경우
# GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt"

# 변경사항 적용
sudo update-grub
sudo reboot
    3. VFIO 모듈 로드 및 블랙리스트 설정: Proxmox가 GPU 드라이버를 로드하지 않고, VFIO 모듈이 GPU를 점유하도록 설정합니다.

      # /etc/modules 파일에 다음 추가
sudo nano /etc/modules

# vfio_pci
# vfio_iommu_type1
# vfio
# vfio_virqfd

# 호스트 OS에서 GPU 드라이버 블랙리스트 처리
sudo nano /etc/modprobe.d/blacklist.conf

# blacklist nouveau
# blacklist amdgpu
# blacklist radeon
# blacklist nvidiafb
# blacklist snd_hda_intel # HDMI 오디오도 같이 넘길 경우

# VFIO가 GPU ID를 잡도록 설정 (Vendor ID:Device ID)
# GPU ID는 'lspci -nnk' 명령어로 확인합니다.
# 예시: NVIDIA RTX 3060 (10de:2503) / HDMI Audio (10de:228e)
sudo nano /etc/modprobe.d/vfio.conf

# options vfio-pci ids=10de:2503,10de:228e disable_vga=1

# 변경사항 적용 및 램디스크 업데이트
sudo update-initramfs -u -k all
sudo reboot
    4. IOMMU 그룹 확인: 재부팅 후, GPU가 제대로 VFIO 그룹에 할당되었는지 확인합니다.

      # IOMMU 그룹 확인 스크립트 (예시)
# /usr/src/pve/iommu.sh 같은 이름으로 저장 후 실행
#!/bin/bash
for d in $(find /sys/kernel/iommu_groups/*/devices -type l | sort -V); do
    n=${d#*/iommu_groups/*}
    printf 'IOMMU Group %s ' "${n%%/*}"
    lspci -nns "${d##*/}"
done

      여기서 GPU와 HDMI 오디오가 같은 IOMMU 그룹에 속해 있고, 다른 불필요한 장치들과 섞여 있지 않아야 해요. 만약 다른 장치와 섞여 있다면, 다음 섹션의 IOMMU Grouping 문제를 의심해봐야 합니다.

    5. Proxmox VM에 PCIe 장치 추가: Proxmox 웹 UI에서 VM 하드웨어 설정으로 들어가 ‘PCI 장치’를 추가하거나, qm set 명령어를 사용합니다. 중요한 것은 ‘모든 PCI 익스프레스 포트’를 활성화하고, ‘고급’ 옵션에서 ‘ROM-Bar’를 체크해주는 거예요.
    Proxmox VM 하드웨어 설정 PCI Device 추가 화면

    그림 2: Proxmox VM 설정 화면. PCI Device를 추가하고 ‘ROM-Bar’ 옵션을 활성화하는 모습입니다.

    ⚠️ 삽질의 시작: Proxmox vGPU 가상화 실패 디버깅 사례

    자, 여기까지는 일반적인 가이드에 나오는 내용입니다. 그런데 저의 삽질은 바로 여기서부터 시작됐더라고요. VM을 부팅하고 Windows 장치 관리자를 열어보니, 여지없이 ‘오류 코드 43’이 뜨더라고요. 드라이버를 아무리 다시 깔아도 마찬가지였습니다. 아, 이거 진짜 미치겠더라고요! 🤬

    제가 겪었던 주요 가상화 오류와 해결 과정은 다음과 같습니다.

    1. IOMMU Grouping 문제

    가장 흔한 문제더라고요. lspci -nns 명령어로 확인했을 때, GPU가 다른 불필요한 장치(예: USB 컨트롤러, SATA 컨트롤러)와 같은 IOMMU 그룹에 묶여 있는 경우가 있어요. IOMMU는 그룹 단위로만 패스스루를 허용하기 때문에, 이 경우 원하는 장치만 넘길 수가 없습니다.

    • 증상: VM에 GPU를 추가하려 할 때 Proxmox에서 ‘Device is in use’ 같은 에러가 발생하거나, 추가되더라도 VM에서 제대로 인식하지 못해요.
    • 해결책 (ACS Override 패치): GRUB 설정에 pcie_acs_override=downstream,multifunction 파라미터를 추가하여 IOMMU 그룹을 강제로 분리시키는 방법입니다. 저도 이 방법으로 많은 문제를 해결했어요.

      # /etc/default/grub 파일 수정
sudo nano /etc/default/grub

# GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_acs_override=downstream,multifunction"

# 변경사항 적용
sudo update-grub
sudo reboot

      ⚠️ 주의: 이 방법은 IOMMU의 보안 기능을 약화시킬 수 있으니까, 보안에 민감한 환경에서는 신중하게 사용하셔야 해요. 홈랩 환경에서는 보통 큰 문제가 되지 않습니다.

    2. ROM BAR 또는 VBIOS 문제 (특히 NVIDIA 카드)

    NVIDIA 그래픽 카드에서 ‘오류 코드 43’이 뜨는 가장 큰 원인 중 하나였더라고요. NVIDIA 드라이버가 가상 환경에서 실행되는 것을 감지하고 스스로 기능을 제한하는 경우가 많거든요. 또, Proxmox가 GPU의 VBIOS(Video BIOS)를 제대로 로드하지 못해서 생기는 문제도 있어요.

    • 증상: Windows VM에서 장치 관리자에 ‘오류 코드 43’이 뜨거나, 화면이 나오지 않아요.
    • 해결책 (VBIOS 덤프 및 직접 로드): 호스트에서 GPU의 VBIOS 롬 파일을 직접 추출(덤프)해서 VM 설정에 지정해주는 방법입니다. 저는 이 방법으로 RTX 3060의 ‘오류 코드 43’을 해결했어요! 🎉

      1. VBIOS 덤프: 리눅스 환경에서 GPU의 VBIOS를 추출합니다. 다른 PC에 GPU를 연결해서 GPU-Z 같은 툴로 덤프하는 방법도 있어요. 
        # VFIO에 바인딩되기 전의 GPU를 찾아서 롬 파일 덤프
# 예시: GPU가 /sys/bus/pci/devices/0000:01:00.0 에 있을 경우
sudo su
echo 1 > /sys/bus/pci/devices/0000:01:00.0/rom
cat /sys/bus/pci/devices/0000:01:00.0/rom > /var/lib/vz/snippets/vbios.rom
echo 0 > /sys/bus/pci/devices/0000:01:00.0/rom
exit
      2. VM 설정에 VBIOS 파일 지정: 덤프한 vbios.rom 파일을 Proxmox의 스니펫(Snippet) 경로(예: /var/lib/vz/snippets/)에 넣고, VM 설정에 추가합니다. 
        # VM ID가 100번일 경우
qm set 100 -args '-device vfio-pci,host=01:00.0,x-vga=on,romfile=/var/lib/vz/snippets/vbios.rom'
# 또는 VM 설정 파일 직접 수정: /etc/pve/qemu-server/100.conf
# args: -device vfio-pci,host=01:00.0,x-vga=on,romfile=/var/lib/vz/snippets/vbios.rom

        Proxmox 웹 UI에서 PCI 장치 추가 시 ‘ROM-Bar’ 옵션을 체크하는 것으로도 해결될 때가 있긴 하지만, 직접 롬 파일을 지정하는 것이 더 확실한 경우가 많았어요.

    IOMMU 그룹과 ACS Override 개념 다이어그램

    그림 3: IOMMU 그룹 문제와 해결책. ACS Override가 어떻게 장치 격리를 돕는지 보여줍니다.

    3. `vfio-pci` 드라이버 바인딩 실패

    가끔 Proxmox 호스트가 부팅될 때 GPU가 vfio-pci 드라이버에 제대로 바인딩(Binding)되지 않고, 다른 드라이버(예: nouveau, nvidia)에 먼저 잡히는 경우가 있어요. 이렇게 되면 VM에서 GPU를 사용할 수 없게 되죠.

    • 증상: lspci -nnk 명령어로 확인했을 때, GPU 장치 아래에 ‘Kernel driver in use: vfio-pci’ 대신 다른 드라이버가 표시돼요.
    • 해결책 (강제 바인딩): 부팅 시점에 스크립트를 통해 강제로 vfio-pci에 바인딩하도록 만들 수 있습니다. 보통은 /etc/modprobe.d/vfio.conf 설정으로 충분하지만, 간혹 필요한 경우도 있어요.

      # 부팅 스크립트 (예: /etc/rc.local 또는 systemd 서비스)
# PCI 장치 ID 확인 (lspci -nnk)
PCI_ID="0000:01:00.0" # 예시 GPU 장치 ID
VENDOR_ID="10de"      # 예시 NVIDIA Vendor ID
DEVICE_ID="2503"      # 예시 RTX 3060 Device ID

if [ -e /sys/bus/pci/drivers/nvidia ]; then
  echo "$PCI_ID" > /sys/bus/pci/drivers/nvidia/unbind
fi
if [ -e /sys/bus/pci/drivers/nouveau ]; then
  echo "$PCI_ID" > /sys/bus/pci/drivers/nouveau/unbind
fi

echo "$VENDOR_ID $DEVICE_ID" > /sys/bus/pci/drivers/vfio-pci/new_id

    4. Proxmox 커널 버전 문제

    간혹 특정 Proxmox 커널 버전에서 PCIe 패스스루 관련 버그가 발생하기도 해요. 특히 최신 커널로 업데이트한 후에 문제가 생겼다면 의심해볼 만합니다.

    • 증상: 이전에는 잘 되던 패스스루가 특정 커널 업데이트 후 작동하지 않거나, 예상치 못한 오류가 발생해요.
    • 해결책: Proxmox의 이전 커널 버전으로 부팅하거나, 커널을 업데이트 또는 다운그레이드하는 것을 고려해봐야 합니다. Proxmox는 여러 커널을 설치하고 선택적으로 부팅할 수 있게 지원하거든요.

    검증과 결과: 드디어 성공!

    앞서 언급한 삽질을 거쳐 모든 설정을 마치고 VM을 부팅했을 때의 쾌감이란! 🥳 Windows VM의 장치 관리자를 열었을 때, 더 이상 ‘오류 코드 43’이 뜨지 않고 NVIDIA GeForce RTX 3060이 정상적으로 인식되는 것을 확인했어요. GPU-Z 같은 툴로도 모든 정보가 정확하게 표시되는 것을 보니 정말 뿌듯하더라고요.

    그리고 가장 중요한 것은, 실제 벤치마크 프로그램이나 게임을 돌렸을 때 물리 머신에 준하는 성능이 나오는 것을 확인했을 때예요. 이 순간을 위해 그렇게 많은 밤을 새워가며 디버깅했던 거겠죠.

    호스트에서도 lspci -nnk 명령어를 다시 실행하여 GPU가 여전히 vfio-pci에 바인딩되어 있는지 확인하는 것도 중요해요. ✅

    Windows VM에서 정상 인식된 NVIDIA GPU와 GPU-Z 화면

    그림 4: Windows VM에서 NVIDIA GPU가 정상 인식되고 GPU-Z로 상세 정보가 확인되는 모습입니다.

    마무리하며: 삽질은 경험이 됩니다

    Proxmox PCIe 패스스루는 인프라 엔지니어에게 정말 까다로운 도전 과제 중 하나예요. 수많은 변수와 시스템 환경에 따라 다른 문제를 일으키기 때문에, 정답이 하나로 정해져 있지 않거든요. 저도 수많은 가상화 오류를 겪었고, 그때마다 로그를 뒤지고 포럼을 찾아보며 디버깅했어요. 이 과정 자체가 저에게는 소중한 경험과 지식으로 남더라고요.

    핵심은 문제 발생 시 당황하지 않고, dmesg, journalctl -xe 같은 시스템 로그를 꼼꼼히 확인하고, IOMMU 그룹핑이나 VBIOS 문제 등 알려진 원인들을 하나씩 점검해나가는 끈기인 것 같아요. 그리고 가장 중요한 것은, 다양한 커뮤니티와 포럼에서 얻을 수 있는 정보들이에요. 비슷한 문제를 겪은 사람들의 경험담은 정말 큰 도움이 되거든요.

    이 글이 Proxmox PCIe 패스스루와 vGPU 가상화 실패로 고생하는 분들께 작은 등불이 되기를 바랍니다. 다음번에는 vGPU Manager를 활용해서 하나의 GPU를 여러 VM이 나눠 쓰는 방법을 다뤄볼까 합니다. 그때까지 다들 즐거운 삽질(?) 되세요! 😊