Llama dans Proxmox avec NVIDIA
Dans un précédent article j'expliquais comment j'avais installé Ollama et Open Webui dans un conteneur LXC sur Proxmox en faisant un passthrough de ma 2080Ti. Aujourd'hui, cet article est très proche du précédent, je recommence avec llama.cpp mais cette fois-ci avec ma nouvelle RTX 2080 Ti de 22 Go.
Un conteneur Proxmox LXC avec NVIDIA.
Installation des drivers NVIDIA.
Il faut installer les drivers NVIDIA sur votre serveur Proxmox. La procédure que je présente ici utilise la méthode extrepo que je trouve plus simple. Pour cela, commencez par mettre à jour votre serveur :
apt update && apt upgrade
Ensuite installons les prérequis sur Proxmox :
apt install pve-nvidia-vgpu-helper nvtop pve-headers build-essential

















