vLLM : servir un LLM en production, sur quel GPU et quand préférer Ollama

15 min de lecture

Visuel Wayhost bleu nuit titré « vLLM : servir un LLM en production, sur quel GPU et quand préférer Ollama », pictogramme de page web

vLLM sert un modèle de langage à de nombreux utilisateurs derrière une API compatible OpenAI. Fonctionnement, différences avec Ollama, GPU compatibles (compute capability 7.5 minimum), mémoire nécessaire, installation, sécurité et alternatives.

Par Mouhamed BANKOLE, CEO chez ITNET Technologies · Mis à jour le 18 novembre 2026 · Lecture : 10 min

Vous avez un modèle de langage qui tourne bien sur votre poste avec Ollama, et vous voulez maintenant le proposer à toute une équipe, ou derrière une application, sans que les réponses ralentissent dès que plusieurs personnes l'utilisent. vLLM est l'outil le plus cité pour ce passage en production. Encore faut-il savoir ce qu'il fait vraiment, sur quel GPU il fonctionne aujourd'hui et quand il vaut mieux s'en passer. Ce guide répond à ces questions, avec une grille de compatibilité des GPU, une procédure d'installation et les alternatives si votre carte n'est pas prise en charge.

En résumé

  • vLLM est un moteur d'inférence open source qui sert un modèle de langage à de nombreux utilisateurs simultanés, derrière une API compatible OpenAI.
  • Son gain vient de la gestion de la mémoire (PagedAttention) et du traitement des requêtes par lots continus : il augmente le débit total, pas la vitesse d'une conversation isolée.
  • La version stable exige un GPU NVIDIA de compute capability 7.5 ou plus sous Linux : une T4, une RTX 3060 ou une A100 conviennent, une V100 non.
  • Ollama reste plus simple pour un poste ou un petit usage interne ; vLLM devient utile quand les requêtes simultanées se multiplient.
  • Sans GPU compatible, deux options : Ollama sur votre carte actuelle, ou une API IA compatible OpenAI qui vous évite d'administrer le serveur.

Sommaire

  1. Qu'est-ce que vLLM ?
  2. Comment vLLM accélère-t-il un modèle de langage ?
  3. vLLM ou Ollama : lequel choisir ?
  4. Quel GPU faut-il pour faire tourner vLLM ?
  5. Combien de mémoire GPU prévoir pour un modèle ?
  6. Comment installer vLLM et lancer une API compatible OpenAI ?
  7. Comment sécuriser un serveur vLLM en production ?
  8. Que faire si votre GPU n'est pas compatible avec vLLM ?
  9. Faut-il louer un serveur GPU ou passer par une API IA ?

Qu'est-ce que vLLM ?

vLLM est une bibliothèque open source qui sert des grands modèles de langage (LLM) de façon efficace, avec un serveur d'inférence qui reçoit les requêtes et un moteur qui optimise le calcul sur le GPU (Red Hat). Concrètement, vous lui donnez un modèle, il le charge en mémoire et répond aux requêtes de vos applications.

Ce qu'il faut savoir d'emblée :

  • c'est un logiciel serveur, pensé pour Linux et les GPU de datacenter, pas une application de bureau ;
  • il télécharge par défaut les modèles depuis Hugging Face (documentation vLLM) ;
  • il expose une API compatible OpenAI : un outil déjà branché sur l'API d'OpenAI n'a qu'à changer d'adresse ;
  • un serveur vLLM sert un modèle à la fois (documentation vLLM) ;
  • il est maintenu par une large communauté, avec des contributeurs comme UC Berkeley, Hugging Face, NVIDIA et Red Hat (Red Hat).

Autrement dit, vLLM ne remplace pas le modèle : il remplace la couche qui le fait tourner et le met à disposition sur le réseau.

Comment vLLM accélère-t-il un modèle de langage ?

vLLM accélère surtout le service de nombreuses requêtes en parallèle, grâce à deux techniques : PagedAttention pour la mémoire et le traitement par lots continus pour le calcul. Une conversation seule ne va pas forcément plus vite ; c'est le débit total du serveur qui augmente.

Les mécanismes en jeu :

  • PagedAttention découpe la mémoire de travail du modèle (le cache clé-valeur, ou KV cache) en pages, sur le principe de la mémoire virtuelle d'un système d'exploitation ; la technique a été décrite dans un article de recherche de 2023 ;
  • moins de mémoire gaspillée signifie plus de conversations tenues en même temps sur le même GPU ;
  • le traitement par lots continus ajoute une nouvelle requête au lot en cours dès qu'une place se libère, au lieu d'attendre la fin du lot ;
  • le cache de préfixes réutilise le calcul d'un début de prompt commun, utile quand toutes les requêtes partagent les mêmes consignes système.

Sur l'effet obtenu, Red Hat cite un débit jusqu'à 24 fois supérieur à celui de Hugging Face Transformers, d'après un billet de l'équipe vLLM de 2023 (Red Hat). Ce chiffre reste une mesure de l'éditeur sur ses propres tests : mesurez sur votre modèle et votre trafic avant de dimensionner.

Conseil de pro : jugez vLLM sur le nombre de requêtes servies par seconde et sur le temps avant le premier token sous charge, pas sur la vitesse d'une seule réponse.

vLLM ou Ollama : lequel choisir ?

Choisissez Ollama pour un poste ou un petit usage interne, et vLLM quand plusieurs utilisateurs ou une application interrogent le modèle en même temps. Les deux outils ne visent pas le même problème.

CritèreOllamavLLM
Usage principalPoste de travail, prototype, petite équipeService partagé, application, API
InstallationUn installeur, un modèle en une commandeEnvironnement Python ou conteneur, réglages à prévoir
Formats de modèlesGGUF quantifiés, bibliothèque OllamaPoids Hugging Face, formats quantifiés pour GPU
Requêtes simultanéesCorrect à faible chargeConçu pour la charge
GPU NVIDIA pris en chargeCompute capability 5.0 et plus (documentation Ollama)Compute capability 7.5 et plus (documentation vLLM)
SystèmesLinux, Windows, macOSLinux (pas de Windows natif)
APIAPI propre et API compatible OpenAIAPI compatible OpenAI

Les signes qu'il est temps de passer à vLLM :

  • la latence devient irrégulière dès que plusieurs personnes posent des questions en même temps ;
  • le GPU est sous-utilisé alors que des requêtes attendent leur tour ;
  • le modèle ne tient plus sur un seul GPU et doit être réparti sur plusieurs cartes ;
  • vous avez besoin de métriques pour suivre la charge et la qualité de service.

Pour l'installation d'Ollama et le choix d'un modèle selon la mémoire disponible, notre guide Ollama détaille chaque étape. Beaucoup d'équipes gardent d'ailleurs Ollama pour le développement et réservent vLLM au serveur partagé.

Quel GPU faut-il pour faire tourner vLLM ?

La version stable de vLLM demande un GPU NVIDIA de compute capability 7.5 ou plus, par exemple une T4, une RTX de série 20, une A100, une L4, une H100 ou une B200 (documentation vLLM). La même page précise que vLLM ne prend pas en charge Windows de façon native.

La compute capability est un numéro de génération attribué par NVIDIA à chaque GPU. Plusieurs guides en ligne indiquent encore un minimum de 7.0 : ce seuil est dépassé, et c'est lui qui fait échouer les installations sur les cartes de génération Volta.

GPUCompute capabilityvLLM stableSource
NVIDIA V1007.0Non pris en chargeNVIDIA
NVIDIA T47.5Pris en chargeNVIDIA
GeForce RTX 30608.6Pris en chargeNVIDIA
NVIDIA A1008.0Pris en chargeNVIDIA
NVIDIA L48.9Pris en chargeNVIDIA
NVIDIA H100 et H2009.0Pris en chargeNVIDIA
NVIDIA B30010.3Pris en chargeNVIDIA

Avant de louer ou d'acheter une carte, vérifiez trois points :

  • la compute capability dans la liste officielle de NVIDIA ;
  • la mémoire du GPU, qui décide de la taille de modèle possible (voir la section suivante) ;
  • le système : une distribution Linux récente avec un pilote NVIDIA à jour.

Notre fiche sur la NVIDIA V100 détaille ce que cette carte fait encore bien et pourquoi elle sort du périmètre de vLLM.

Combien de mémoire GPU prévoir pour un modèle ?

Prévoyez au minimum la taille des poids du modèle, plus une marge pour le cache des conversations : en BF16, chaque paramètre occupe 2 octets, donc un modèle de 8 milliards de paramètres demande environ 16 Go rien que pour ses poids (format BF16, codé sur 16 bits). Le calcul est simple : nombre de paramètres × 2 octets en BF16, × 1 octet en FP8.

Ce qui consomme la mémoire du GPU :

  • les poids du modèle, chargés une fois au démarrage ;
  • le KV cache, qui grandit avec la longueur du contexte et le nombre de conversations simultanées ;
  • la réserve de travail de vLLM et des bibliothèques CUDA ;
  • une marge de sécurité, pour éviter les erreurs de mémoire sous charge.
Taille du modèlePoids en BF16 (2 octets/paramètre)Poids en FP8 (1 octet/paramètre)Exemple de GPU adapté
1,5 milliard de paramètres≈ 3 Go≈ 1,5 GoRTX 3060 12 Go
8 milliards≈ 16 Go≈ 8 GoA100 80 Go en BF16, RTX 3060 12 Go en quantification 4 bits (AWQ, GPTQ)
32 milliards≈ 64 Go≈ 32 GoA100 ou H100 80 Go
70 milliards≈ 140 Go≈ 70 GoH200 141 Go en FP8, ou plusieurs GPU

Deux réglages limitent la consommation :

  • --max-model-len fixe la longueur de contexte maximale : partez d'une valeur réaliste plutôt que du maximum du modèle ;
  • --gpu-memory-utilization fixe la part de la mémoire du GPU que vLLM s'autorise à réserver.

Conseil de pro : un modèle quantifié (AWQ, GPTQ ou FP8) réduit fortement les besoins en mémoire. Testez la qualité des réponses sur vos propres cas avant de l'adopter en production.

Comment installer vLLM et lancer une API compatible OpenAI ?

Installez vLLM dans un environnement Python dédié avec uv pip install vllm --torch-backend=auto, puis démarrez le serveur avec vllm serve suivi du nom du modèle : l'API répond par défaut sur http://localhost:8000 (documentation vLLM).

La procédure sur un serveur GPU Linux fraîchement installé :

  1. vérifiez le GPU avec nvidia-smi : le pilote doit répondre et afficher la mémoire disponible ;
  2. créez un environnement Python isolé avec uv venv, puis activez-le ;
  3. installez vLLM avec uv pip install vllm --torch-backend=auto ;
  4. lancez le serveur avec un petit modèle pour tester, par exemple vllm serve Qwen/Qwen2.5-1.5B-Instruct ;
  5. exigez une clé d'API avec l'option --api-key ou la variable VLLM_API_KEY (documentation vLLM) ;
  6. testez l'API : curl http://localhost:8000/v1/models doit lister le modèle chargé ;
  7. branchez vos outils en remplaçant l'adresse de l'API OpenAI par celle de votre serveur.

Les points d'accès disponibles :

  • /v1/models pour lister le modèle servi ;
  • /v1/chat/completions pour les conversations, le format le plus utilisé ;
  • /v1/completions pour la complétion de texte simple.

Le serveur applique par défaut le modèle de conversation (chat template) fourni avec le tokenizer du modèle (documentation vLLM). Si les réponses paraissent incohérentes après une migration depuis Ollama, c'est souvent ce gabarit qu'il faut vérifier en premier.

Conseil de pro : une API compatible OpenAI n'est pas une copie conforme. Testez les fonctions avancées dont vous dépendez (appels d'outils, sorties structurées, streaming) avant de basculer une application.

Comment sécuriser un serveur vLLM en production ?

Ne laissez jamais le port de vLLM ouvert sur Internet : placez-le derrière un proxy HTTPS, exigez une clé d'API et limitez les adresses autorisées. Un serveur d'inférence exposé, c'est du calcul GPU offert à n'importe qui, et parfois des données qui fuient.

Liste de contrôle avant la mise en service :

  • écoutez sur l'interface locale et laissez un proxy (Caddy, nginx ou Traefik) servir l'API en HTTPS ;
  • activez une clé d'API et faites-la tourner régulièrement : vLLM accepte plusieurs clés en même temps, ce qui facilite la rotation (documentation vLLM) ;
  • filtrez par pare-feu : seuls SSH, HTTP et HTTPS restent ouverts ;
  • fixez la version de vLLM et du modèle, et testez chaque mise à jour sur une machine de recette ;
  • surveillez la mémoire et la latence pour détecter une saturation avant les utilisateurs ;
  • journalisez sans conserver le contenu des prompts si ceux-ci contiennent des données personnelles.

Pour une interface de discussion branchée sur votre serveur, notre guide Open WebUI montre comment mettre en place un ChatGPT privé devant une API compatible OpenAI.

Que faire si votre GPU n'est pas compatible avec vLLM ?

Si votre GPU est en dessous de la compute capability 7.5, utilisez Ollama ou un autre moteur basé sur llama.cpp sur la même carte, ou passez par une API compatible OpenAI hébergée. Forcer l'installation d'une ancienne version de vLLM vous prive des correctifs et des modèles récents.

Les options, de la plus simple à la plus exigeante :

  • Ollama sur votre GPU actuel : il prend en charge les cartes NVIDIA à partir de la compute capability 5.0 (documentation Ollama), V100 comprise ;
  • une API IA compatible OpenAI : vos applications gardent le même code, seule l'adresse change ;
  • un GPU plus récent : une RTX 3060 suffit pour tester vLLM avec un petit modèle, une A100 ou une H100 pour la production ;
  • le CPU : possible pour des essais, trop lent pour un service partagé.
SituationOption conseilléePourquoi
Assistant interne, quelques utilisateurs, V100OllamaPris en charge, simple à administrer
Application qui appelle déjà l'API OpenAIAPI IA compatible OpenAIAucun serveur à gérer, même code
Service partagé à fort traficvLLM sur A100, H100 ou H200Débit sous charge
Test de vLLM à petit budgetvLLM sur RTX 3060 avec un petit modèleCompute capability 8.6

Faut-il louer un serveur GPU ou passer par une API IA ?

Louez un serveur GPU si vous voulez choisir votre modèle, maîtriser la configuration et garder un débit constant ; passez par une API si vous voulez seulement intégrer l'IA dans une application sans administrer de serveur. Le bon choix dépend du volume et de vos compétences d'exploitation.

L'offre GPU de Wayhost propose des V100 32 Go, RTX 3060 12 Go, A100 80 Go, H100 80 Go, H200 141 Go et B300 288 Go, hébergés à Cergy avec un accès root par clé SSH (constaté le 18 novembre 2026). Côté prix, la RTX 3060 dédiée y est affichée à 0,20 € HT de l'heure ou 99 € HT par mois, l'A100 80 Go à 799 € HT par mois et la H100 80 Go à 1 521 € HT par mois (constaté le 18 novembre 2026). D'après la grille de compatibilité ci-dessus, toutes ces cartes conviennent à vLLM, sauf la V100, qui se prête mieux à Ollama.

La même page présente une API IA compatible OpenAI, décomptée au token sur un crédit prépayé, dont les requêtes ne servent pas à entraîner les modèles (constaté le 18 novembre 2026). C'est l'alternative directe quand vous n'avez pas besoin de piloter le serveur.

Critères pour trancher :

  • le volume : une API facturée au token convient aux usages irréguliers, un GPU loué devient intéressant quand il tourne en continu ;
  • le choix du modèle : un serveur vous laisse charger n'importe quel modèle compatible, une API impose son catalogue ;
  • les compétences : un serveur vLLM demande de la supervision, des mises à jour et une sécurité réseau ;
  • les données : dans les deux cas, vérifiez où elles sont traitées et si elles sont conservées.

Pour le reste de l'application (base de données, interface web, files de tâches), un VPS séparé du GPU suffit souvent, et un serveur physique prend le relais pour les charges lourdes. Notre guide pour héberger une application IA aide à dimensionner l'ensemble, et notre article sur le serveur dédié compare les options d'infrastructure.

Questions fréquentes

vLLM, c'est quoi en quelques mots ?

vLLM est un logiciel open source qui fait tourner un modèle de langage sur un serveur GPU et le rend accessible par une API compatible OpenAI. Il est conçu pour servir beaucoup de requêtes en même temps. On l'utilise pour mettre un LLM en production.

vLLM est-il gratuit ?

Oui, le logiciel est open source et gratuit. Vous payez en revanche le matériel qui le fait tourner, en pratique un serveur équipé d'un GPU NVIDIA compatible. Les modèles utilisés ont chacun leur propre licence, à vérifier avant un usage commercial.

vLLM est-il plus rapide qu'Ollama ?

Pour de nombreux utilisateurs simultanés, vLLM sert généralement plus de requêtes par seconde grâce à sa gestion de la mémoire et au traitement par lots continus. Pour une seule personne, la différence est faible et Ollama est plus simple. Mesurez sur votre propre trafic avant de migrer.

vLLM fonctionne-t-il sur Windows ?

Pas de façon native : la documentation officielle indique que vLLM ne prend pas en charge Windows. Il faut un serveur Linux, ou WSL sur un poste Windows pour des essais. En production, un serveur GPU sous Linux est la configuration de référence.

Peut-on utiliser vLLM sur une NVIDIA V100 ?

Pas avec la version stable actuelle, qui exige une compute capability d'au moins 7.5, alors que la V100 est en 7.0. Sur une V100, utilisez plutôt Ollama, qui la prend en charge. Pour vLLM, choisissez une T4, une RTX 3060, une A100 ou plus récent.

Quelle quantité de mémoire GPU faut-il pour vLLM ?

Elle dépend du modèle : comptez 2 octets par paramètre en BF16 pour les poids, plus une marge pour le cache des conversations. Un modèle de 8 milliards de paramètres demande ainsi environ 16 Go pour ses seuls poids, le format BF16 codant chaque paramètre sur 16 bits. La quantification réduit nettement ce besoin.

vLLM est-il compatible avec l'API OpenAI ?

Oui, vLLM expose les points d'accès de l'API OpenAI, dont les conversations et les complétions. La plupart des outils compatibles OpenAI fonctionnent en changeant l'adresse de l'API et la clé. Vérifiez tout de même les fonctions avancées dont votre application dépend.

Peut-on servir plusieurs modèles avec un seul serveur vLLM ?

Un processus vLLM sert un modèle à la fois. Pour proposer plusieurs modèles, on lance plusieurs instances, sur plusieurs GPU ou sur des ports différents, derrière un proxy qui oriente les requêtes. Chaque instance doit disposer de sa propre mémoire GPU.

Ce qu'il faut retenir

  • vLLM sert un LLM à grande échelle derrière une API compatible OpenAI, avec un débit pensé pour la charge.
  • Il exige un GPU NVIDIA de compute capability 7.5 ou plus sous Linux : la V100 n'en fait plus partie.
  • Ollama reste le bon choix pour un poste ou un petit usage interne, et sur les GPU plus anciens.
  • La mémoire décide de la taille du modèle : 2 octets par paramètre en BF16, plus le cache des conversations.
  • Sécurisez l'API avec un proxy HTTPS, une clé et un pare-feu avant toute mise en service.

Pour faire tourner vLLM sur une A100, une H100 ou une H200 hébergée en France, ou pour utiliser directement une API IA compatible OpenAI, découvrez l'offre GPU de Wayhost.

Article rédigé par Mouhamed BANKOLE, CEO chez ITNET Technologies.

Une question précise ?

Nos fiches pas à pas répondent aux questions les plus fréquentes.

Base de connaissances