Faire tourner une IA en local avec Ollama, sur son PC ou sur un serveur GPU

Par Mouhamed BANKOLE, CEO chez ITNET Technologies · Mis à jour le 6 novembre 2026 · Lecture : 10 min

Vous voulez utiliser un assistant d'IA sans envoyer vos documents à un service en ligne, ou tester des modèles ouverts sans payer un abonnement par utilisateur. Ollama est l'outil le plus simple pour cela : il télécharge un modèle et le fait tourner sur votre machine en une commande. Reste à savoir quel modèle tient dans votre carte graphique, comment vérifier qu'il utilise bien le GPU, et quoi faire quand le PC ne suffit plus. Ce guide répond à ces questions, jusqu'au déploiement d'Ollama sur un serveur GPU loué et à la sécurisation de son API.

En résumé

• Ollama est un outil libre (licence MIT) qui télécharge et exécute des modèles d'IA ouverts (Llama, Mistral, Gemma…) sur macOS, Windows ou Linux.
• Il s'installe en une commande et se pilote avec ollama run, ollama pull, ollama ps ou par son API sur le port 11434.
• Le facteur limitant est la mémoire vidéo (VRAM) : le modèle doit tenir dans le GPU, sinon il bascule en partie sur le processeur et ralentit fortement.
• Au-delà d'un PC, un serveur GPU loué (par exemple une NVIDIA V100 32 Go) fait tourner des modèles plus gros, en continu, pour toute une équipe.
• Ne jamais exposer le port 11434 sur Internet : l'API n'a pas d'authentification intégrée, il faut un tunnel SSH ou un reverse proxy avec contrôle d'accès.

Sommaire

1. Qu'est-ce qu'Ollama ?
2. Comment installer Ollama ?
3. Quelles commandes Ollama faut-il connaître ?
4. Quel modèle choisir selon la mémoire de sa carte graphique ?
5. Comment vérifier qu'Ollama utilise bien le GPU ?
6. Quand un PC ne suffit-il plus pour faire tourner Ollama ?
7. Comment installer Ollama sur un serveur GPU loué ?
8. Comment exposer l'API d'Ollama sans risque ?
9. Combien coûte une IA locale sur un GPU loué ?

Qu'est-ce qu'Ollama ?

Ollama est un logiciel libre qui télécharge des modèles de langage ouverts et les fait tourner sur votre propre machine, avec une interface en ligne de commande et une API locale. Le projet est publié sous licence MIT sur GitHub et fonctionne sur macOS, Windows, Linux et dans Docker.

Ce qu'il apporte par rapport à un service d'IA en ligne :

• la confidentialité : les requêtes et les documents restent sur votre machine ou votre serveur, idéalement hébergé en France ;
• le coût : pas d'abonnement par utilisateur, seulement le matériel ou la location du GPU ;
• le choix des modèles : Llama, Mistral (éditeur français), Gemma, Qwen et bien d'autres, dans la bibliothèque Ollama ;
• l'intégration : une API locale que des outils comme Open WebUI, n8n ou vos propres scripts savent appeler.

Si vous cherchez plutôt à choisir l'infrastructure d'un projet d'IA complet, notre guide pour héberger une application IA compare les options.

Comment installer Ollama ?

Sur Linux, une seule commande suffit ; sur macOS et Windows, on installe l'application depuis le site officiel. La commande Linux est celle indiquée dans le dépôt officiel d'Ollama :

curl -fsSL https://ollama.com/install.sh | sh

Étapes selon votre système :

1. Linux : lancez la commande ci-dessus ; Ollama s'installe comme service système.
2. macOS et Windows : téléchargez l'installeur sur ollama.com, puis ouvrez l'application.
3. Docker : utilisez l'image officielle ollama/ollama, pratique sur un serveur.
4. Vérifiez : ollama --version doit afficher la version installée.

Conseil de pro : sur Linux, installez le pilote NVIDIA avant Ollama. L'installeur détecte alors le GPU et l'utilise sans réglage supplémentaire.

Quelles commandes Ollama faut-il connaître ?

Cinq commandes couvrent l'essentiel : run pour discuter avec un modèle, pull pour le télécharger, list pour voir ceux installés, ps pour voir ceux chargés en mémoire et stop pour en décharger un.

Deux réglages utiles, documentés dans la FAQ officielle d'Ollama :

• la durée de maintien en mémoire : un modèle reste chargé 5 minutes après la dernière requête, modifiable avec OLLAMA_KEEP_ALIVE ;
• la taille de contexte : 4096 tokens par défaut, modifiable avec OLLAMA_CONTEXT_LENGTH, au prix de plus de mémoire.

Quel modèle choisir selon la mémoire de sa carte graphique ?

Choisissez un modèle dont la taille de téléchargement tient dans la VRAM de votre carte avec une marge pour le contexte : environ 4 à 5 Go pour un modèle de 7 à 8 milliards de paramètres, 17 Go pour un 27 milliards, plus de 40 Go pour un 70 milliards. Les tailles ci-dessous sont celles affichées par la bibliothèque Ollama le 6 novembre 2026 (Gemma 3, Mistral, Llama 3.1).

• La taille affichée correspond à un modèle quantifié (poids compressés), ce qui le rend utilisable sur des cartes grand public.
• Le contexte consomme aussi de la mémoire : plus vous augmentez OLLAMA_CONTEXT_LENGTH, plus il faut de marge.
• Un modèle plus gros n'est pas toujours meilleur pour votre usage : testez d'abord un modèle de 7 à 8 milliards de paramètres, comme Mistral.

Comment vérifier qu'Ollama utilise bien le GPU ?

Lancez ollama ps pendant qu'un modèle répond : la colonne PROCESSOR doit afficher « 100% GPU ». La FAQ d'Ollama précise qu'une valeur comme « 48%/52% CPU/GPU » signifie que le modèle déborde de la VRAM et qu'une partie tourne sur le processeur.

Si le GPU n'est pas utilisé :

• vérifiez le pilote avec nvidia-smi ;
• vérifiez la compatibilité : la page GPU d'Ollama demande une carte NVIDIA de compute capability 5.0 ou plus, avec un pilote 550 ou plus récent ;
• réduisez le modèle ou le contexte si l'affichage est partagé CPU/GPU ;
• limitez les GPU utilisés avec CUDA_VISIBLE_DEVICES sur une machine qui en a plusieurs.

Quand un PC ne suffit-il plus pour faire tourner Ollama ?

Un PC atteint ses limites dès qu'il faut un modèle plus gros que sa VRAM, un service disponible en continu, ou plusieurs utilisateurs en même temps. C'est le moment de passer sur un serveur GPU.

Les signes qui ne trompent pas :

• le modèle visé dépasse la VRAM de la carte (au-delà d'un modèle de 12 milliards de paramètres sur une carte 8 Go, d'après les tailles de Gemma 3) ;
• le service doit rester joignable même quand le poste est éteint ou en déplacement ;
• plusieurs collègues doivent interroger le même modèle ;
• le bruit et la chaleur d'un GPU à pleine charge gênent au bureau.

Un serveur GPU s'administre comme un serveur dédié : accès SSH, mises à jour, pare-feu. Pour une interface web devant Ollama sans GPU dédié, un VPS peut héberger le front et appeler une API distante ; notre méthode pour comparer les offres VPS vous aide à le dimensionner.

Comment installer Ollama sur un serveur GPU loué ?

Connectez-vous en SSH, vérifiez le GPU avec nvidia-smi, installez Ollama avec la commande officielle, puis téléchargez votre modèle : comptez une quinzaine de minutes. La procédure est la même que sur un PC Linux.

1. Connectez-vous : ssh root@adresse-du-serveur, avec votre clé SSH.
2. Vérifiez la carte : nvidia-smi doit afficher le GPU et sa mémoire.
3. Installez Ollama : curl -fsSL https://ollama.com/install.sh | sh.
4. Téléchargez un modèle : ollama pull gemma3:27b sur un GPU de 32 Go.
5. Testez : ollama run gemma3:27b, puis ollama ps pour confirmer « 100% GPU », comme l'explique la FAQ d'Ollama.

La location de GPU Wayhost propose des NVIDIA V100 32 Go hébergées en France, à Cergy, avec un accès root par clé SSH, à l'heure ou au mois (constaté le 6 novembre 2026). La V100 figure dans la liste des cartes compatibles de la documentation GPU d'Ollama (compute capability 7.0).

Comment exposer l'API d'Ollama sans risque ?

Laissez Ollama écouter sur 127.0.0.1 et accédez-y par un tunnel SSH ou un reverse proxy avec authentification : n'ouvrez jamais le port 11434 sur Internet. Par défaut, Ollama n'écoute que sur la machine locale, et sa FAQ ne décrit aucune authentification intégrée à l'API.

Trois méthodes, de la plus simple à la plus complète :

• Ne mettez OLLAMA_HOST=0.0.0.0 que derrière un pare-feu qui bloque le port 11434 depuis l'extérieur.
• La documentation officielle fournit un exemple de configuration nginx avec proxy_pass http://localhost:11434.
• Ajoutez HTTPS avec un certificat Let's Encrypt sur votre nom de domaine, après l'avoir relié à votre serveur.

Combien coûte une IA locale sur un GPU loué ?

Le coût se calcule simplement : nombre d'heures d'utilisation multiplié par le tarif horaire, ou un forfait mensuel si le service tourne en continu. Il n'y a pas de facturation au token quand vous faites tourner Ollama vous-même.

Sur la page GPU de Wayhost, le 6 novembre 2026, nous avons constaté :

• 1 GPU V100 SXM2 32 Go dédié : 0,60 € HT de l'heure ou 199,99 € HT par mois, avec 8 vCPU, 48 Go de RAM et 200 Go de stockage ;
• 2 GPU V100 32 Go dédiés : 1,20 € HT de l'heure ou 399 € HT par mois, de quoi viser des modèles plus gros ;
• une offre V100 avec budget de 8 Go de VRAM à 0,18 € HT de l'heure, affichée « Indisponible » ce jour-là ;
• des heures prépayées par blocs, sans engagement.

Pour une charge plus lourde ou permanente, comparez aussi avec un serveur physique et lisez notre guide de l'hébergement serveur.

Questions fréquentes

Ollama est-il gratuit ?

Oui, Ollama est un logiciel libre publié sous licence MIT. Les modèles ouverts qu'il télécharge sont eux aussi gratuits, chacun avec sa propre licence. Le seul coût est le matériel ou la location du serveur.

Ollama fonctionne-t-il sans carte graphique ?

Oui, Ollama peut tourner uniquement sur le processeur. Les réponses sont alors beaucoup plus lentes, surtout avec les modèles de plus de quelques milliards de paramètres. Un GPU NVIDIA compatible accélère nettement la génération.

Quelle carte graphique faut-il pour Ollama ?

Une carte NVIDIA de compute capability 5.0 ou plus est prise en charge, selon la documentation d'Ollama. En pratique, 8 Go de VRAM suffisent pour un modèle de 7 à 8 milliards de paramètres, qui pèse moins de 5 Go selon la bibliothèque Ollama. Il faut 32 Go pour un modèle de 27 milliards, d'après la fiche Gemma 3.

Mes données restent-elles privées avec Ollama ?

Oui, tant que le modèle tourne sur votre machine ou votre serveur, les requêtes ne partent pas chez un éditeur. Attention à ne pas exposer l'API sans protection. Sur un serveur loué, choisissez un hébergeur en France ou en Europe.

Quelle différence entre Ollama et ChatGPT ?

ChatGPT est un service en ligne qui fait tourner les modèles d'OpenAI sur ses serveurs. Ollama fait tourner des modèles ouverts sur votre propre matériel. Vous gagnez en confidentialité, mais vous gérez vous-même la puissance de calcul.

Peut-on utiliser Ollama avec une interface web ?

Oui, des interfaces comme Open WebUI se branchent sur l'API d'Ollama. Elles offrent une expérience proche de ChatGPT, avec des comptes utilisateurs. Ollama reste alors accessible uniquement en local sur le serveur.

Comment mettre à jour Ollama ?

Sur Linux, relancez la commande d'installation officielle, qui remplace la version existante. Sur macOS et Windows, l'application propose la mise à jour. Pensez à redémarrer le service après la mise à jour.

Où Ollama stocke-t-il les modèles ?

Sur Linux, dans /usr/share/ollama/.ollama/models, et dans le dossier .ollama du profil utilisateur sur macOS et Windows. La variable OLLAMA_MODELS permet de changer cet emplacement. Prévoyez assez d'espace disque pour les gros modèles.

Ce qu'il faut retenir

• Ollama fait tourner des modèles d'IA ouverts en local, avec une commande d'installation et une API.
• La VRAM décide du modèle : 8 Go pour un modèle 7B-8B, 32 Go pour un 27B, selon les tailles de la bibliothèque Ollama.
• ollama ps indique si le GPU travaille : visez « 100% GPU » (FAQ Ollama).
• Un serveur GPU loué prend le relais quand le PC ne suffit plus, pour un modèle plus gros ou une équipe.
• Le port 11434 ne s'ouvre jamais sur Internet : tunnel SSH ou reverse proxy avec authentification.

Pour faire tourner Ollama sur une NVIDIA V100 32 Go hébergée en France, découvrez la location de GPU Wayhost.

Article rédigé par Mouhamed BANKOLE, CEO chez ITNET Technologies.