Hébergement Ollama 16 Go de RAM minimum pour les modèles 7-8B — GPU recommandé pour la vitesse

Oui. Ollama prend en charge l'inférence sur CPU uniquement. Les modèles comme Llama 3 8B et Mistral 7B fonctionnent sur CPU avec 16 Go de RAM — plus lent qu'un GPU, mais fonctionnel pour le développement personnel. Un VPS à partir de 9,99€/mois couvre l'inférence CPU.

Pour les modèles 7-8B, un GPU avec 8+ Go de VRAM (RTX 3070 ou similaire) est suffisant. Pour les modèles 30-70B comme Llama 3 70B ou Mixtral, vous avez besoin de 24–80 Go de VRAM (RTX 4090 ou A100). Les modèles quantifiés réduisent les besoins en VRAM d'environ 50%.

Oui. Ollama expose une API compatible OpenAI. Toute application utilisant le SDK OpenAI ou l'API REST fonctionne avec Ollama sans modification — mettez à jour l'URL de base vers votre serveur et ça fonctionne immédiatement.

Utilisez la CLI Ollama : ollama pull llama3 pour télécharger un modèle, ollama list pour voir les modèles installés, ollama run llama3 pour un chat interactif. Les modèles sont stockés sous forme de fichiers — téléchargez-les une fois et exécutez-les hors ligne.

Oui. Ollama peut charger et servir plusieurs modèles simultanément, limité par la VRAM disponible. Avec 24 Go de VRAM, vous pouvez exécuter deux modèles 7B ou un modèle 13B simultanément.