Utiliser Qwen 3 en local avec Ollama : guide complet 2026

Qwen 3 est un modèle d'IA open-source sous licence Apache 2.0, disponible en 9 tailles de 0,6 à 235 milliards de paramètres. Avec Ollama v0.23.4, vous pouvez faire tourner Qwen3-8B (5,2 Go) sur n'importe quel Mac ou PC avec 8 Go de RAM en moins de 10 minutes, sans GPU ni connexion internet après téléchargement. Documentation officielle Ollama Qwen3.

Ce que vous allez construire et pourquoi en 2026

Un assistant IA local qui répond à vos questions en français et en anglais, avec ou sans mode réflexion (thinking), sans envoyer aucune donnée à des serveurs externes. Qwen 3 est le premier modèle open-source à proposer un mode thinking désactivable : le modèle réfléchit avant de répondre quand vous le souhaitez, et répond directement sinon. Prérequis système : 8 Go de RAM minimum (4 Go pour le modèle 0.6B), macOS 12+ ou Ubuntu 22.04+ ou Windows 10+, 6 Go d'espace disque pour Qwen3-8B. Temps estimé : 5 minutes sur Mac M1/M2, 10 minutes sur Intel/AMD.

Installation : commandes exactes à copier

Ouvrez un terminal et exécutez :

# macOS / Linux
curl -fsSL https://ollama.com/install.sh | sh # Windows : télécharger ollama.com/download puis double-cliquer # Vérifier l'installation
ollama --version
# Devrait afficher : 0.23.4 ou supérieur # Télécharger et lancer Qwen3-8B
ollama pull qwen3:8b # Lancer une conversation
ollama run qwen3:8b

Résultat attendu : le prompt >>> s'affiche. Vous pouvez taper votre question et appuyer sur Entrée. Erreur courante : Error: model requires more memory than available → utilisez un modèle plus petit : ollama pull qwen3:1.7b (1,4 Go) ou ollama pull qwen3:0.6b (523 Mo).

Configuration : les fichiers et variables à définir

Ollama stocke les modèles dans ~/.ollama/models/ (Linux/macOS) ou C:\Users\.ollama\models (Windows). Pour modifier le comportement de Qwen 3, créez un fichier Modelfile :

# Créer un modèle personnalisé
echo 'FROM qwen3:8b
PARAMETER temperature 0.7
PARAMETER num_ctx 8192
SYSTEM Tu es un assistant francophone. Tu réponds en français de manière concise et factuelle.' > MonQwen3 # Construire et lancer
ollama create monqwen3 -f MonQwen3
ollama run monqwen3

Paramètres utiles : temperature (0 = déterministe, 1 = créatif), num_ctx (taille du contexte, par défaut 4096 tokens, max 40K pour Qwen3-8B), top_p (diversité des réponses, défaut 0.9). Pour le mode thinking (réflexion avant réponse), Qwen 3 l'active par défaut. Pour le désactiver : ajoutez /no_think dans votre prompt ou utilisez le paramètre PARAMETER think false dans votre Modelfile.

Le code du projet : construire une API locale avec Qwen 3

Créons une API REST en Python qui utilise Qwen 3 via l'API Ollama :

# Installation
pip install requests fastapi uvicorn # fichier api.py
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
import requests
import json app = FastAPI(title="Qwen 3 API Locale")
OLLAMA_URL = "http://localhost:11434" @app.get("/ask")
def ask(question: str, model: str = "qwen3:8b"): """Poser une question à Qwen 3 en local.""" response = requests.post(f"{OLLAMA_URL}/api/generate", json={"model": model, "prompt": question, "stream": False}, timeout=120 ) data = response.json() return {"question": question, "answer": data.get("response", ""), "model": model} @app.get("/chat")
def chat(message: str, model: str = "qwen3:8b"): """Chat avec contexte de conversation.""" response = requests.post(f"{OLLAMA_URL}/api/chat", json={"model": model, "messages": [{"role": "user", "content": message}], "stream": False}, timeout=120 ) data = response.json() return {"message": message, "response": data["message"]["content"], "model": model} @app.get("/models")
def list_models(): """Lister les modèles installés.""" r = requests.get(f"{OLLAMA_URL}/api/tags") return [m["name"] for m in r.json().get("models", [])]

Lancez avec uvicorn api:app --host 0.0.0.0 --port 8000. Testez : curl "http://localhost:8000/ask?question=Quelle+est+la+capitale+de+France". Erreur courante : Connection refused sur le port 11434 → Ollama n'est pas lancé, exécutez ollama serve dans un autre terminal.

Tester et valider que ça fonctionne

Vérification en 3 étapes :

# 1. Vérifier qu'Ollama répond
ollama list
# Devrait afficher qwen3:8b dans la liste # 2. Test rapide en CLI
echo "Quelle est la capitale de la France ?" | ollama run qwen3:8b
# Devrait répondre Paris en moins de 10 secondes # 3. Test via l'API
curl http://localhost:11434/api/generate -d '{ "model": "qwen3:8b", "prompt": "Dis bonjour en français", "stream": false
}'
# Devrait retourner un JSON avec {"response": "Bonjour ! ."}

Si la réponse est vide ou en chinois : c'est le bug #1384 connu. Solution : ajoutez /no_think à la fin de votre prompt, ou utilisez le paramètre "options": {"temperature": 0.7} dans votre requête API. Si le modèle répète en boucle : bug #925 — réduisez temperature à 0.3 et ajoutez "stop": ["\n\n\n"] dans votre requête.

Déployer et utiliser en production

Pour garder Qwen 3 actif en permanence sur un serveur Linux :

# Créer un service systemd
sudo tee /etc/systemd/system/ollama.service << 'EOF'
[Unit]
Description=Ollama AI Server
After=network.target [Service]
Type=simple
ExecStart=/usr/local/bin/ollama serve
Restart=always
RestartSec=3
User=ollama [Install]
WantedBy=multi-user.target
EOF sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama # Mise à jour vers une nouvelle version
curl -fsSL https://ollama.com/install.sh | sh # Télécharger un nouveau modèle
ollama pull qwen3:8b

Pour Docker : docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama. Pour surveiller l'utilisation mémoire : ollama ps affiche les modèles chargés en RAM et leur consommation.

Aller plus loin : 3 extensions concrètes

1. RAG avec vos propres documents : Installez pip install langchain chromadb et utilisez le script de notre guide Construire un RAG avec LangChain et Python en 30 minutes en remplaçant le modèle par qwen3:8b dans la configuration Ollama.

2. Interface web avec Open WebUI : docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main puis ouvrez http://localhost:3000 pour une interface ChatGPT-like locale.

3. Mode thinking avancé pour le code : Utilisez ollama run qwen3:30b (19 Go, modèle MoE avec 3B paramètres actifs) pour des tâches de programmation complexes. Le mode thinking de Qwen 3 produit un raisonnement détaillé avant la réponse finale, similaire à o1 d'OpenAI mais en local et gratuit.