Configuration de Docker AI pour l'Application Askimo

Configuration de Docker AI

Connectez l’application Askimo aux modèles d’IA exécutés dans des conteneurs Docker pour des déploiements portables et reproductibles.

Configuration du Serveur

• URL du Serveur : Endpoint du conteneur Docker AI
  • Par défaut : http://localhost:12434 (port par défaut de Docker AI)
  • Pour les conteneurs distants : http://votre-serveur:12434
• Clé API : (Optionnel) si votre conteneur requiert une authentification
• Timeout : Délai de connexion (par défaut : 120s)
• Modèles Disponibles : Détectés automatiquement depuis vos conteneurs Docker AI en cours d’exécution

Configurer Docker AI

1. Installez Docker Desktop depuis docker.com
2. Activez le serveur API compatible OpenAI :

docker desktop enable model-runner --tcp 12434

3. Téléchargez un modèle d’IA depuis Docker Hub (il sera automatiquement servi) :

docker model pull ai/<model>

4. Dans Askimo, configurez le fournisseur :
   • Type de Fournisseur : OpenAI (compatible OpenAI)
   • Base URL : http://localhost:12434/v1
   • Clé API : laisser vide (non requise pour Docker AI local)
   • Modèle : Nom du modèle (ex. ai/gemma3:4B-F16)
5. Cliquez sur “Test Connection” pour vérifier

Serveur Compatible OpenAI

Les modèles Docker AI s’exécutent comme des serveurs compatibles OpenAI. Après avoir activé le modèle-runner avec docker desktop enable model-runner --tcp 12434 et téléchargé un modèle, il est automatiquement servi sur le port 12434. Aucun autre commande de service n’est nécessaire.

Accéder aux Paramètres du Fournisseur

Étant donné que les modèles Docker AI s’exécutent comme des serveurs compatibles OpenAI, ils se configurent via les paramètres du fournisseur OpenAI :

1. Cliquez sur la barre de menu
2. Sélectionnez “Settings”
3. Accédez à l’onglet “AI Providers”
4. Sélectionnez “OpenAI” dans la liste des fournisseurs
5. Configurez :
   • Base URL : http://localhost:12434/v1 (ou votre port personnalisé)
   • Clé API : laisser vide (non requise pour Docker AI local)
   • Modèle : Nom de votre modèle Docker AI

Raccourci Clavier : ⌘ + , (macOS) ou Ctrl + , (Windows/Linux) puis “AI Providers”

Modèles d’IA sur Docker Hub

Visitez hub.docker.com/u/ai pour parcourir les modèles disponibles.

Prérequis :

# Activer le serveur API compatible OpenAI (configuration unique)
docker desktop enable model-runner --tcp 12434

Exemple : Exécuter gemma3:4B-F16

12434/v1

# Télécharger le modèle (il sera automatiquement servi)
docker model pull ai/gemma3:4B-F16

# Vérifier qu'il est en cours d'exécution
docker model ls

Configurer dans Askimo :

• Fournisseur : OpenAI
• Base URL : http://localhost:12434/v1
• Clé API : (laisser vide)
• Modèle : ai/gemma3:4B-F16

Gestion des Modèles

Lister les modèles téléchargés :

docker model ls

Supprimer un modèle :

docker model rm <model-name>

Plusieurs Modèles

Docker AI peut servir plusieurs modèles simultanément. Tous les modèles téléchargés sont disponibles via le même endpoint http://localhost:12434/v1. Basculez entre eux dans Askimo en changeant le nom du modèle dans votre configuration.

Dépannage

Impossible de se Connecter ?

• Assurez-vous que le modèle-runner est activé : docker desktop enable model-runner --tcp 12434
• Vérifiez que les modèles sont téléchargés : docker model ls
• Vérifiez la Base URL correcte : http://localhost:12434/v1
• Testez l’endpoint : curl http://localhost:12434/v1/models

Modèle Indisponible ?

• Vérifiez que Docker Desktop est en cours d’exécution
• Vérifiez que le modèle-runner est activé (voir ci-dessus)
• Vérifiez que le modèle a été téléchargé avec succès : docker model ls
• Essayez de télécharger le modèle à nouveau : docker model pull ai/<model-name>
• Redémarrez Docker Desktop si nécessaire

Performances Lentes ?

• Docker AI utilisera automatiquement le GPU si disponible
• Utilisez des modèles plus petits pour une inférence plus rapide
• Fermez les autres applications gourmandes en ressources
• Vérifiez les ressources système (CPU/RAM)

Besoin d’un Autre Port ? Si le port 12434 est déjà utilisé, vous pouvez spécifier un autre port lors de l’activation du modèle-runner :

docker desktop enable model-runner --tcp 12435

Ensuite, mettez à jour la Base URL d’Askimo à http://localhost:12435/v1.