Docker AI Setup for Askimo App

Docker AI Einrichtung für die Askimo App

Docker AI Konfiguration

Verbinden Sie die Askimo App mit KI-Modellen, die in Docker-Containern laufen, für portable und reproduzierbare KI-Bereitstellungen.

Serverkonfiguration

• Server-URL: Docker-AI-Container-Endpunkt
  • Standard: http://localhost:12434 (Standardport von Docker AI)
  • Für entfernte Container: http://ihr-server:12434
• API-Schlüssel: (Optional) Falls Ihr Container Authentifizierung erfordert
• Timeout: Verbindungs-Timeout (Standard: 120s)
• Verfügbare Modelle: Automatisch erkannt aus laufenden Docker-AI-Containern

Docker AI einrichten

1. Installieren Sie Docker Desktop von docker.com
2. Aktivieren Sie den OpenAI-kompatiblen API-Server:

docker desktop enable model-runner --tcp 12434

3. Laden Sie ein KI-Modell vom Docker Hub (es wird automatisch bereitgestellt):

docker model pull ai/<model>

4. Konfigurieren Sie den Anbieter in Askimo:
   • Anbietertyp: OpenAI (OpenAI-kompatibel)
   • Base URL: http://localhost:12434/v1
   • API-Schlüssel: leer lassen (nicht erforderlich für lokales Docker AI)
   • Modell: Modellname (z. B. ai/gemma3:4B-F16)
5. Klicken Sie auf “Test Connection” zur Überprüfung

OpenAI-kompatibler Server

Docker-AI-Modelle laufen als OpenAI-kompatible Server. Nach dem Aktivieren des Model Runner mit docker desktop enable model-runner --tcp 12434 und dem Herunterladen eines Modells wird es automatisch auf Port 12434 bereitgestellt. Kein zusätzlicher Serve-Befehl nötig.

Zugriff auf Anbieter-Einstellungen

Da Docker-AI-Modelle als OpenAI-kompatible Server laufen, konfigurieren Sie sie über die OpenAI-Anbieter-Einstellungen:

1. Klicken Sie auf die Menüleiste
2. Wählen Sie “Settings”
3. Navigieren Sie zum Tab “AI Providers”
4. Wählen Sie “OpenAI” aus der Anbieter-Liste
5. Konfigurieren Sie die Einstellungen:
   • Base URL: http://localhost:12434/v1 (oder Ihr benutzerdefinierter Port)
   • API-Schlüssel: leer lassen (nicht erforderlich für lokales Docker AI)
   • Modell: Name Ihres Docker-AI-Modells

Tastenkürzel: ⌘ + , (macOS) oder Ctrl + , (Windows/Linux), dann “AI Providers”

Docker Hub KI-Modelle

Besuchen Sie hub.docker.com/u/ai für verfügbare KI-Modelle.

Voraussetzungen:

# OpenAI-kompatiblen API-Server aktivieren (einmalig)
docker desktop enable model-runner --tcp 12434

Beispiel: gemma3:4B-F16 ausführen

# Modell herunterladen (wird automatisch bereitgestellt)
docker model pull ai/gemma3:4B-F16

# Das Modell ist unter http://localhost:12434/v1 erreichbar
# Prüfen, ob es läuft
docker model ls

In Askimo konfigurieren:

• Anbieter: OpenAI
• Base URL: http://localhost:12434/v1
• API-Schlüssel: (leer lassen)
• Modell: ai/gemma3:4B-F16

Modellverwaltung

Geladene Modelle auflisten:

docker model ls

Modell entfernen:

docker model rm <model-name>

Mehrere Modelle

Docker AI kann mehrere Modelle gleichzeitig bereitstellen. Alle geladenen Modelle sind über denselben Endpunkt http://localhost:12434/v1 verfügbar. Wechseln Sie in Askimo zwischen ihnen, indem Sie den Modellnamen in der Provider-Konfiguration ändern.

Fehlerbehebung

Keine Verbindung möglich?

• Prüfen Sie, ob der Model Runner aktiviert ist: docker desktop enable model-runner --tcp 12434
• Prüfen Sie, ob Modelle geladen wurden: docker model ls
• Stellen Sie die korrekte Base URL sicher: http://localhost:12434/v1
• Endpunkt testen: curl http://localhost:12434/v1/models

Modell nicht verfügbar?

• Prüfen Sie, ob Docker Desktop läuft
• Prüfen Sie, ob der Model Runner aktiviert ist (siehe oben)
• Prüfen Sie, ob das Modell erfolgreich geladen wurde: docker model ls
• Modell erneut laden: docker model pull ai/<model-name>
• Docker Desktop ggf. neu starten

Langsame Performance?

• Docker AI nutzt automatisch die GPU, falls verfügbar
• Kleinere Modelle für schnellere Inferenz verwenden
• Andere ressourcenintensive Anwendungen schließen
• Systemressourcen prüfen (CPU/RAM)

Anderer Port nötig? Falls Port 12434 bereits belegt ist, können Sie beim Aktivieren des Model Runner einen anderen Port angeben:

docker desktop enable model-runner --tcp 12435

Aktualisieren Sie dann die Base URL in Askimo auf http://localhost:12435/v1.