LocalAI Einrichtung für die Askimo App

LocalAI Konfiguration

Verbinden Sie die Askimo App mit Ihrer selbstgehosteten LocalAI-Instanz, um volle Kontrolle über Ihre KI-Infrastruktur zu erhalten.

Serverkonfiguration

• Server-URL: LocalAI Server-Endpunkt
  • Standard: http://localhost:8080
  • Remote: http://your-server:8080
• API-Schlüssel: (Optional) Falls Ihre LocalAI-Instanz Authentifizierung erfordert
• Timeout: Verbindungs-Timeout (Standard: 120s)
• Verfügbare Modelle: Automatisch aus Ihrer LocalAI-Bereitstellung erkannt

LocalAI einrichten

1. LocalAI gemäß der offiziellen Anleitung installieren
2. LocalAI Server starten:

docker run -p 8080:8080 --name local-ai -ti localai/localai:latest

3. Modelle in Ihrer LocalAI-Instanz bereitstellen
4. In Askimo Ihre LocalAI Server-URL eintragen
5. „Test Connection“ klicken, um zu prüfen

Zugriff auf Provider-Einstellungen

1. Auf die Menüleiste klicken
2. „Settings“ auswählen
3. Zum Tab „AI Providers“ navigieren
4. „LocalAI“ aus der Provider-Liste wählen

Tastenkürzel: ⌘ + , (macOS) oder Ctrl + , (Windows/Linux) und dann „AI Providers“

Bereitstellungsoptionen

Docker (Empfohlen):

docker run -p 8080:8080 \
  -v $PWD/models:/models \
  localai/localai:latest

Docker Compose:

version: '3.8'
services:
  localai:
    image: localai/localai:latest
    ports:
      - "8080:8080"
    volumes:
      - ./models:/models
    environment:
      - THREADS=4

Geeignete Einsatzszenarien für LocalAI

Enterprise-Bereitstellungen:

Verarbeitung sensibler Kundendaten in unserer internen KI-Infrastruktur

Compliance-Anforderungen:

Sicherstellen, dass alle KI-Verarbeitungen in unserer kontrollierten Umgebung bleiben

Eigene Modelle:

Eigene feinabgestimmte Modelle für domänenspezifische Aufgaben verwenden

Modellverwaltung

Modelle installieren: LocalAI unterstützt verschiedene Modellformate:

• GGUF/GGML Modelle
• PyTorch Modelle
• ONNX Modelle
• Benutzerdefinierte Backends

Model Gallery: Modelle aus der LocalAI Gallery installieren:

curl http://localhost:8080/models/apply \
  -H "Content-Type: application/json" \
  -d '{
    "id": "model-gallery://llama-2-7b-chat"
  }'

Fehlerbehebung

Keine Verbindung?

• Prüfen, ob der LocalAI Server läuft
• Firewall- und Netzwerkeinstellungen prüfen
• Korrekte Server-URL und Port sicherstellen
• Testen mit curl http://localhost:8080/v1/models

Authentifizierungsprobleme?

• Falls Ihre LocalAI Authentifizierung verlangt, API-Schlüssel in den Einstellungen hinzufügen
• LocalAI Logs auf Auth-Fehler prüfen
• API-Schlüsselformat mit LocalAI-Konfiguration abgleichen

Modell lädt nicht?

• LocalAI Logs prüfen: docker logs local-ai
• Modell-Dateien sind im richtigen Verzeichnis?
• Ausreichender Speicher vorhanden?
• LocalAI Dienst neu starten

Langsame Performance?

• GPU-Beschleunigung aktivieren
• Quantisierte Modelle verwenden
• THREADS-Umgebungsvariable anpassen
• Horizontal skalieren mit mehreren Instanzen

Erweiterte Konfiguration

Authentifizierung: API-Schlüssel-Authentifizierung in LocalAI konfigurieren:

docker run -p 8080:8080 \
  -e API_KEY=your-secret-key \
  localai/localai:latest

Anschließend den API-Schlüssel in den Askimo-Einstellungen hinzufügen.

Custom Backend: LocalAI unterstützt benutzerdefinierte Backends für spezialisierte Modelle:

name: custom-model
backend: custom-backend
parameters:
  model: /path/to/model

Ressourcenlimits: Ressourcennutzung steuern:

docker run -p 8080:8080 \
  --memory="8g" \
  --cpus="4" \
  localai/localai:latest