Configuration de LocalAI pour l’Application Askimo

Configuration de LocalAI

Connectez l’application Askimo à votre instance LocalAI auto-hébergée pour un contrôle total de votre infrastructure IA.

Configuration du Serveur

• URL du Serveur : Endpoint du serveur LocalAI
  • Par défaut : http://localhost:8080
  • Distant : http://your-server:8080
• Clé API : (Optionnel) si votre instance LocalAI requiert une authentification
• Timeout : Délai de connexion (par défaut : 120s)
• Modèles Disponibles : Détectés à partir de votre déploiement LocalAI

Mise en Place de LocalAI

1. Installez LocalAI selon le guide officiel
2. Démarrez votre serveur LocalAI :

docker run -p 8080:8080 --name local-ai -ti localai/localai:latest

3. Déployez des modèles sur votre instance LocalAI
4. Dans Askimo, saisissez l’URL de votre serveur LocalAI
5. Cliquez sur « Test Connection » pour vérifier

Accéder aux Paramètres du Fournisseur

1. Cliquez sur la barre de menu
2. Sélectionnez « Settings »
3. Accédez à l’onglet « AI Providers »
4. Sélectionnez « LocalAI » dans la liste des fournisseurs

Raccourci Clavier : ⌘ + , (macOS) ou Ctrl + , (Windows/Linux), puis « AI Providers »

Options de Déploiement

Docker (Recommandé) :

docker run -p 8080:8080 \
  -v $PWD/models:/models \
  localai/localai:latest

Docker Compose :

version: '3.8'
services:
  localai:
    image: localai/localai:latest
    ports:
      - "8080:8080"
    volumes:
      - ./models:/models
    environment:
      - THREADS=4

Meilleurs Cas d’Utilisation de LocalAI

Déploiements Entreprise :

Traiter les données sensibles des clients dans notre infrastructure IA interne

Exigences de Conformité :

Garantir que tous les traitements IA restent dans notre environnement contrôlé

Modèles Personnalisés :

Utiliser nos modèles propriétaires ajustés pour des tâches spécifiques au domaine

Gestion des Modèles

Installation des Modèles : LocalAI prend en charge divers formats de modèles :

• Modèles GGUF/GGML
• Modèles PyTorch
• Modèles ONNX
• Backends personnalisés

Galerie de Modèles : Installer des modèles depuis la galerie LocalAI :

curl http://localhost:8080/models/apply \
  -H "Content-Type: application/json" \
  -d '{
    "id": "model-gallery://llama-2-7b-chat"
  }'

Dépannage

Impossible de se Connecter ?

• Vérifiez que le serveur LocalAI est en cours d’exécution
• Vérifiez les paramètres de pare-feu et de réseau
• Assurez-vous que l’URL du serveur et le port sont corrects
• Testez avec curl http://localhost:8080/v1/models

Problèmes d’Authentification ?

• Si votre LocalAI requiert une authentification, ajoutez la clé API dans les paramètres
• Vérifiez les logs de LocalAI pour les erreurs d’authentification
• Vérifiez que le format de la clé correspond à la configuration de LocalAI

Échecs de Chargement des Modèles ?

• Consultez les logs de LocalAI : docker logs local-ai
• Vérifiez que les fichiers du modèle sont au bon emplacement
• Assurez-vous d’avoir suffisamment de mémoire
• Redémarrez le service LocalAI

Performances Lentes ?

• Activez l’accélération GPU
• Utilisez des modèles quantifiés
• Ajustez la variable d’environnement THREADS
• Envisagez une montée en charge horizontale avec plusieurs instances

Configuration Avancée

Authentification : Configurer l’authentification par clé API dans LocalAI :

docker run -p 8080:8080 \
  -e API_KEY=your-secret-key \
  localai/localai:latest

Ajoutez ensuite la clé API dans les paramètres d’Askimo.

Backend Personnalisé : LocalAI prend en charge des backends personnalisés pour des modèles spécialisés :

name: custom-model
backend: custom-backend
parameters:
  model: /path/to/model

Limites de Ressources : Contrôler l’usage des ressources :

docker run -p 8080:8080 \
  --memory="8g" \
  --cpus="4" \
  localai/localai:latest