Configuración de LocalAI para la App Askimo

Configuración de LocalAI

Conecte la App Askimo a su instancia de LocalAI autohospedada para obtener control total sobre su infraestructura de IA.

Configuración del Servidor

• URL del Servidor: Endpoint del servidor de LocalAI
  • Predeterminado: http://localhost:8080
  • Para servidores remotos: http://your-server:8080
• Clave API: (Opcional) si su instancia de LocalAI requiere autenticación
• Timeout: Tiempo de espera de conexión (predeterminado: 120s)
• Modelos Disponibles: Detectados desde su implementación de LocalAI

Cómo Configurar LocalAI

1. Instale LocalAI siguiendo la guía oficial
2. Inicie su servidor de LocalAI:

docker run -p 8080:8080 --name local-ai -ti localai/localai:latest

3. Despliegue modelos en su instancia de LocalAI
4. En Askimo, introduzca la URL de su servidor LocalAI
5. Haga clic en “Test Connection” para verificar

Acceso a la Configuración del Proveedor

1. Haga clic en la barra de menú
2. Seleccione “Settings”
3. Vaya a la pestaña “AI Providers”
4. Seleccione “LocalAI” de la lista de proveedores

Atajo de Teclado: ⌘ + , (macOS) o Ctrl + , (Windows/Linux) y luego “AI Providers”

Opciones de Despliegue

Docker (Recomendado):

docker run -p 8080:8080 \
  -v $PWD/models:/models \
  localai/localai:latest

Docker Compose:

version: '3.8'
services:
  localai:
    image: localai/localai:latest
    ports:
      - "8080:8080"
    volumes:
      - ./models:/models
    environment:
      - THREADS=4

Mejores Casos de Uso para LocalAI

Implementaciones Empresariales:

Procesar datos sensibles de clientes en nuestra infraestructura de IA interna

Requisitos de Cumplimiento:

Asegurar que todo el procesamiento de IA permanezca dentro de nuestro entorno controlado

Modelos Personalizados:

Usar nuestros modelos ajustados propios para tareas específicas del dominio

Gestión de Modelos

Instalación de Modelos: LocalAI soporta varios formatos de modelos:

• Modelos GGUF/GGML
• Modelos PyTorch
• Modelos ONNX
• Backends personalizados

Galería de Modelos: Instale modelos desde la galería de LocalAI:

curl http://localhost:8080/models/apply \
  -H "Content-Type: application/json" \
  -d '{
    "id": "model-gallery://llama-2-7b-chat"
  }'

Resolución de Problemas

¿No Puede Conectarse?

• Verifique que el servidor de LocalAI esté en ejecución
• Revise la configuración de firewall y red
• Asegúrese de que la URL y el puerto del servidor sean correctos
• Pruebe con curl http://localhost:8080/v1/models

¿Problemas de Autenticación?

• Si su LocalAI requiere autenticación, añada la clave API en la configuración
• Revise los logs de LocalAI para errores de autenticación
• Verifique que el formato de la clave coincida con la configuración de LocalAI

¿Fallos al Cargar Modelos?

• Revise los logs de LocalAI: docker logs local-ai
• Verifique que los archivos del modelo estén en el directorio correcto
• Asegure suficiente memoria
• Reinicie el servicio de LocalAI

¿Rendimiento Lento?

• Habilite la aceleración por GPU
• Use modelos cuantizados
• Ajuste la variable de entorno THREADS
• Considere el escalado horizontal con múltiples instancias

Configuración Avanzada

Autenticación: Configure la autenticación por clave API en LocalAI:

docker run -p 8080:8080 \
  -e API_KEY=your-secret-key \
  localai/localai:latest

Después, añada la clave API en la configuración de Askimo.

Backend Personalizado: LocalAI soporta backends personalizados para modelos especializados:

name: custom-model
backend: custom-backend
parameters:
  model: /path/to/model

Límites de Recursos: Controle el uso de recursos:

docker run -p 8080:8080 \
  --memory="8g" \
  --cpus="4" \
  localai/localai:latest