Configuración de Docker AI para la App Askimo

Configuración de Docker AI

Conecte la App Askimo a modelos de IA que se ejecutan en contenedores Docker para despliegues portátiles y reproducibles.

Configuración del Servidor

• URL del Servidor: Endpoint del contenedor de Docker AI
  • Predeterminado: http://localhost:12434 (puerto predeterminado de Docker AI)
  • Para contenedores remotos: http://su-servidor:12434
• Clave API: (Opcional) si su contenedor requiere autenticación
• Timeout: Tiempo de espera de conexión (predeterminado: 120s)
• Modelos Disponibles: Detectados automáticamente desde sus contenedores de Docker AI en ejecución

Configurar Docker AI

1. Instale Docker Desktop desde docker.com
2. Habilite el servidor API compatible con OpenAI:

docker desktop enable model-runner --tcp 12434

3. Descargue un modelo de IA desde Docker Hub (se servirá automáticamente):

docker model pull ai/<model>

4. En Askimo, configure el proveedor:
   • Tipo de Proveedor: OpenAI (compatible con OpenAI)
   • Base URL: http://localhost:12434/v1
   • Clave API: dejar vacío (no requerida para Docker AI local)
   • Modelo: Nombre del modelo (por ejemplo, ai/gemma3:4B-F16)
5. Haga clic en “Test Connection” para verificar

Servidor Compatible con OpenAI

Los modelos de Docker AI se ejecutan como servidores compatibles con OpenAI. Tras habilitar el model-runner con docker desktop enable model-runner --tcp 12434 y descargar un modelo, se sirve automáticamente en el puerto 12434. No se necesita un comando adicional de servicio.

Acceso a Configuración del Proveedor

Dado que los modelos de Docker AI se ejecutan como servidores compatibles con OpenAI, se configuran a través de la sección de OpenAI:

1. Haga clic en la barra de menú
2. Seleccione “Settings”
3. Vaya a la pestaña “AI Providers”
4. Seleccione “OpenAI” de la lista de proveedores
5. Configure:
   • Base URL: http://localhost:12434/v1 (o su puerto personalizado)
   • Clave API: dejar vacío (no requerida para Docker AI local)
   • Modelo: Nombre del modelo de Docker AI

Atajo de Teclado: ⌘ + , (macOS) o Ctrl + , (Windows/Linux) y luego “AI Providers”

Modelos de IA en Docker Hub

Visite hub.docker.com/u/ai para ver modelos disponibles.

Prerequisitos:

# Habilitar servidor API compatible con OpenAI (configuración única)
docker desktop enable model-runner --tcp 12434

Ejemplo: Ejecutar gemma3:4B-F16

12434/v1

# Descargar el modelo (se servirá automáticamente)
docker model pull ai/gemma3:4B-F16

# Verificar que está en ejecución
docker model ls

Configurar en Askimo:

• Proveedor: OpenAI
• Base URL: http://localhost:12434/v1
• Clave API: (dejar vacío)
• Modelo: ai/gemma3:4B-F16

Gestión de Modelos

Listar modelos descargados:

docker model ls

Eliminar un modelo:

docker model rm <model-name>

Múltiples Modelos

Docker AI puede servir múltiples modelos simultáneamente. Todos los modelos descargados están disponibles a través del mismo endpoint http://localhost:12434/v1. Cambie entre ellos en Askimo cambiando el nombre del modelo en su configuración.

Resolución de Problemas

¿No Puede Conectarse?

• Asegúrese de que el model-runner esté habilitado: docker desktop enable model-runner --tcp 12434
• Verifique que los modelos estén descargados: docker model ls
• Revise la Base URL correcta: http://localhost:12434/v1
• Pruebe el endpoint: curl http://localhost:12434/v1/models

¿Modelo No Disponible?

• Verifique que Docker Desktop esté ejecutándose
• Revise que el model-runner esté habilitado (ver arriba)
• Verifique que el modelo se haya descargado correctamente: docker model ls
• Intente descargar nuevamente: docker model pull ai/<model-name>
• Reinicie Docker Desktop si es necesario

¿Rendimiento Lento?

• Docker AI usará la GPU automáticamente si está disponible
• Use modelos más pequeños para inferencia más rápida
• Cierre otras aplicaciones que consuman recursos
• Verifique recursos del sistema (CPU/RAM)

¿Necesita Otro Puerto? Si el puerto 12434 ya está en uso, puede especificar otro al habilitar el model-runner:

docker desktop enable model-runner --tcp 12435

Luego, actualice la Base URL de Askimo a http://localhost:12435/v1.