Configuração do LocalAI para o Aplicativo Askimo

Configuração do LocalAI

Conecte o aplicativo Askimo à sua instância LocalAI auto-hospedada para ter controle total sobre sua infraestrutura de IA.

Configuração do Servidor

• URL do Servidor: Endpoint do servidor LocalAI
  • Padrão: http://localhost:8080
  • Para servidores remotos: http://your-server:8080
• Chave de API: (Opcional) se sua instância LocalAI exigir autenticação
• Timeout: Tempo limite de conexão (padrão: 120s)
• Modelos Disponíveis: Detectados a partir do seu deployment LocalAI

Como Configurar o LocalAI

1. Instale o LocalAI seguindo o guia oficial
2. Inicie seu servidor LocalAI:

docker run -p 8080:8080 --name local-ai -ti localai/localai:latest

3. Faça deploy de modelos na sua instância LocalAI
4. No Askimo, informe a URL do seu servidor LocalAI
5. Clique em “Test Connection” para verificar

Acessando as Configurações do Provedor

1. Clique na barra de menus
2. Selecione “Settings”
3. Vá para a aba “AI Providers”
4. Selecione “LocalAI” na lista de provedores

Atalho de Teclado: ⌘ + , (macOS) ou Ctrl + , (Windows/Linux) e depois “AI Providers”

Opções de Implantação

Docker (Recomendado):

docker run -p 8080:8080 \
  -v $PWD/models:/models \
  localai/localai:latest

Docker Compose:

version: '3.8'
services:
  localai:
    image: localai/localai:latest
    ports:
      - "8080:8080"
    volumes:
      - ./models:/models
    environment:
      - THREADS=4

Principais Casos de Uso para LocalAI

Implantações Empresariais:

Processar dados sensíveis de clientes na nossa infraestrutura interna de IA

Requisitos de Conformidade:

Garantir que todo o processamento de IA permaneça no nosso ambiente controlado

Modelos Personalizados:

Usar nossos modelos proprietários ajustados para tarefas específicas de domínio

Gestão de Modelos

Instalação de Modelos: LocalAI suporta diversos formatos de modelos:

• Modelos GGUF/GGML
• Modelos PyTorch
• Modelos ONNX
• Backends personalizados

Galeria de Modelos: Instalar modelos pela galeria do LocalAI:

curl http://localhost:8080/models/apply \
  -H "Content-Type: application/json" \
  -d '{
    "id": "model-gallery://llama-2-7b-chat"
  }'

Solução de Problemas

Não Consegue Conectar?

• Verifique se o servidor LocalAI está em execução
• Verifique as configurações de firewall e rede
• Garanta que a URL e a porta do servidor estejam corretas
• Teste com curl http://localhost:8080/v1/models

Problemas de Autenticação?

• Se o LocalAI exigir autenticação, adicione a chave de API nas configurações
• Verifique os logs do LocalAI para erros de autenticação
• Verifique se o formato da chave corresponde à configuração do LocalAI

Falhas ao Carregar Modelos?

• Verifique os logs do LocalAI: docker logs local-ai
• Verifique se os arquivos do modelo estão no diretório correto
• Garanta memória suficiente
• Reinicie o serviço LocalAI

Desempenho Lento?

• Ative a aceleração por GPU
• Use modelos quantizados
• Ajuste a variável de ambiente THREADS
• Considere o escalonamento horizontal com múltiplas instâncias

Configuração Avançada

Autenticação: Configure a autenticação por chave de API no LocalAI:

docker run -p 8080:8080 \
  -e API_KEY=your-secret-key \
  localai/localai:latest

Depois, adicione a chave de API nas configurações do Askimo.

Backend Personalizado: LocalAI suporta backends personalizados para modelos especializados:

name: custom-model
backend: custom-backend
parameters:
  model: /path/to/model

Limites de Recursos: Controlar o uso de recursos:

docker run -p 8080:8080 \
  --memory="8g" \
  --cpus="4" \
  localai/localai:latest