Thiết Lập LocalAI cho Ứng Dụng Askimo

Cấu Hình LocalAI

Kết nối ứng dụng Askimo với LocalAI tự lưu trữ để kiểm soát hoàn toàn hạ tầng AI của bạn.

Cấu Hình Máy Chủ

• Server URL: Endpoint máy chủ LocalAI
  • Mặc định: http://localhost:8080
  • Máy chủ từ xa: http://your-server:8080
• API Key: (Tùy chọn) nếu LocalAI yêu cầu xác thực
• Timeout: Thời gian chờ kết nối (mặc định: 120s)
• Mô Hình Sẵn Có: Tự phát hiện từ triển khai LocalAI của bạn

Cách Thiết Lập LocalAI

1. Cài LocalAI theo hướng dẫn chính thức
2. Khởi chạy máy chủ LocalAI:

docker run -p 8080:8080 --name local-ai -ti localai/localai:latest

3. Triển khai mô hình vào LocalAI
4. Trong Askimo, nhập URL máy chủ LocalAI
5. Nhấn “Test Connection” để xác minh

Truy Cập Cài Đặt Nhà Cung Cấp

1. Nhấn vào thanh menu
2. Chọn “Settings”
3. Vào tab “AI Providers”
4. Chọn “LocalAI” trong danh sách nhà cung cấp

Phím Tắt: ⌘ + , (macOS) hoặc Ctrl + , (Windows/Linux) rồi chọn “AI Providers”

Tùy Chọn Triển Khai

Docker (Khuyến nghị):

docker run -p 8080:8080 \
  -v $PWD/models:/models \
  localai/localai:latest

Docker Compose:

version: '3.8'
services:
  localai:
    image: localai/localai:latest
    ports:
      - "8080:8080"
    volumes:
      - ./models:/models
    environment:
      - THREADS=4

Tình Huống Sử Dụng Phù Hợp

Triển Khai Doanh Nghiệp:

Xử lý dữ liệu khách hàng nhạy cảm trên hạ tầng AI nội bộ

Yêu Cầu Tuân Thủ:

Đảm bảo mọi xử lý AI nằm trong môi trường kiểm soát của chúng tôi

Mô Hình Tùy Chỉnh:

Sử dụng mô hình tinh chỉnh riêng cho các tác vụ đặc thù lĩnh vực

Quản Lý Mô Hình

Cài Đặt Mô Hình: LocalAI hỗ trợ nhiều định dạng mô hình:

• Mô hình GGUF/GGML
• Mô hình PyTorch
• Mô hình ONNX
• Backend tùy chỉnh

Model Gallery: Cài đặt mô hình từ thư viện LocalAI:

curl http://localhost:8080/models/apply \
  -H "Content-Type: application/json" \
  -d '{
    "id": "model-gallery://llama-2-7b-chat"
  }'

Khắc Phục Sự Cố

Không Thể Kết Nối?

• Kiểm tra máy chủ LocalAI đang chạy
• Kiểm tra cấu hình tường lửa và mạng
• Đảm bảo URL và cổng máy chủ đúng
• Thử curl http://localhost:8080/v1/models

Vấn Đề Xác Thực?

• Nếu LocalAI yêu cầu xác thực, thêm API key trong cài đặt
• Kiểm tra nhật ký LocalAI để tìm lỗi xác thực
• Xác minh định dạng API key khớp với cấu hình LocalAI

Lỗi Tải Mô Hình?

• Xem nhật ký LocalAI: docker logs local-ai
• Đảm bảo tệp mô hình nằm đúng thư mục
• Đảm bảo đủ bộ nhớ
• Khởi động lại dịch vụ LocalAI

Hiệu Năng Chậm?

• Bật tăng tốc GPU
• Dùng mô hình lượng tử hóa
• Điều chỉnh biến môi trường THREADS
• Cân nhắc mở rộng ngang với nhiều instance

Cấu Hình Nâng Cao

Xác Thực: Cấu hình xác thực API key trong LocalAI:

docker run -p 8080:8080 \
  -e API_KEY=your-secret-key \
  localai/localai:latest

Sau đó thêm API key trong cài đặt Askimo.

Backend Tùy Chỉnh: LocalAI hỗ trợ backend tùy chỉnh cho các mô hình chuyên dụng:

name: custom-model
backend: custom-backend
parameters:
  model: /path/to/model

Giới Hạn Tài Nguyên: Kiểm soát sử dụng tài nguyên:

docker run -p 8080:8080 \
  --memory="8g" \
  --cpus="4" \
  localai/localai:latest