Thiết Lập Docker AI cho Ứng Dụng Askimo

Cấu Hình Docker AI

Kết nối ứng dụng Askimo với các mô hình AI chạy trong container Docker để triển khai AI có tính di động và tái lập.

Cấu Hình Máy Chủ

• URL Máy Chủ: Endpoint của container Docker AI
  • Mặc định: http://localhost:12434 (cổng mặc định của Docker AI)
  • Đối với container từ xa: http://your-server:12434
• API Key: (Tuỳ chọn) nếu container yêu cầu xác thực
• Timeout: Thời gian chờ kết nối (mặc định: 120s)
• Mô Hình Sẵn Có: Tự động phát hiện từ các container Docker AI đang chạy

Thiết Lập Docker AI

1. Cài đặt Docker Desktop từ docker.com
2. Bật máy chủ API tương thích OpenAI:

docker desktop enable model-runner --tcp 12434

3. Kéo một mô hình AI từ Docker Hub (sẽ được phục vụ tự động):

docker model pull ai/<model>

4. Cấu hình nhà cung cấp trong Askimo:
   • Loại Nhà Cung Cấp: OpenAI (tương thích OpenAI)
   • Base URL: http://localhost:12434/v1
   • API Key: để trống (không cần cho Docker AI cục bộ)
   • Mô Hình: Tên mô hình (ví dụ: ai/gemma3:4B-F16)
5. Nhấn “Test Connection” để xác minh

Máy Chủ Tương Thích OpenAI

Các mô hình Docker AI chạy như máy chủ tương thích OpenAI. Sau khi bật model-runner bằng docker desktop enable model-runner --tcp 12434 và kéo mô hình, nó sẽ tự động phục vụ trên cổng 12434. Không cần lệnh serve bổ sung.

Truy Cập Cài Đặt Nhà Cung Cấp

Vì Docker AI chạy như máy chủ tương thích OpenAI, bạn cấu hình thông qua phần cài đặt nhà cung cấp OpenAI:

1. Nhấp vào thanh menu
2. Chọn “Settings”
3. Điều hướng tới tab “AI Providers”
4. Chọn “OpenAI” trong danh sách nhà cung cấp
5. Cấu hình các thiết lập:
   • Base URL: http://localhost:12434/v1 (hoặc cổng tuỳ chỉnh)
   • API Key: để trống (không cần cho Docker AI cục bộ)
   • Mô Hình: Tên mô hình Docker AI của bạn

Phím Tắt: ⌘ + , (macOS) hoặc Ctrl + , (Windows/Linux) rồi chọn “AI Providers”

Mô Hình AI trên Docker Hub

Truy cập hub.docker.com/u/ai để xem các mô hình khả dụng.

Yêu Cầu Trước:

# Bật máy chủ API tương thích OpenAI (thiết lập một lần)
docker desktop enable model-runner --tcp 12434

Ví dụ: Chạy mô hình gemma3:4B-F16

12434/v1

# Kéo mô hình (sẽ tự động phục vụ)
docker model pull ai/gemma3:4B-F16

# Kiểm tra trạng thái chạy
docker model ls

Cấu Hình trong Askimo:

• Nhà cung cấp: OpenAI
• Base URL: http://localhost:12434/v1
• API Key: (để trống)
• Mô Hình: ai/gemma3:4B-F16

Quản Lý Mô Hình

Liệt kê mô hình đã kéo:

docker model ls

Xoá một mô hình:

docker model rm <model-name>

Nhiều Mô Hình

Docker AI có thể phục vụ nhiều mô hình đồng thời. Tất cả mô hình đã kéo đều khả dụng qua cùng một endpoint http://localhost:12434/v1. Chuyển đổi trong Askimo bằng cách thay đổi tên mô hình trong cấu hình nhà cung cấp.

Khắc Phục Sự Cố

Không thể kết nối?

• Đảm bảo model-runner đã bật: docker desktop enable model-runner --tcp 12434
• Xác minh mô hình đã kéo: docker model ls
• Đảm bảo Base URL đúng: http://localhost:12434/v1
• Kiểm tra endpoint: curl http://localhost:12434/v1/models

Mô hình không khả dụng?

• Kiểm tra Docker Desktop đang chạy
• Xác minh model-runner đã bật (xem trên)
• Xác minh mô hình kéo thành công: docker model ls
• Thử kéo lại: docker model pull ai/<model-name>
• Khởi động lại Docker Desktop nếu cần

Hiệu năng chậm?

• Docker AI sẽ tự động dùng GPU nếu khả dụng
• Dùng mô hình nhỏ hơn để suy luận nhanh hơn
• Đóng các ứng dụng ngốn tài nguyên khác
• Kiểm tra tài nguyên hệ thống (CPU/RAM)

Cần cổng khác? Nếu cổng 12434 đang bận, bạn có thể chỉ định cổng khác khi bật model-runner:

docker desktop enable model-runner --tcp 12435

Sau đó cập nhật Base URL của Askimo thành http://localhost:12435/v1