Docker AI Setup for Askimo App

Askimo 应用的 Docker AI 设置

Docker AI 配置

将 Askimo 应用连接到运行在 Docker 容器中的 AI 模型，以实现可移植、可复现的 AI 部署。

服务器配置

• 服务器 URL：Docker AI 容器端点
  • 默认：http://localhost:12434（Docker AI 默认端口）
  • 远程容器：http://your-server:12434
• API 密钥：（可选）如果容器需要身份验证
• 超时：连接超时（默认：120 秒）
• 可用模型：从正在运行的 Docker AI 容器中自动检测

设置 Docker AI

1. 从 docker.com 安装 Docker Desktop
2. 启用 OpenAI 兼容 API 服务器：

docker desktop enable model-runner --tcp 12434

3. 从 Docker Hub 拉取 AI 模型（将自动提供）：

docker model pull ai/<model>

4. 在 Askimo 中配置提供商：
   • 提供商类型：OpenAI（OpenAI 兼容）
   • Base URL：http://localhost:12434/v1
   • API 密钥：留空（本地 Docker AI 不需要）
   • 模型：模型名称（例如 ai/gemma3:4B-F16）
5. 点击 “Test Connection” 验证

OpenAI 兼容服务器

Docker AI 模型作为 OpenAI 兼容服务器运行。在使用 docker desktop enable model-runner --tcp 12434 启用 model-runner 并拉取模型后，它会在 12434 端口自动提供，无需额外的服务命令。

访问提供商设置

由于 Docker AI 模型作为 OpenAI 兼容服务器运行，因此通过 OpenAI 提供商设置进行配置：

1. 点击菜单栏
2. 选择 “Settings”
3. 导航到 “AI Providers” 选项卡
4. 在提供商列表中选择 “OpenAI”
5. 配置：
   • Base URL：http://localhost:12434/v1（或自定义端口）
   • API 密钥：留空（本地 Docker AI 不需要）
   • 模型：Docker AI 模型名称

快捷键：⌘ + ,（macOS）或 Ctrl + ,（Windows/Linux），然后点击 “AI Providers”

Docker Hub AI 模型

访问 hub.docker.com/u/ai 查看可用的 AI 模型。

前提条件：

# 启用 OpenAI 兼容的 API 服务器（一次性设置）
docker desktop enable model-runner --tcp 12434

示例：运行 gemma3:4B-F16 模型

# 拉取模型（将自动提供）
docker model pull ai/gemma3:4B-F16

# 模型现在可通过 http://localhost:12434/v1 访问
# 验证模型是否在运行
docker model ls

在 Askimo 中配置：

• 提供商：OpenAI
• Base URL：http://localhost:12434/v1
• API 密钥：（留空）
• 模型：ai/gemma3:4B-F16

模型管理

列出已拉取的模型：

docker model ls

删除模型：

docker model rm <model-name>

多个模型

Docker AI 可以同时提供多个模型。所有已拉取的模型都可以通过同一端点 http://localhost:12434/v1 访问。在 Askimo 中通过更改提供商配置中的模型名称来切换。

故障排除

无法连接？

• 确保已启用 model-runner：docker desktop enable model-runner --tcp 12434
• 验证模型已拉取：docker model ls
• 确认正确的 Base URL：http://localhost:12434/v1
• 测试端点：curl http://localhost:12434/v1/models

模型不可用？

• 检查 Docker Desktop 是否正在运行
• 验证 model-runner 是否已启用（见上）
• 验证模型是否拉取成功：docker model ls
• 重新拉取模型：docker model pull ai/<model-name>
• 如有需要，重启 Docker Desktop

性能较慢？

• 如果可用，Docker AI 将自动使用 GPU
• 使用更小的模型以获得更快的推理速度
• 关闭其他占用资源的应用程序
• 检查系统资源（CPU/RAM）

需要不同的端口？ 如果 12434 端口已被占用，可以在启用 model-runner 时指定不同端口：

docker desktop enable model-runner --tcp 12435

然后将 Askimo 的 Base URL 更新为 http://localhost:12435/v1。