在 Askimo 中配置 LocalAI

LocalAI 配置

将 Askimo 应用连接到您自托管的 LocalAI 实例，以便完全掌控 AI 基础设施。

服务器配置

服务器 URL：LocalAI 服务器端点
- 默认：http://localhost:8080
- 远程：http://your-server:8080
API 密钥：可选，如果 LocalAI 要求认证
超时：连接超时（默认：120 秒）
可用模型：从您的 LocalAI 部署自动检测

设置 LocalAI

按照官方指南安装 LocalAI
启动 LocalAI 服务器：

docker run -p 8080:8080 --name local-ai -ti localai/localai:latest

在 LocalAI 实例中部署模型
在 Askimo 中输入 LocalAI 服务器 URL
点击“Test Connection”进行验证

访问提供商设置

点击菜单栏
选择“Settings”
进入“AI Providers”选项卡
在提供商列表中选择“LocalAI”

快捷键：⌘ + ,（macOS）或 Ctrl + ,（Windows/Linux），然后点击“AI Providers”

部署选项

Docker（推荐）：

docker run -p 8080:8080 \
  -v $PWD/models:/models \
  localai/localai:latest

Docker Compose：

version: '3.8'
services:
  localai:
    image: localai/localai:latest
    ports:
      - "8080:8080"
    volumes:
      - ./models:/models
    environment:
      - THREADS=4

LocalAI 最佳用例

企业级部署：

在我们的内部 AI 基础设施中处理敏感客户数据

合规性要求：

确保所有 AI 处理都在我们的受控环境中进行

自定义模型：

使用我们自有的微调模型，服务于特定领域任务

模型管理

安装模型： LocalAI 支持多种模型格式：

GGUF/GGML 模型
PyTorch 模型
ONNX 模型
自定义后端

模型库： 从 LocalAI 库安装模型：

curl http://localhost:8080/models/apply \
  -H "Content-Type: application/json" \
  -d '{
    "id": "model-gallery://llama-2-7b-chat"
  }'

故障排除

无法连接？

验证 LocalAI 服务器是否正在运行
检查防火墙和网络设置
确保服务器 URL 和端口正确
使用 curl http://localhost:8080/v1/models 测试

认证问题？

如果 LocalAI 要求认证，在设置中添加 API 密钥
检查 LocalAI 日志中的认证错误
验证 API 密钥格式是否与 LocalAI 配置匹配

模型加载失败？

检查 LocalAI 日志：docker logs local-ai
验证模型文件是否位于正确目录
确保内存充足
尝试重启 LocalAI 服务

性能较慢？

启用 GPU 加速
使用量化模型
调整 THREADS 环境变量
考虑通过多个实例进行横向扩展

高级配置

认证： 在 LocalAI 中配置 API 密钥认证：

docker run -p 8080:8080 \
  -e API_KEY=your-secret-key \
  localai/localai:latest

然后在 Askimo 设置中添加 API 密钥。

自定义后端： LocalAI 支持用于专用模型的自定义后端：

name: custom-model
backend: custom-backend
parameters:
  model: /path/to/model

资源限制： 控制资源使用：

docker run -p 8080:8080 \
  --memory="8g" \
  --cpus="4" \
  localai/localai:latest