Askimo向けLocalAIの設定

LocalAIの構成

Askimoアプリを自ホストのLocalAIインスタンスに接続し、AIインフラを完全にコントロールしましょう。

サーバー設定

サーバーURL: LocalAIサーバーのエンドポイント
- デフォルト: http://localhost:8080
- リモート: http://your-server:8080
APIキー: （任意）LocalAIが認証を要求する場合
タイムアウト: 接続タイムアウト（デフォルト: 120秒）
利用可能なモデル: あなたのLocalAIデプロイから自動検出

LocalAIのセットアップ

公式ガイドに従ってLocalAIをインストール
LocalAIサーバーを起動:

docker run -p 8080:8080 --name local-ai -ti localai/localai:latest

LocalAIインスタンスにモデルをデプロイ
AskimoにLocalAIのサーバーURLを入力
「Test Connection」をクリックして検証

プロバイダー設定へのアクセス

メニューバーをクリック
「Settings」を選択
「AI Providers」タブへ移動
プロバイダー一覧から「LocalAI」を選択

キーボードショートカット: ⌘ + ,（macOS）または Ctrl + ,（Windows/Linux）→ 「AI Providers」

デプロイオプション

Docker（推奨）:

docker run -p 8080:8080 \
  -v $PWD/models:/models \
  localai/localai:latest

Docker Compose:

version: '3.8'
services:
  localai:
    image: localai/localai:latest
    ports:
      - "8080:8080"
    volumes:
      - ./models:/models
    environment:
      - THREADS=4

LocalAIの主なユースケース

エンタープライズ導入:

社内のAIインフラで機密性の高い顧客データを処理する

コンプライアンス要件:

すべてのAI処理を制御された環境内に維持する

カスタムモデル:

独自のファインチューニング済みモデルを領域特化のタスクに活用する

モデル管理

モデルのインストール: LocalAIは多様なモデル形式をサポートします:

GGUF/GGMLモデル
PyTorchモデル
ONNXモデル
カスタムバックエンド

モデルギャラリー: LocalAIギャラリーからモデルをインストール:

curl http://localhost:8080/models/apply \
  -H "Content-Type: application/json" \
  -d '{
    "id": "model-gallery://llama-2-7b-chat"
  }'

トラブルシューティング

接続できない場合

LocalAIサーバーが実行中か確認
ファイアウォール・ネットワーク設定を確認
サーバーURLとポートが正しいか確認
curl http://localhost:8080/v1/models でテスト

認証の問題

LocalAIが認証を要求する場合、設定にAPIキーを追加
LocalAIのログで認証エラーを確認
APIキーの形式がLocalAI設定に適合しているか検証

モデル読み込みの失敗

LocalAIのログを確認: docker logs local-ai
モデルファイルが正しいディレクトリにあるか確認
モデルに十分なメモリがあるか確認
LocalAIサービスの再起動を試す

推論が遅い

LocalAIでGPUアクセラレーションを有効化
量子化モデル（4-bit/8-bit）を使用
不要なアプリを終了
RAM/VRAMの使用率を監視

詳細設定

認証: LocalAIでAPIキー認証を構成:

docker run -p 8080:8080 \
  -e API_KEY=your-secret-key \
  localai/localai:latest

その後、Askimoの設定にAPIキーを追加してください。

カスタムバックエンド: 特化モデル向けのカスタムバックエンドを構成:

name: custom-model
backend: custom-backend
parameters:
  model: /path/to/model

リソース制限: リソース使用を制御:

docker run -p 8080:8080 \
  --memory="8g" \
  --cpus="4" \
  localai/localai:latest