Docker AI Setup for Askimo App

Askimo 앱을 위한 Docker AI 설정

Docker AI 구성

휴대 가능하고 재현 가능한 AI 배포를 위해 Docker 컨테이너에서 실행 중인 AI 모델에 Askimo 앱을 연결합니다.

서버 구성

• 서버 URL: Docker AI 컨테이너 엔드포인트
  • 기본값: http://localhost:12434 (Docker AI 기본 포트)
  • 원격 컨테이너: http://your-server:12434
• API 키: (선택 사항) 컨테이너가 인증을 요구할 경우
• 타임아웃: 연결 타임아웃 (기본: 120초)
• 사용 가능한 모델: 실행 중인 Docker AI 컨테이너에서 자동 감지

Docker AI 설정

1. docker.com 에서 Docker Desktop 설치
2. OpenAI 호환 API 서버 활성화:

docker desktop enable model-runner --tcp 12434

3. Docker Hub에서 AI 모델 가져오기 (자동 제공됨):

docker model pull ai/<model>

4. Askimo에서 제공자 구성:
   • 제공자 유형: OpenAI (OpenAI 호환)
   • Base URL: http://localhost:12434/v1
   • API 키: 비워두기 (로컬 Docker AI에는 불필요)
   • 모델: 모델 이름 (예: ai/gemma3:4B-F16)
5. “Test Connection” 클릭하여 확인

OpenAI 호환 서버

Docker AI 모델은 OpenAI 호환 서버로 실행됩니다. docker desktop enable model-runner --tcp 12434로 모델 러너를 활성화하고 모델을 가져오면 포트 12434에서 자동 제공됩니다. 추가 serve 명령은 필요하지 않습니다.

제공자 설정 액세스

Docker AI 모델은 OpenAI 호환 서버로 실행되므로 OpenAI 제공자 설정에서 구성합니다.

1. 메뉴 바 클릭
2. “Settings” 선택
3. “AI Providers” 탭으로 이동
4. 제공자 목록에서 “OpenAI” 선택
5. 다음 설정:
   • Base URL: http://localhost:12434/v1 (또는 사용자 지정 포트)
   • API 키: 비워두기 (로컬 Docker AI에는 불필요)
   • 모델: Docker AI 모델 이름

키보드 단축키: ⌘ + , (macOS) 또는 Ctrl + , (Windows/Linux) 후 “AI Providers”

Docker Hub AI 모델

사용 가능한 AI 모델은 hub.docker.com/u/ai 방문.

전제 조건:

# OpenAI 호환 API 서버 활성화 (1회 설정)
docker desktop enable model-runner --tcp 12434

예시: gemma3:4B-F16 모델 실행

# 모델 가져오기 (자동 제공)
docker model pull ai/gemma3:4B-F16

# 모델은 http://localhost:12434/v1 에서 접근 가능
# 실행 상태 확인
docker model ls

Askimo에서 구성:

• 제공자: OpenAI
• Base URL: http://localhost:12434/v1
• API 키: (비워두기)
• 모델: ai/gemma3:4B-F16

모델 관리

가져온 모델 목록:

docker model ls

모델 제거:

docker model rm <model-name>

다중 모델

Docker AI는 여러 모델을 동시에 제공할 수 있습니다. 가져온 모든 모델은 동일한 엔드포인트 http://localhost:12434/v1를 통해 이용 가능합니다. Askimo에서 제공자 구성의 모델 이름을 변경하여 전환하세요.

문제 해결

연결할 수 없나요?

• 모델 러너가 활성화되어 있는지 확인: docker desktop enable model-runner --tcp 12434
• 모델이 가져와졌는지 확인: docker model ls
• 올바른 Base URL인지 확인: http://localhost:12434/v1
• 엔드포인트 테스트: curl http://localhost:12434/v1/models

모델을 사용할 수 없나요?

• Docker Desktop 실행 여부 확인
• 모델 러너 활성화 확인 (위 참조)
• 모델이 정상적으로 가져와졌는지 확인: docker model ls
• 모델 다시 가져오기 시도: docker model pull ai/<model-name>
• 필요 시 Docker Desktop 재시작

성능이 느린가요?

• 가능한 경우 Docker AI는 GPU를 자동 사용합니다
• 더 빠른 추론을 위해 작은 모델 사용
• 리소스 집약적인 다른 애플리케이션 종료
• 시스템 리소스(CPU/RAM) 확인

다른 포트가 필요하나요? 포트 12434가 이미 사용 중이면 모델 러너 활성화 시 다른 포트를 지정할 수 있습니다:

docker desktop enable model-runner --tcp 12435

그런 다음 Askimo의 Base URL을 http://localhost:12435/v1로 업데이트하세요.