Askimo 앱을 위한 LM Studio 설정

LM Studio 구성

Askimo 앱을 LM Studio에 연결하여 신뢰할 수 있는 로컬 AI 모델 관리와 프라이버시를 제공합니다.

서버 구성

• 서버 URL: LM Studio 서버 엔드포인트
  • 기본: http://localhost:1234/v1
  • 원격: http://your-server:1234/v1
• Timeout: 연결 타임아웃 (기본: 120초)
• 사용 가능 모델: LM Studio 인스턴스에서 자동 감지

LM Studio 설정 방법

1. lmstudio.ai에서 LM Studio 다운로드 및 설치
2. LM Studio 실행
3. 모델 브라우저에서 모델 다운로드
4. LM Studio에서 로컬 서버 시작:
   • “Local Server” 탭 열기
   • “Start Server” 클릭
5. Askimo에서 서버가 자동으로 감지됩니다
6. 드롭다운에서 모델 선택
7. “Test Connection”을 클릭해 확인

공급자 설정 접근

1. 메뉴 바 클릭
2. “Settings” 선택
3. “AI Providers” 탭으로 이동
4. 공급자 목록에서 “LM Studio” 선택

키보드 단축키: ⌘ + , (macOS) 또는 Ctrl + , (Windows/Linux) 후 “AI Providers”

LM Studio 인기 모델

범용:

• Llama 2 – Meta의 오픈소스 모델
• Mistral 7B – 효율적이고 강력함
• Mixtral 8x7B – Mixture-of-Experts 모델

코드 중심:

• CodeLlama – 프로그래밍 특화
• WizardCoder – 코드 생성
• DeepSeek Coder – 고급 코딩 어시스턴트

경량:

• Phi-2 – Microsoft의 작지만 강력한 모델
• TinyLlama – 초경량 옵션

문제 해결

연결 불가?

• LM Studio 서버가 실행 중인지 확인
• 1234 포트가 차단되지 않았는지 확인
• 설정의 서버 URL이 올바른지 확인
• LM Studio 재시작

모델 로드 문제?

• 모델이 완전히 다운로드되었는지 확인
• RAM/VRAM이 충분한지 확인
• 더 작은 모델로 먼저 테스트
• LM Studio 로그 확인

추론이 느림?

• LM Studio에서 GPU 가속 활성화
• 4-bit 또는 8-bit 양자화 모델 사용
• 불필요한 앱 종료
• RAM/VRAM 사용량 모니터링

고급 구성

사용자 지정 서버 포트: 다른 포트를 사용하는 경우 서버 URL을 업데이트하세요:

http://localhost:PORT/v1

원격 LM Studio: 다른 머신에서 실행 중인 LM Studio에 연결:

http://REMOTE_IP:1234/v1

네트워크 보안

LM Studio를 네트워크에 노출할 때 적절한 방화벽 규칙과 접근 제어를 적용하세요.