Koog 문서 번역 03: LLM Providers
원문: Koog Documentation — LLM Providers 이 글은 Koog 공식 문서의 LLM Providers 페이지를 한국어로 옮긴 번역본입니다. 문서 구조와 링크 의미를 유지하되, MkDocs 전용 UI 문법은 블로그에서 읽기 좋도록 정리했습니다.
LLM 제공업체
Koog는 주요 LLM 제공업체와 함께 동작하며, Ollama를 사용한 로컬 모델도 지원합니다. 현재 지원되는 제공업체는 다음과 같습니다.
| LLM 제공업체 | 이런 경우 선택하세요 |
|---|---|
| OpenAI (Azure OpenAI Service 포함) | 폭넓은 기능을 갖춘 고급 모델이 필요할 때 |
| Anthropic | 긴 컨텍스트와 프롬프트 캐싱이 필요할 때 |
| 멀티모달 처리(오디오, 비디오)와 큰 컨텍스트가 필요할 때 | |
| DeepSeek | 비용 효율적인 추론과 코딩이 필요할 때 |
| OpenRouter | 유연성, 제공업체 비교, 통합 API를 위해 여러 제공업체의 여러 모델에 하나의 통합으로 접근하고 싶을 때 |
| Amazon Bedrock | AWS 네이티브 환경, 엔터프라이즈 보안과 컴플라이언스, 여러 제공업체 접근이 필요할 때 |
| Mistral | 유럽 데이터 호스팅과 GDPR 준수가 필요할 때 |
| Alibaba (DashScope OpenAI 호환 클라이언트) | 큰 컨텍스트와 비용 효율적인 Qwen 모델이 필요할 때 |
| Ollama | 개인정보 보호, 로컬 개발, 오프라인 실행, API 비용 없는 구성이 필요할 때 |
아래 표는 Koog가 지원하는 LLM 기능과, 각 제공업체의 모델에서 해당 기능을 제공하는지 보여줍니다.
| LLM 기능 | OpenAI | Anthropic | DeepSeek | OpenRouter | Amazon Bedrock | Mistral | Alibaba (DashScope OpenAI 호환 클라이언트) | Ollama (로컬 모델) | |
|---|---|---|---|---|---|---|---|---|---|
| 지원 입력 | 텍스트, 이미지, 오디오, 문서 | 텍스트, 이미지, 문서[^1] | 텍스트, 이미지, 오디오, 비디오, 문서[^1] | 텍스트 | 모델마다 다름 | 모델마다 다름 | 텍스트, 이미지, 문서[^1] | 텍스트, 이미지, 오디오, 비디오[^1] | 텍스트, 이미지[^1] |
| 응답 스트리밍 | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| 도구 | ✓ | ✓ | ✓ | ✓ | ✓ | ✓[^1] | ✓ | ✓ | ✓ |
| 도구 선택 | ✓ | ✓ | ✓ | ✓ | ✓ | ✓[^1] | ✓ | ✓ | – |
| 구조화된 출력(JSON Schema) | ✓ | ✓[^1] | ✓ | ✓ | ✓[^1] | – | ✓ | ✓[^1] | ✓ |
| 여러 선택지 | ✓ | – | ✓ | – | ✓[^1] | ✓[^1] | ✓ | ✓[^1] | – |
| Temperature | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| Speculation | ✓[^1] | – | – | – | ✓[^1] | – | ✓[^1] | ✓[^1] | – |
| 콘텐츠 모더레이션 | ✓ | – | – | – | – | ✓ | ✓ | – | ✓ |
| 임베딩 | ✓ | – | – | – | – | ✓ | ✓ | – | ✓ |
| 프롬프트 캐싱 | ✓[^1] | ✓ | – | – | – | – | – | – | – |
| Completion | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ | ✓ |
| 로컬 실행 | – | – | – | – | – | – | – | – | ✓ |
참고 Koog는 AI 에이전트를 만들 때 가장 일반적으로 사용되는 기능을 지원합니다. 각 제공업체의 LLM에는 Koog가 현재 지원하지 않는 추가 기능이 있을 수 있습니다. 자세한 내용은 Model capabilities를 참고하세요.
제공업체와 함께 작업하기
Koog에서는 두 가지 수준에서 LLM 제공업체를 다룰 수 있습니다.
특정 제공업체와 직접 상호작용하기 위해 LLM 클라이언트를 사용합니다. 각 클라이언트는
LLMClient인터페이스를 구현하며, 해당 제공업체의 인증, 요청 형식화, 응답 파싱을 처리합니다. 자세한 내용은 LLM clients를 참고하세요.하나 또는 여러 LLM 클라이언트를 감싸는 더 높은 수준의 추상화로 프롬프트 실행기를 사용합니다. 프롬프트 실행기는 클라이언트 생명주기를 관리하고, 제공업체 전반에 걸쳐 통합된 인터페이스를 제공합니다. 제공업체 사이를 전환할 수 있으며, 필요하다면 해당 클라이언트를 사용해 설정된 제공업체와 LLM으로 선택적으로 폴백할 수 있습니다. 직접 실행기를 만들 수도 있고, 특정 제공업체에 맞는 사전 정의 프롬프트 실행기를 사용할 수도 있습니다. 자세한 내용은 Prompt executors를 참고하세요.
프롬프트 실행기를 사용하면 하나 이상의 LLMClient 위에 더 높은 수준의 계층을 둘 수 있습니다.
프롬프트 실행기는 클라이언트 생명주기를 관리하고 제공업체 전반에 걸친 통합 인터페이스를 노출합니다.
여러 제공업체를 함께 사용하는 구성에서는 제공업체 사이에서 요청을 라우팅할 수 있고, 핵심 요청에 필요할 경우 지정된 클라이언트로 선택적으로 폴백할 수 있습니다.
직접 실행기를 만들거나 사전 정의된 실행기를 사용할 수 있으며, 단일 제공업체 옵션과 다중 제공업체 옵션을 모두 사용할 수 있습니다.
다음 단계
- 특정 LLM 제공업체로 에이전트를 만들고 실행해 보세요.
- 프롬프트에 대해 더 알아보세요.
[^1]: 이 기능은 해당 제공업체의 일부 모델에서만 지원됩니다.