개요
LLM(대형 언어 모델)은 텍스트 생성, 문제 해결 및 다음 지침에서 중요한 진전을 이루었습니다. 기업이 LLM을 사용하여 최첨단 솔루션을 개발함에 따라 확장 가능하고 안전하며 효율적인 배포 플랫폼에 대한 요구가 점점 더 중요해지고 있습니다. Kubernetes는 확장성, 유연성, 이식성 및 복원성을 위해 선호되는 옵션이 되었습니다.
이 데모에서는 기업을 위해 대규모 배포 및 운영을 간소화하는 관리형 Kubernetes 서비스인 Oracle Cloud Infrastructure Container Engine for Kubernetes(OKE)에서 미세 조정된 LLM 추론 컨테이너를 배포하는 방법을 보여줍니다. 이 서비스를 통해 타사 추론 API에 의존하지 않고도 사용자 정의 모델 및 데이터 세트를 자체 테넌시 내에 유지할 수 있습니다.
LLM을 노출하기 위해 TGI(Text Generation Inference)를 추론 프레임워크로 사용합니다.
데모
기계로 번역된 페이지입니다.