Os modelos disponíveis da Cohere e Meta para OCI Generative AI incluem
Com os clusters de IA dedicados, você pode hospedar modelos fundamentais em GPUs dedicadas e privadas. Eles oferecem desempenho estável e de alta taxa de transferência, necessário para casos de uso de produção e podem oferecer suporte a cargas de trabalho de hospedagem e ajuste fino. A OCI Generative AI permite que você expanda seu cluster sem tempo de inatividade para lidar com alterações no volume.
A experiência de chat fornece uma interface pronta para uso com os modelos Cohere e Meta, em que os usuários podem fazer perguntas e obter respostas de conversação por meio do console ou da API da OCI.
A OCI Generative AI é integrada ao LangChain, uma estrutura de código aberto que pode ser usada para desenvolver novas interfaces para aplicações de IA generativa com base em modelos de linguagem. O LangChain facilita a troca de abstrações e componentes necessários para trabalhar com modelos de linguagem.
Use o LlamaIndex, uma estrutura de código aberto para a criação de aplicações com contexto aumentado, com a OCI Generative AI para criar facilmente soluções ou agentes RAG. Leve suas soluções do protótipo à produção com fontes de dados personalizadas e ferramentas flexíveis.
A OCI Generative AI fornece controles de moderação de conteúdo e, em breve, troca de modelos de endpoints sem tempo de inatividade e recursos de desativação e ativação de endpoints. Para cada endpoint de modelo, a OCI Generative AI captura uma série de análises, incluindo estatísticas de chamadas, tokens processados e contagens de erros.
Ao incorporar os recursos criados com a OCI Generative AI diretamente nas Oracle Cloud Applications, facilitamos o acesso instantâneo dos clientes a eles sem integrações complexas.