Recursos do Generative AI Service

 

modelos

Os modelos disponíveis da Cohere e Meta para OCI Generative AI incluem

  • Cohere Command R: parte de uma nova categoria de modelos escaláveis, o Command R visa equilibrar alta eficiência com alta precisão para aplicações de geração aumentada de recuperação (RAG). Em comparação com os modelos originais da Cohere, o Command R oferece maior taxa de transferência e menor latência, uma janela de contexto maior e um bom desempenho em 10 idiomas.
  • Cohere Command R+: o Command R+ é aprimorado com treinamento adicional do Command R para casos de uso mais especializados. O Command R+ tem uma compreensão mais profunda da linguagem e a capacidade de gerar respostas mais detalhadas e contextualmente apropriadas. Use o Command R+ para casos de uso como geração de conteúdo extenso, resumo, resposta a perguntas e geração de linguagem para domínios ou setores específicos.
  • Cohere Embed: esses modelos de incorporação em inglês e multilíngue (v3) convertem texto em representação de incorporação de vetores. As versões "light" do Embed são menores e mais rápidas (somente em inglês).
  • Meta Llama 3: os modelos Llama 3 são de última geração e de código aberto, com desempenho e diversidade de respostas aprimorados. Os recursos aprimorados incluem raciocínio, geração de código e acompanhamento de instruções. A OCI Generative AI oferece o modelo Llama 3 70B com suporte para ajuste fino usando o método LoRA.

Clusters de IA dedicados

Com os clusters de IA dedicados, você pode hospedar modelos fundamentais em GPUs dedicadas e privadas. Eles oferecem desempenho estável e de alta taxa de transferência, necessário para casos de uso de produção e podem oferecer suporte a cargas de trabalho de hospedagem e ajuste fino. A OCI Generative AI permite que você expanda seu cluster sem tempo de inatividade para lidar com alterações no volume.

API de chat e playground

A experiência de chat fornece uma interface pronta para uso com os modelos Cohere e Meta, em que os usuários podem fazer perguntas e obter respostas de conversação por meio do console ou da API da OCI.

Integração com o LangChain

A OCI Generative AI é integrada ao LangChain, uma estrutura de código aberto que pode ser usada para desenvolver novas interfaces para aplicações de IA generativa com base em modelos de linguagem. O LangChain facilita a troca de abstrações e componentes necessários para trabalhar com modelos de linguagem.

Integração LlamaIndex

Use o LlamaIndex, uma estrutura de código aberto para a criação de aplicações com contexto aumentado, com a OCI Generative AI para criar facilmente soluções ou agentes RAG. Leve suas soluções do protótipo à produção com fontes de dados personalizadas e ferramentas flexíveis.

Operações de IA generativa

A OCI Generative AI fornece controles de moderação de conteúdo e, em breve, troca de modelos de endpoints sem tempo de inatividade e recursos de desativação e ativação de endpoints. Para cada endpoint de modelo, a OCI Generative AI captura uma série de análises, incluindo estatísticas de chamadas, tokens processados e contagens de erros.

OCI Generative AI para Oracle Fusion Cloud Applications

Ao incorporar os recursos criados com a OCI Generative AI diretamente nas Oracle Cloud Applications, facilitamos o acesso instantâneo dos clientes a eles sem integrações complexas.

Saiba mais

Oracle Chatbot
Disconnected