Chatbot com RAG usando OCI Generative AI Agents
Introdução
No cenário tecnológico atual, podemos explorar pesquisas e estatísticas, extraindo feeds de dados para análise e extraindo insights para tomar decisões em tempo real. No entanto, novas informações podem ser difíceis de analisar e contextualizar, mesmo para as soluções de análise mais robustas. É aqui que a geração aumentada de recuperação (RAG) é útil, permitindo que você aumente o conhecimento de um modelo de linguagem grande sem treiná-lo novamente quando novas informações estiverem disponíveis. Isso atualiza seu modelo com dados mais recentes, tornando-o mais capaz, com o mínimo de esforço.
Os Agentes de IA Generativa da Oracle Cloud Infrastructure (OCI) permitem que você faça exatamente isso. Neste exemplo, faremos upload de nossos documentos, processaremos esses dados, os colocaremos em um armazenamento de vetores (por meio do OCI Search com OpenSearch), criaremos um cluster Redis para fins de armazenamento em cache e forneceremos uma maneira de consumir os dados por meio de um chatbot.
Para a infraestrutura, teremos os seguintes serviços da OCI presentes:
- OCI Cache para armazenar em cache interações usuário-agente (para que possamos fornecer algum contexto ao modelo)
- OCI Search com cluster OpenSearch para pesquisa de similaridade de índice (banco de dados vetorial) e armazenamento de índices com dados
- OCI Compute para estabelecer conexão com o cluster OpenSearch de forma segura (por meio do roteamento da sub-rede privada do OCI)
- Agentes de IA generativa da OCI para comunicação e interação com os dados em nosso cluster
Demonstração
Pré-requisitos e configuração
- Conta da Oracle Cloud - página de inscrição
- Primeiros passos com a documentação da OCI Generative AI
- OCI SDK e interface de linha de comando — configuração
- OCI Generative AI - Python SDK
- Gerenciador de pacotes de código-fonte aberto — Conda