Chatbot con RAG a través de OCI Generative AI Agents
Introducción
En el panorama tecnológico actual, podemos aprovechar la investigación y las estadísticas, extraer fuentes de datos para el análisis y extraer información para tomar decisiones en tiempo real. Sin embargo, la nueva información puede ser difícil de analizar y contextualizar, incluso para las soluciones de análisis más sólidas. Aquí es donde la generación aumentada de recuperación (RAG) es útil, lo que le permite aumentar el conocimiento de un modelo de lenguaje grande sin volver a entrenarlo cuando hay nueva información disponible. Esto actualiza tu modelo con datos más recientes, haciéndolo más capaz, con el mínimo esfuerzo.
Los agentes de IA generativa de Oracle Cloud Infrastructure (OCI) te permiten hacer precisamente eso. En este ejemplo, cargaremos nuestros documentos, procesaremos estos datos, los pondremos en un almacén de vectores (a través de OCI Search con OpenSearch), crearemos un cluster de Redis con fines de almacenamiento en caché y le proporcionaremos una forma de consumir los datos a través de un chatbot.
Para la infraestructura, tendremos presentes los siguientes servicios de OCI:
- Caché de OCI para almacenar en caché las interacciones usuario-agente (para que podamos proporcionar un poco de contexto al modelo)
- Búsqueda de OCI con el cluster OpenSearch para la búsqueda de similitud de índices (base de datos de vector) y el almacenamiento de índices con datos
- OCI Compute para conectarse al cluster OpenSearch de forma segura (mediante el enrutamiento de subred privada de OCI)
- Agentes de IA generativa de OCI para comunicarse e interactuar con los datos de nuestro cluster
Demostración
Requisitos y configuración
- Cuenta en Oracle Cloud: página de registro
- Introducción a OCI Generative AI: documentación
- SDK de OCI e interfaz de línea de comandos: configuración
- OCI Generative AI: SDK de Python
- Gestor de paquetes de código abierto: Conda