Automatización segura de tareas con RAG y una selección de LLM
Introducción
En el esfuerzo por agilizar las tareas repetitivas o automatizarlas por completo, ¿por qué no solicitar la ayuda de la IA? El uso de un modelo básico para automatizar tareas repetitivas puede parecer atractivo, pero puede poner en riesgo los datos confidenciales. La generación aumentada de recuperación (RAG) es una alternativa al ajuste, ya que mantiene los datos de inferencia aislados del corpus de un modelo.
Queremos mantener nuestros datos de inferencia y modelos separados, pero también queremos una opción en la que el modelo de lenguaje grande (LLM) que utilizamos y una potente GPU para la eficiencia. ¡Imagínate si pudieras hacer todo esto con una sola GPU!
En esta demostración, mostraremos cómo implementar una solución RAG utilizando una única GPU NVIDIA A10; un marco de código abierto como LangChain, LlamaIndex, Qdrant o vLLM; y un LLM ligero de 7 mil millones de parámetros de Mistral AI. Es un excelente equilibrio entre precio y rendimiento y mantiene los datos de inferencia separados mientras actualiza los datos según sea necesario.
Demostración
Requisitos y configuración
- Cuenta de Oracle Cloud—página de registro
- Instancia informática de GPU de Oracle: documentación
- LlamaIndex: documentación
- LangChain: documentación
- vLLM: documentación
- Qdrant: documentación