Chatbot con la RAG che utilizzano agenti dell'AI generativa OCI
Introduzione
Nel panorama tecnologico di oggi, possiamo attingere a ricerche e statistiche, inserendo feed di dati per analisi e insight di disegno per prendere decisioni in tempo reale. Tuttavia, le nuove informazioni possono essere difficili da analizzare e contestualizzare, anche per le soluzioni di analisi dei dati più affidabili. È qui che è utile la retrieval-augmented generation (RAG), che consente di aumentare la conoscenza di un modello di linguaggio di grandi dimensioni senza riaddestrarlo quando sono disponibili nuove informazioni. Questo aggiorna il modello con dati più recenti, rendendolo più capace, con il minimo sforzo.
Gli agenti di intelligenza artificiale generativa Oracle Cloud Infrastructure (OCI) ti consentono di fare proprio questo. In questo esempio, caricheremo i nostri documenti, elaboreremo questi dati, li metteremo in un'area di memorizzazione vettoriale (tramite OCI Search con OpenSearch), creeremo un cluster Redis per scopi di inserimento nella cache e ti forniremo un modo per utilizzare i dati tramite un chatbot.
Per l'infrastruttura, saranno presenti i seguenti servizi OCI:
- Cache OCI per l'inserimento nella cache delle interazioni utente-agente (in modo da poter fornire un contesto al modello)
- OCI Search con cluster OpenSearch per la ricerca della somiglianza degli indici (database vettoriale) e la memorizzazione degli indici con i dati
- OCI Compute per la connessione al cluster OpenSearch in modo sicuro (tramite l'instradamento della subnet privata OCI)
- Agenti AI generativa OCI per comunicare e interagire con i dati nel nostro cluster
Demo
Prerequisiti e impostazione
- Account Oracle Cloud: pagina di registrazione
- Introduzione alla documentazione dell'AI generativa OCI
- SDK OCI e interfaccia a riga di comando: configurazione
- AI generativa OCI - SDK Python
- Package manager open source - Conda