Chatbot mit RAG unter Verwendung von OCI Generative AI Agents
Einführung
In der heutigen Technologielandschaft können wir Forschung und Statistiken nutzen, Datenfeeds zur Analyse einbeziehen und Erkenntnisse gewinnen, um Entscheidungen in Echtzeit zu treffen. Neue Informationen können jedoch selbst für die robustesten Analyselösungen nur schwer geparst und kontextualisiert werden. Hier ist die retrieval-augmented generation (RAG) nützlich, mit der Sie die Kenntnisse eines großen Sprachmodells erweitern können, ohne es neu zu trainieren, wenn neue Informationen verfügbar sind. Dadurch wird Ihr Modell mit neueren Daten aktualisiert, sodass es mit minimalem Aufwand leistungsfähiger wird.
Mit generativen KI-Agents von Oracle Cloud Infrastructure (OCI) können Sie genau das tun. In diesem Beispiel laden wir unsere Dokumente hoch, verarbeiten diese Daten, speichern sie in einem Vektorspeicher (über OCI Search mit OpenSearch), erstellen ein Redis-Cluster für Caching-Zwecke und bieten Ihnen eine Möglichkeit, die Daten über einen Chatbot zu konsumieren.
Für die Infrastruktur sind die folgenden OCI-Services vorhanden:
- OCI-Cache für das Caching von Benutzer-Agent-Interaktionen (damit wir dem Modell einen gewissen Kontext geben können)
- OCI-Suche mit OpenSearch-Cluster nach Indexähnlichkeitssuche (Vektordatenbank) und Speichern von Indizes mit Daten
- OCI Compute für die sichere Verbindung zum OpenSearch-Cluster (über das Routing des privaten OCI-Subnetzes)
- OCI Generative AI Agents für die Kommunikation und Interaktion mit den Daten in unserem Cluster
Demo
Voraussetzungen und Einrichtung
- Oracle Cloud-Account – Anmeldeseite
- Erste Schritte mit OCI Generative AI – Dokumentation
- OCI-SDK und Befehlszeilenschnittstelle – Konfiguration
- OCI Generative AI – Python-SDK
- Open Source Package Manager – Conda