HeatWave GenAI Features

Hauptmerkmale

Datenbankinterne große Sprachmodelle

Datenbankinterne große Sprachmodelle (LLMs) vereinfachen die Entwicklung von GenAI-Anwendungen erheblich. Sie können in kürzester Zeit von generativer KI profitieren, ohne ein externes LLM auswählen zu müssen, und Sie müssen sich keine Gedanken über die Komplexität und die Kosten der Integration oder die Verfügbarkeit eines externen LLM in verschiedenen Rechenzentren machen.

Entwicklung generativer KI-Apps für eine Vielzahl von Anwendungsfällen in verschiedenen Clouds

  • Sie können beispielsweise die integrierten LLMs verwenden, um Inhalte und Suchdaten zu generieren oder zusammenzufassen, um eine Retrieval-Augmented Generation (RAG) mit dem HeatWave Vector Store durchzuführen.
  • Sie können zudem generative KI mit anderen integrierten HeatWave-Funktionen wie maschinellem Lernen kombinieren, um den Kunden einen Mehrwert zu bieten, Kosten zu senken und schneller genauere Ergebnisse zu erzielen.
  • Sie können die integrierten LLMs in allen Oracle Cloud Infrastructure-(OCI-)Regionen, OCI Dedicated Region, Oracle Alloy, Amazon Web Services (AWS) und Microsoft Azure verwenden und erhalten einheitliche Ergebnisse mit vorhersehbarer Leistung über alle Bereitstellungen hinweg.
  • Oracle HeatWave GenAI ist in OCI Generative AI Service und in Amazon Bedrock integriert, um auf vorab trainierte Basismodelle von Cohere und Meta zuzugreifen.
  • Mit datenbankinternen LLMs und dem HeatWave Chat können Entwickler Apps bereitstellen, die für kontextbezogene Unterhaltungen in natürlicher Sprache vorkonfiguriert sind. Sie müssen keine externen LLMs abonnieren oder GPUs bereitstellen.
  • Die Batch-Verarbeitung von LLM-Inferenzen hilft Entwicklern, den Anwendungsdurchsatz zu verbessern, indem mehrere Anfragen gleichzeitig ausgeführt werden.
  • Die LLMs können HeatWave Vector Store nutzen, um ihr Wissen mit proprietären Daten zu erweitern, anstatt sich auf eine Feinabstimmung zu verlassen.

Reduzierung von Kosten und Risiken

  • Für die Verwendung der datenbankinternen LLMs fallen keine zusätzlichen Kosten an.
  • Sie können die Infrastrukturkosten reduzieren, indem Sie die Bereitstellung von GPUs überflüssig machen. Darüber hinaus werden Systemressourcen optimiert (optimale Konfiguration von Threadanzahl, Batchgröße und Segmentgröße), um die Kosten weiter zu senken.
  • Die native LLM-Ausführung innerhalb von HeatWave minimiert die mit der Datenverschiebung verbundenen Risiken.

HeatWave Vector Store

Mit HeatWave Vector Store können Sie die Leistung von LLMs mit Ihren eigenen Daten kombinieren, um genauere und kontextrelevante Antworten zu erhalten als mit Modellen, die nur auf öffentlichen Daten trainiert wurden. Der Vektorspeicher nimmt Dokumente in einer Vielzahl von Formaten auf, einschließlich PDFs, und speichert sie als Einbettungen, die über ein Einbettungsmodell generiert werden. Der Vektorspeicher identifiziert bei einer Benutzerabfrage die jeweils ähnlichsten Dokumente, indem er eine Ähnlichkeitssuche in den gespeicherten Einbettungen in Bezug auf die eingebettete Abfrage durchführt. Diese Dokumente werden verwendet, um den Prompt, den das LLM erhalten hat, anzureichern, sodass es eine kontextbezogenere Antwort für Ihr Unternehmen liefert.

Keine KI-Kenntnisse erforderlich

  • Mit HeatWave Vector Store können Sie generative KI ohne KI-Kenntnisse und ohne Verschieben von Daten in eine separate Vektordatenbank in Ihren Geschäftsdokumenten verwenden.
  • Entwickler können mit einem einzigen SQL-Befehl einen Vektorspeicher für unstrukturierte Unternehmensinhalte erstellen.
  • Die Erzeugung von Einbettungen im Vektorspeicher verarbeitet mehrere Eingabedateien parallel über mehrere Threads auf allen Clusterknoten. Die Erstellung des Vektorspeichers und die Aufnahme unstrukturierter Daten in verschiedenen Formaten wie PDF, DOCX, HTML, TXT oder PPTX ist daher sehr schnell und skaliert mit der Größe des Clusters.
  • Die Pipeline zur Erkennung und Aufnahme eigener Dokumente in den Vektorspeicher ist automatisiert, einschließlich der Umwandlung unstrukturierter Textdaten der Benutzer und der Generierung von Einbettungen, was es für Entwickler und Analysten ohne KI-Kenntnisse sehr einfach macht, den Vektorspeicher zu nutzen.
  • Die mehrsprachige Unterstützung ermöglicht es Ihnen, Dokumente in 27 Sprachen in HeatWave Vector Store zu laden, um Ähnlichkeitssuchen durchzuführen und Fragen in verschiedenen Sprachen zu stellen.
  • Die native JavaScript-Unterstützung erlaubt es Entwicklern, JavaScript mit dem VECTOR-Datentyp zu verwenden und die HeatWave GenAI-Funktionen von einem JavaScript-Programm aus aufzurufen, um beispielsweise auf einfache Weise Chatbots zu erstellen, die Unternehmensdaten nutzen.
  • Die Unterstützung der optischen Zeichenerkennung hilft Ihnen bei Ähnlichkeitssuchen, indem sie HeatWave Vector Store nutzt, um gescannte Inhalte, die als Bilder gespeichert sind, in Textdaten umzuwandeln, die beispielsweise analysiert werden können, um Plagiate aufzudecken.

Kosten und Risiken können gesenkt werden

  • Der Vektorspeicher befindet sich im Objektspeicher, was ihn sehr kosteneffizient und hoch skalierbar macht – selbst bei großen Datensätzen. Sie können den Vektorspeicher ganz einfach mit verschiedenen Anwendungen teilen.
  • Die Datenumwandlung wird in HeatWave abgeschlossen. So werden Sicherheitsrisiken durch den Wegfall von Datentransfers und Kosten durch den Wegfall von Client-Ressourcen reduziert.

Flexible und schnelle Vektorverarbeitung

Die Vektorverarbeitung wird durch die In-Memory- und Scale-Out-Architektur von HeatWave beschleunigt. HeatWave unterstützt einen neuen nativen VECTOR-Datentyp, mit dem Sie Standard-SQL zum Erstellen, Verarbeiten und Verwalten von Vektordaten verwenden können.

  • Sie können Vektoren mit anderen SQL-Operatoren kombinieren. Beispiel: Sie können analytische Abfragen ausführen, die mehrere Tabellen mit verschiedenen Dokumenten verknüpfen und Ähnlichkeitssuchen in allen Dokumenten durchführen.
  • Die In-Memory-Darstellung und eine Scale-Out-Architektur bedeuten, dass die Vektorverarbeitung über bis zu 512 HeatWave-Clusterknoten hinweg parallelisiert und mit einer Speicherbandbreite ausgeführt wird – extrem schnell und ohne Genauigkeitsverlust.

HeatWave Chat.

Mit einer neuen HeatWave-Chatschnittstelle können Sie kontextbezogene Unterhaltungen im Vektorspeicher mit natürlicher Sprache durch proprietäre Dokumente erweitern.

  • Sie können mit unstrukturierten Daten, die in MySQL Database und im Objektspeicher gespeichert sind, in natürlicher Sprache interagieren. Der Kontext der Fragen bleibt erhalten, um ein „menschliches“ Gespräch mit Folgefragen zu ermöglichen. HeatWave verwaltet einen Kontext mit der Historie der gestellten Fragen, den Zitaten der Quelldokumente und dem Prompt für das LLM. Dies erleichtert eine kontextbezogene Unterhaltung und ermöglicht es Ihnen, die vom LLM generierte Antwortquelle zu überprüfen. Dieser Kontext wird in HeatWave verwaltet und ist für alle Anwendungen verfügbar, die HeatWave verwenden.
  • Mit dem integrierten Lakehouse Navigator können Sie die in MySQL Database und Object Storage verfügbaren Daten anzeigen. Sie können dann einfach ausgewählte Daten im HeatWave Vector Store laden und das LLM anweisen, Informationen aus dieser bestimmten Quelle abzurufen. Dadurch können Sie Kosten senken, indem Sie einen kleineren Datensatz durchsuchen und gleichzeitig die Geschwindigkeit und Genauigkeit erhöhen.
  • Sie können die gesamte Datenbank durchsuchen oder die Suche auf einen Ordner beschränken.
  • Über den HeatWave-Chat können mehrere LLMs ausgewählt werden, entweder integriert oder zugänglich mit dem OCI Generative AI-Service.