Kenmerken van HeatWave GenAI
In-database grote taalmodellen
Met in-database grote taalmodellen (large language models, LLM's) kan de ontwikkeling van GenAI-applicaties aanzienlijk worden vereenvoudigd. U kunt snel profiteren van generatieve AI en u hoeft geen externe LLM te selecteren of rekening te houden met de complexiteit van de integratie, de kosten of de beschikbaarheid van een externe LLM in verschillende datacenters.
- U kunt bijvoorbeeld de ingebouwde LLM's gebruiken om content te genereren of samen te vatten en zoekgegevens te genereren om RAG (retrieval-augmented generation) uit te voeren met HeatWave Vector Store.
- U kunt ook generatieve AI combineren met andere ingebouwde mogelijkheden van HeatWave, zoals machine learning, om de kosten te verlagen en sneller nauwkeurigere resultaten te verkrijgen.
- U kunt de ingebouwde LLM's in alle OCI-regio's, OCI Dedicated Region en alle clouds gebruiken en consistente resultaten behalen met voorspelbare prestaties voor alle implementaties.
- Er zijn geen extra kosten verbonden aan het gebruik van de in-database LLM's. De kosten voor infrastructuur kunnen worden verlaagd doordat er geen GPU's meer moeten worden ingericht. Bovendien worden de systeemresources geoptimaliseerd (optimale configuratie van het aantal threads, de batchomvang en de segmentgrootte), zodat de kosten verder afnemen.
- Dankzij in-database LLM's en HeatWave Chat kunnen ontwikkelaars apps leveren die vooraf zijn geconfigureerd voor contextuele gesprekken in een natuurlijke taal. Er zijn geen externe LLM's en GPU's nodig.
- Door native LLM's te gebruiken in HeatWave, worden de risico's van het verplaatsen van gegevens tot een minimum beperkt. De LLM's kunnen profiteren van HeatWave Vector Store om hun kennis uit te breiden aan de hand van eigen gegevens in plaats van te vertrouwen op finetuning.
- Oracle HeatWave GenAI wordt geïntegreerd met de OCI Generative AI-service voor toegang tot vooraf getrainde basismodellen uit Cohere en Meta.
HeatWave Vector Store
Met HeatWave Vector Store kunt u de kracht van LLM's combineren met uw eigen gegevens om nauwkeurigere en contextueel relevantere antwoorden te krijgen dan met modellen die alleen zijn getraind aan de hand van openbare gegevens. In de vectoropslag worden documenten opgenomen in verschillende indelingen, waaronder pdf, en opgeslagen als embeddingen die worden gegenereerd via een embeddingsmodel. Voor een bepaalde gebruikersquery helpt de vectoropslag de meest vergelijkbare documenten te identificeren door een zoekopdracht naar overeenkomsten uit te voeren op basis van de opgeslagen embeddingen en de embedded query. Deze documenten worden gebruikt om de prompt die aan de LLM wordt gegeven, uit te breiden, zodat deze een meer contextueel antwoord kan geven voor uw bedrijf.
- Met HeatWave Vector Store kunt u generatieve AI gebruiken voor uw bedrijfsdocumenten zonder dat u gegevens naar een afzonderlijke vectordatabase moet verplaatsen en zonder dat u AI-expertise nodig hebt.
- Bij het genereren van embeddingen in de vectoropslag worden meerdere invoerbestanden parallel verwerkt over meerdere threads op alle clusternodes. Hierdoor kan het maken van de vectoropslag en het opnemen van ongestructureerde gegevens in verschillende indelingen, zoals pdf, docx, html, txt of pptx, zeer snel worden uitgevoerd en worden opgeschaald met de clustergrootte.
- De pijplijn voor het ontdekken en opnemen van eigen documenten in de vectoropslag wordt geautomatiseerd, waarbij ongestructureerde tekstgegevens van gebruikers worden getransformeerd en embeddingen worden gegenereerd, zodat het voor ontwikkelaars en analisten zonder AI-expertise heel eenvoudig is om gebruik te maken van de vectoropslag.
- De vectoropslag bevindt zich in de objectopslag, waardoor deze zeer kosteneffectief en zeer schaalbaar is, zelfs bij grote gegevenssets. De vectoropslag kan ook eenvoudig worden gedeeld met verschillende applicaties.
- De transformatie van gegevens wordt voltooid binnen de database, waardoor er minder beveiligingsrisico's zijn omdat er geen gegevens moeten worden verplaatst, en de kosten lager zijn omdat er geen resources van klanten nodig zijn.
Flexibele en snelle vectorverwerking
Vectorverwerking gaat sneller met de in-memory en scale-out architectuur van HeatWave. HeatWave ondersteunt een nieuw native VECTOR-gegevenstype, waarmee u standaard-SQL kunt gebruiken om vectorgegevens te maken, verwerken en beheren.
- U kunt vectoren combineren met andere SQL-operatoren. U kunt bijvoorbeeld analytische query's uitvoeren waarbij verschillende tabellen worden samengevoegd met verschillende documenten en wordt gezocht naar overeenkomsten in alle documenten.
- De in-memory weergave en een scale-out architectuur betekenen dat de vectorverwerking parallel wordt uitgevoerd over maximaal 512 HeatWave-clusternodes en op geheugenbandbreedte, dus extreem snel en zonder verlies van nauwkeurigheid.
HeatWave Chat
Met de nieuwe HeatWave Chat-interface kunt u contextuele gesprekken uitbreiden met eigen documenten in de vectoropslag, in een natuurlijke taal.
- U kunt in een natuurlijke taal werken met ongestructureerde gegevens die zijn opgeslagen in MySQL Database en in de objectopslag. De context van de vragen blijft behouden, waardoor een mensachtig gesprek met vervolgvragen mogelijk is. HeatWave behoudt een context met de geschiedenis van de gestelde vragen, citaten uit de brondocumenten en de prompt naar de LLM. Daardoor is een contextueel gesprek mogelijk en kunt u de bron van de antwoorden die door de LLM worden gegenereerd, verifiëren. Deze context blijft behouden in HeatWave en is beschikbaar voor alle applicaties die HeatWave gebruiken.
- Met de geïntegreerde Lakehouse Navigator kunt u gegevens zien die beschikbaar zijn in MySQL Database en de objectopslag. Vervolgens kunt u eenvoudig geselecteerde gegevens laden in HeatWave Vector Store en de LLM opdracht geven om informatie op te halen uit die specifieke bron. Hierdoor kunt u de kosten verlagen door een kleinere gegevensset te doorzoeken en tegelijkertijd de snelheid en nauwkeurigheid te verhogen.
- U kunt de gehele database doorzoeken of de zoekopdracht beperken tot een map.
- Er kunnen verschillende LLM's worden geselecteerd via HeatWave Chat, zowel ingebouwde LLM's als LLM's die toegankelijk zijn met de OCI Generative AI-service.