Kenmerken van HeatWave GenAI

In-database grote taalmodellen

Met in-database grote taalmodellen (large language models, LLM's) kan de ontwikkeling van GenAI-applicaties aanzienlijk worden vereenvoudigd. U kunt snel profiteren van generatieve AI, u hoeft geen externe LLM te selecteren en u hoeft geen rekening te houden met de complexiteit van de integratie, de kosten of de beschikbaarheid van een externe LLM in verschillende datacenters.

Bouw generatieve AI-apps voor een breed scala aan gebruiksscenario's in de cloud

• U kunt bijvoorbeeld de ingebouwde LLM's gebruiken om content te genereren of samen te vatten en zoekgegevens te genereren om RAG (retrieval-augmented generation) uit te voeren met HeatWave Vector Store.
• U kunt ook generatieve AI combineren met andere ingebouwde mogelijkheden van HeatWave, zoals machine learning, om klanten meerwaarde te bieden, de kosten te verlagen en sneller nauwkeurigere resultaten te verkrijgen.
• U kunt de ingebouwde LLM's in alle Oracle Cloud Infrastructure (OCI) regio's, OCI Dedicated Region, Oracle Alloy, Amazon Web Services (AWS) en Microsoft Azure gebruiken en consistente resultaten behalen met voorspelbare prestaties voor alle implementaties.
• Oracle HeatWave GenAI wordt geïntegreerd met de OCI Generative AI-service en met Amazon Bedrock voor toegang tot vooraf getrainde basismodellen uit Cohere en Meta.
• Dankzij in-database LLM's en HeatWave Chat kunnen ontwikkelaars apps leveren die vooraf zijn geconfigureerd voor contextuele gesprekken in een natuurlijke taal. Er zijn geen externe LLM's en GPU's nodig.
• Met LLM-inferentiebatchverwerking kunnen ontwikkelaars de applicatiedoorvoer verbeteren doordat meerdere aanvragen tegelijkertijd worden uitgevoerd.
• De LLM's kunnen profiteren van HeatWave Vector Store om hun kennis uit te breiden aan de hand van eigen gegevens in plaats van te vertrouwen op finetuning.

Minder kosten en risico's

• Er zijn geen extra kosten verbonden aan het gebruik van de in-database LLM's.
• De kosten voor infrastructuur kunnen worden verlaagd doordat er geen GPU's meer moeten worden ingericht. Bovendien worden de systeemresources geoptimaliseerd (optimale configuratie van het aantal threads, de batchomvang en de segmentgrootte), zodat de kosten verder afnemen.
• Door native LLM's te gebruiken in HeatWave, worden de risico's van het verplaatsen van gegevens tot een minimum beperkt.

HeatWave Vector Store

Met HeatWave Vector Store kunt u de kracht van LLM's combineren met uw eigen gegevens om nauwkeurigere en contextueel relevantere antwoorden te krijgen dan met modellen die alleen zijn getraind aan de hand van openbare gegevens. In de vectoropslag worden documenten opgenomen in verschillende indelingen, waaronder pdf, en opgeslagen als embeddingen die worden gegenereerd via een embeddingsmodel. Voor een bepaalde gebruikersquery helpt de vectoropslag de meest vergelijkbare documenten te identificeren door een zoekopdracht naar overeenkomsten uit te voeren op basis van de opgeslagen embeddingen en de embedded query. Deze documenten worden gebruikt om de prompt die aan de LLM wordt gegeven, uit te breiden, zodat deze een meer contextueel antwoord kan geven voor uw bedrijf.

Geen AI-expertise vereist

• Met HeatWave Vector Store kunt u generatieve AI gebruiken voor uw bedrijfsdocumenten zonder dat u data naar een afzonderlijke vectordatabase moet verplaatsen.
• Ontwikkelaars kunnen met één SQL-opdracht een vectoropslag maken voor ongestructureerde bedrijfscontent.
• Bij het genereren van embeddingen in de vectoropslag worden meerdere invoerbestanden parallel verwerkt over meerdere threads op alle clusternodes. Hierdoor kan het maken van de vectoropslag en het opnemen van ongestructureerde gegevens in verschillende indelingen, zoals pdf, docx, html, txt of pptx, zeer snel worden uitgevoerd en worden opgeschaald met de clustergrootte.
• De pijplijn voor het ontdekken en opnemen van eigen documenten in de vectoropslag wordt geautomatiseerd, waarbij ongestructureerde tekstgegevens van gebruikers worden getransformeerd en embeddingen worden gegenereerd, zodat het voor ontwikkelaars en analisten zonder AI-expertise heel eenvoudig is om gebruik te maken van de vectoropslag.
• Met meertalige ondersteuning kunt u documenten in 27 talen laden in HeatWave Vector Store om te zoeken naar overeenkomsten en vragen te stellen in verschillende talen.
• Met native ondersteuning voor JavaScript kunnen ontwikkelaars JavaScript gebruiken met het datasoort VECTOR en de functies van HeatWave GenAI oproepen vanuit een JavaScript-programma, bijvoorbeeld om eenvoudig chatbots te bouwen die toegang hebben tot bedrijfsdata.
• Met behulp van optische tekenherkenning kunt u zoeken naar overeenkomsten door gebruik te maken van HeatWave Vector Store om gescande content die als afbeelding is opgeslagen, te converteren naar tekstdata voor analyse, bijvoorbeeld om plagiaat te detecteren.

Kosten en risico's kunnen worden verminderd

• De vectoropslag bevindt zich in de objectopslag, waardoor deze zeer kosteneffectief en zeer schaalbaar is, zelfs bij grote gegevenssets. De vectoropslag kan eenvoudig worden gedeeld met verschillende applicaties.
• De transformatie van data wordt voltooid binnen HeatWave, waardoor er minder beveiligingsrisico's zijn omdat data niet hoeven te worden verplaatst en de kosten lager zijn omdat er geen klantresources nodig zijn.

Flexibele en snelle vectorverwerking

Vectorverwerking gaat sneller met de in-memory en scale-out architectuur van HeatWave. HeatWave ondersteunt een nieuw native VECTOR-datasoort, waarmee u standaard-SQL kunt gebruiken om vectordata te maken, verwerken en beheren.

• U kunt vectoren combineren met andere SQL-operatoren. U kunt bijvoorbeeld analytische query's uitvoeren waarbij verschillende tabellen worden samengevoegd met verschillende documenten en wordt gezocht naar overeenkomsten in alle documenten.
• De in-memory weergave en een scale-out architectuur betekenen dat de vectorverwerking parallel wordt uitgevoerd over maximaal 512 HeatWave-clusternodes en op geheugenbandbreedte, dus extreem snel en zonder verlies van nauwkeurigheid.

HeatWave Chat

Met de nieuwe HeatWave Chat-interface kunt u contextuele gesprekken uitbreiden met eigen documenten in de vectoropslag, in een natuurlijke taal.

• U kunt in een natuurlijke taal werken met ongestructureerde gegevens die zijn opgeslagen in MySQL Database en in de objectopslag. De context van de vragen blijft behouden, waardoor een mensachtig gesprek met vervolgvragen mogelijk is. HeatWave behoudt een context met de geschiedenis van de gestelde vragen, citaten uit de brondocumenten en de prompt naar de LLM. Daardoor is een contextueel gesprek mogelijk en kunt u de bron van de antwoorden die door de LLM worden gegenereerd, verifiëren. Deze context blijft behouden in HeatWave en is beschikbaar voor alle applicaties die HeatWave gebruiken.
• Met de geïntegreerde Lakehouse Navigator kunt u gegevens zien die beschikbaar zijn in MySQL Database en de objectopslag. Vervolgens kunt u eenvoudig geselecteerde gegevens laden in HeatWave Vector Store en de LLM opdracht geven om informatie op te halen uit die specifieke bron. Hierdoor kunt u de kosten verlagen door een kleinere gegevensset te doorzoeken en tegelijkertijd de snelheid en nauwkeurigheid te verhogen.
• U kunt de gehele database doorzoeken of de zoekopdracht beperken tot een map.
• Er kunnen verschillende LLM's worden geselecteerd via HeatWave Chat, zowel ingebouwde LLM's als LLM's die toegankelijk zijn met de OCI Generative AI-service.