HeatWave GenAI – Întrebări frecvente

Generalități

Ce este HeatWave GenAI?

Oracle HeatWave GenAI oferă AI generativă integrată, automatizată și securizată cu modele lingvistice mari (LLM) în bază de date; un depozit vectorial automatizat, în bază de date; procesare vectorială la scară largă; și capacitatea de a purta conversații contextuale în limbaj natural – permițându-vă să profitați de AI generativă fără expertiză AI, fără deplasarea datelor sau costuri suplimentare.

Care sunt funcțiile cheie ale HeatWave GenAI?

Principalele funcții ale HeatWave GenAI includ

• LLM-uri în baza de date
• Integrarea cu OCI Generative AI și Amazon Bedrock
• Un depozit de vectori în baza de date
• Generarea automată a încorporărilor
• Procesare vectorială la scară largă
• HeatWave Chat

Care LLM-uri sunt disponibile ca modele în baza de date în HeatWave?

Versiunile cuantizate ale următoarelor LLM-uri din baza de date sunt disponibile în prezent în HeatWave:

• llama3-8b-instruct-v1
• mistral-7b-instruct-v1

Cum este automatizat HeatWave Vector Store?

Puteți crea un depozit vectorial pentru conținutul nestructurat al întreprinderii cu o singură comandă SQL. Toate etapele de creare a unui depozit vectorial și a îmbinărilor vectoriale sunt automatizate și executate în interiorul bazei de date, inclusiv descoperirea documentelor în depozitul de obiecte, analizarea lor, generarea îmbinărilor într-un mod extrem de paralel și optimizat și introducerea lor în depozitul vectorial, făcând HeatWave Vector Store eficient și ușor de utilizat.

Are HeatWave nevoie de GPU-uri pentru a rula LLM-uri în baza de date?

HeatWave rulează pe hardware de larg consum. LLM-urile în baza de date nu rulează pe GPU-uri; acestea rulează pe CPU-uri. Ca urmare, puteți reduce costurile fără să vă faceți griji cu privire la disponibilitatea LLM-urilor în diferite centre de date.

Cum contribuie HeatWave GenAI la îmbunătățirea securității datelor?

La utilizarea LLM-urilor în baza de date și a unui magazin vectorial în baza de date, datele nu părăsesc baza de date, contribuind astfel la creșterea securității datelor.

Pot să rulez HeatWave GenAI pe AWS?

Da, HeatWave GenAI este disponibil nativ pe AWS, împreună cu alte capabilități HeatWave, inclusiv HeatWave MySQL, HeatWave Lakehouse, HeatWave AutoML și HeatWave Autopilot.

Sunt acceptate mai multe limbi pentru generarea încorporărilor?

Da, încorporările pot fi generate pentru date text în 27 de limbi.

Care sunt limbile acceptate pentru emiterea prompturilor?

Prompturile pot fi emise în limba engleză. Prompturile emise în alte limbi, cum ar fi spaniolă sau germană, pot fi traduse în limba engleză.

Pot utiliza căutarea vectorială fără clusterul HeatWave?

Nu, căutarea vectorială se efectuează în clusterul HeatWave.

Ce configurații ar trebui utilizate pentru HeatWave GenAI?

HeatWave rulează pe un nod MySQL. Recomandăm un nod MySQL cu o configurație MySQL.32, plus noduri HeatWave folosind configurația HeatWave.512GB pentru un mediu de producție. Pentru dezvoltare/testare, poate fi utilizată o configurație MySQL mai mică. Puteți analiza configurațiile MySQL acceptate aici. Pentru HeatWave GenAI, configurația HeatWave.32GB nu este acceptată.

Ce tipuri de documente sunt acceptate pentru crearea depozitului vectorial?

Formatele acceptate sunt PDF, text, PowerPoint, Word și HTML.

Cât costă HeatWave GenAI?

Pentru utilizarea HeatWave GenAI nu există costuri suplimentare față de costul clusterului HeatWave. Puteți invoca LLM-uri în baza de date și modele de încorporare furnizate cu HeatWave GenAI fără costuri suplimentare. De asemenea, puteți invoca LLM-uri externe disponibile prin OCI Generative AI pe OCI și Amazon Bedrock pe AWS și veți fi apoi taxat pentru aceste servicii.

Sunt datele mele utilizate pentru instruirea LLM-urilor?

Nu, LLM-urile sunt modele preinstruite. Datele dvs. nu sunt utilizate pentru instruirea LLM-urilor.

Suportă HeatWave GenAI reglarea fină?

Nu, LLM-urile din baza de date furnizate cu HeatWave nu pot fi ajustate.

Pot să-mi aduc propriile LLM-uri sau modele de încorporare?

Nu, nu vă puteți aduce propriile LLM-uri sau modele de încorporare. Cu toate acestea, puteți invoca LLM-urile externe sau modelele de încorporare disponibile prin intermediul OCI Generative AI atunci când executați HeatWave GenAI pe OCI și prin Amazon Bedrock atunci când executați HeatWave GenAI pe AWS.

Care este calitatea așteptată a rezultatelor din moment ce LLM-urile din baza de date sunt cuantificate?

Pe baza testelor noastre, rezultatele sunt comparabile cu LLM-urile necuantizate pentru cazurile de utilizare care se bazează pe HeatWave Vector Store. Puteți testa cu ușurință modelele pentru a evalua performanța și calitatea rezultatelor.

Cât de des trebuie să creez încorporări?

Trebuie să generați încorporările o singură dată deoarece acestea vor fi stocate în HeatWave Vector Store. Modificările aduse documentelor nestructurate din stocarea obiectelor vor declanșa automat actualizări ale încorporărilor vectoriale asociate.

Pot fi importate documente care conțin imagini în HeatWave Vector Store?

Da, recunoașterea optică a caracterelor permite HeatWave Vector Store să convertească conținutul scanat salvat ca imagine în date text care pot fi analizate, de exemplu, pentru a efectua căutări de similitudine.