Caracteristicile HeatWave GenAI
Modele lingvistice mari în baza de date
Modelele lingvistice mari (LLM) din baza de date simplifică foarte mult dezvoltarea aplicațiilor GenAI. Puteți beneficia rapid de AI generativ; nu trebuie să selectați un LLM extern și evitați problemele privind complexitatea integrării, costuri sau disponibilitatea unui LLM extern în centre de date diferite.
- De exemplu, puteți utiliza LLM-urile încorporate pentru a genera sau a sumariza conținut și pentru a căuta date necesare generării de preluări augmentate (RAG) cu HeatWave Vector Store.
- De asemenea, puteți combina funcția de AI generativ cu alte capacități HeatWave încorporate, cum ar fi machine learning, pentru a reduce costurile și a obține mai rapid rezultate mai exacte.
- Puteți utiliza modelele lingvistice mari încorporate în toate regiunile OCI, în OCI Dedicated Region și în toate cloudurile, obținând rezultate consecvente cu performanțe previzibile în toate implementările.
- Nu există costuri suplimentare pentru utilizarea LLM-urilor din baza de date. Puteți reduce costurile cu infrastructura, deoarece nu trebuie să alocați unități GPU. În plus, resursele de sistem sunt optimizate (configurarea optimă a numărului de fire, a mărimii setului și a mărimii segmentului), ceea ce contribuie la reducerea costurilor și mai mult.
- Cu ajutorul LLM-urilor din baza de date și al HeatWave Chat, dezvoltatorii pot livra aplicații preconfigurate pentru conversații contextuale într-un limbaj natural. Nu este nevoie să vă abonați la LLM-uri externe sau să alocați unități GPU.
- Execuția unui LLM nativ în cadrul HeatWave reduce la minimum riscurile asociate transferului de date. LLM-urile pot utiliza HeatWave Vector Store pentru a-și extinde cunoștințele, folosind date de proprietate în loc să se bazeze pe optimizare.
- Oracle HeatWave GenAI este integrat cu serviciul OCI Generative AI pentru accesarea modelelor preinstruite, fundamentale, de la Cohere și Meta.
HeatWave Vector Store
HeatWave Vector Store vă permite să combinați puterea LLM-urilor cu datele dvs. de proprietate pentru a obține răspunsuri mai exacte și mai relevante contextual decât dacă ați utiliza modele instruite doar cu date publice. Magazinul de vectori acceptă documente într-o varietate de formate, inclusiv PDF, și le stochează ca încorporări generate printr-un model de încorporare. Când un utilizator efectuează o interogare, depozitul de vectori identifică documentele care corespund cel mai bine printr-o căutare în înglobările stocate și prin interogarea înglobată. Documentele respective sunt utilizate pentru augmentarea prompturilor trimise către LLM, astfel încât să ofere un răspuns adecvat activității companiei.
- HeatWave Vector Store vă permite să utilizați AI generativ pentru documentele de afaceri fără a transfera datele într-o bază de date pentru vectori separată și chiar dacă nu aveți experiență în AI.
- Generarea de înglobări în depozitele de vectori procesează mai multe fișiere de intrare în paralel pe mai multe fire și pe toate nodurile clusterului. Prin urmare, crearea depozitului de vectori și culegerea datelor nestructurate în diferite formate, cum ar fi PDF, DOCX, HTML, TXT sau PPTX, este foarte rapidă și scalează în funcție de mărimea clusterului.
- Procesul de identificare a documentelor de proprietate și asimilare a lor în depozitul de vectori este automat, inclusiv transformarea datelor text nestructurate ale utilizatorilor și generarea de încorporări, așa că depozitul de vectori poate fi utilizat ușor de dezvoltatori și de analiști fără experiență în AI.
- Depozitul de vectori conține obiecte, fiind foarte rentabil și extrem de scalabil, chiar și în cazul unui volum de date foarte mare. De asemenea, puteți distribui cu ușurință depozitul de vectori către diferite aplicații.
- Transformarea datelor este finalizată în interiorul bazei de date, ceea ce contribuie la diminuarea riscurilor de securitate, datorită eliminării transferului de date, precum și la reducerea costurilor, deoarece clienții nu mai au nevoie de alte resurse.
Procesare flexibilă și rapidă a vectorilor
Procesarea vectorilor este mai rapidă datorită arhitecturii in-memory și scalabile a HeatWave. HeatWave acceptă un nou tip de date VECTOR native, care permite utilizarea SQL standard pentru crearea, prelucrarea și gestionarea datelor vectoriale.
- Puteți combina vectori cu alți operatori SQL. De exemplu, puteți rula interogări analitice care asociază mai multe tabele cu diferite documente, putând căuta elementele similare din toate documentele.
- Reprezentarea in-memory și o arhitectură scalabilă înseamnă că procesarea vectorilor este efectuată în paralel pe până la 512 noduri de cluster HeatWave și executată la lățimea de bandă a memoriei – extrem de rapid și la fel de exact.
HeatWave Chat
O nouă interfață HeatWave Chat vă permite să purtați conversații contextuale îmbunătățite cu documente de proprietate din depozitul de vectori, utilizând un limbaj natural.
- Puteți interacționa cu datele nestructurate stocate în MySQL Database și în baza de date pentru obiecte folosind un limbaj natural. Contextul întrebărilor este reținut, conversația decurgând ca între două persoane, cu întrebări deschise și răspunsuri. HeatWave menține contextul conversației memorând istoricul întrebărilor utilizatorului, al documentelor citate și al prompturilor pentru LLM. Astfel, conversația este contextuală și vă permite să verificați sursa răspunsurilor generate de LLM. Acest context este memorat în HeatWave, fiind disponibil pentru toate aplicațiile care utilizează HeatWave.
- Funcția Lakehouse Navigator vă permite să vedeți datele disponibile în MySQL Database și în spațiul de stocare pentru obiecte. Apoi, puteți să încărcați cu ușurință datele selectate în HeatWave Vector Store și să instruiți LLM să preia informații din sursa respectivă. Prin urmare, puteți reduce costurile, deoarece căutați într-un set de date mai mic, crescând totodată viteza și precizia căutării.
- Puteți să căutați în întreaga bază de date sau să limitați căutarea la un folder.
- Mai multe LLM-uri pot fi selectate prin HeatWave Chat, acestea fiind atât integrate, cât și accesibile cu serviciul OCI Generative AI.