Funkcje rozwiązania HeatWave GenAI

Duże modele językowe w bazie danych

Duże modele językowe (LLM) w bazie danych znacznie upraszczają tworzenie aplikacji korzystających z generatywnej sztucznej inteligencji. Generatywna sztuczna inteligencja przynosi szybkie korzyści; nie trzeba wybierać zewnętrznego modelu LLM ani zastanawiać się nad złożonością integracji, kosztami lub dostępnością takiego modelu w różnych centrach przetwarzania danych.

Tworzenie aplikacji wykorzystujących generatywną sztuczną inteligencję do szerokiego zakresu zastosowań w różnych chmurach

• Można na przykład użyć wbudowanych modeli LLM, aby pomóc w generowaniu lub podsumowywaniu treści i danych wyszukiwania w ramach podejścia RAG (generowanie odpowiedzi opartych na pobraniu odpowiednich danych) za pomocą magazynu danych wektorowych HeatWave.
• Można również połączyć generatywną sztuczną inteligencję z innymi wbudowanymi funkcjami HeatWave, takimi jak uczenie maszynowe, aby zapewniać klientom większą wartość, zmniejszać koszty i szybciej uzyskiwać trafniejsze wyniki.
• Wbudowanych modeli LLM można używać we wszystkich regionach Oracle Cloud Infrastructure (OCI), OCI Dedicated Region, Oracle Alloy, Amazon Web Services (AWS) i Microsoft Azure, uzyskując spójne wyniki i przewidywalną wydajność we wszystkich wdrożeniach.
• Usługa Oracle HeatWave GenAI jest zintegrowana z usługą OCI Generative AI i rozwiązaniem Amazon Bedrock na potrzeby zapewnienia dostępu do wstępnie wytrenowanych, podstawowych modeli Cohere i Meta.
• Model LLM w bazie danych i czat HeatWave pomagają programistom tworzyć aplikacje, które są wstępnie skonfigurowane do konwersacji kontekstowych w języku naturalnym. Nie ma potrzeby subskrybowania zewnętrznych modeli LLM ani przydzielania procesorów GPU.
• Przetwarzanie wsadowe wnioskowania modeli LLM pomaga programistom poprawić przepustowość aplikacji poprzez jednoczesne wykonywanie wielu żądań.
• Model LLM może korzystać z magazynu danych wektorowych HeatWave, aby poszerzyć swoją wiedzę na podstawie zastrzeżonych danych, zamiast polegać na precyzyjnym dostrajaniu.

Ograniczenie kosztów i ryzyka

• Używanie modelu LLM w bazie danych nie wiąże się z żadnymi dodatkowymi kosztami.
• Aby obniżyć koszty infrastruktury, można wyeliminować konieczność przydzielania zasobów procesorom GPU. Ponadto zasoby systemowe są zoptymalizowane (optymalna konfiguracja liczby wątków, rozmiaru partii danych i rozmiaru segmentu), co dodatkowo pomaga obniżyć koszty.
• Natywne wykonywanie modelu LLM w środowisku HeatWave pomaga zminimalizować ryzyko związane z przenoszeniem danych.

Magazyn danych wektorowych HeatWave

Magazyn danych wektorowych HeatWave pozwala połączyć potencjał modeli LLM z własnymi danymi, aby uzyskać dokładniejsze i bardziej dopasowane do kontekstu odpowiedzi niż w przypadku korzystania z modeli szkolonych wyłącznie na danych publicznych. Magazyn danych wektorowych przetwarza dokumenty w różnych formatach, w tym PDF, i przechowuje je jako wektory wygenerowane za pomocą modelu osadzania. Dla danego zapytania użytkownika magazyn danych wektorowych pomaga określić najbardziej podobne dokumenty, wyszukując podobieństw względem przechowywanych danych wektorowych i osadzonego zapytania. Dokumenty te są używane do rozszerzenia promptu wysyłanego do modelu LLM, aby zapewnić bardziej kontekstową odpowiedź dla pytającego.

Nie jest wymagana specjalistyczna wiedza z zakresu SI

• Magazyn danych wektorowych HeatWave umożliwia korzystanie z generatywnej sztucznej inteligencji wraz z dokumentami biznesowymi bez specjalistycznej wiedzy z zakresu sztucznej inteligencji i bez konieczności przenoszenia danych do oddzielnej bazy danych wektorowych.
• Programiści mogą utworzyć magazyn danych wektorowych dla nieuporządkowanych danych przedsiębiorstwa za jednym kliknięciem.
• Generowanie wektorów w magazynie danych wektorowych przetwarza wiele danych wejściowych równolegle w wielu wątkach na wszystkich węzłach klastra. W rezultacie tworzenie magazynu danych wektorowych i pozyskiwanie nieuporządkowanych danych w różnych formatach, np. PDF, DOCX, HTML, TXT lub PPTX, jest bardzo szybkie i skaluje się wraz z rozmiarem klastra.
• Kanał przepływu danych służący do wykrywania i przetwarzania zastrzeżonych dokumentów w magazynie danych wektorowych jest zautomatyzowany i polega m.in. na przekształcaniu nieuporządkowanych danych tekstowych użytkowników i generowaniu wektorów, co sprawia, że korzystanie z magazynu danych wektorowych jest bardzo łatwe dla programistów i analityków nieposiadających specjalistycznej wiedzy z zakresu sztucznej inteligencji.
• Obsługa wielu języków umożliwia ładowanie dokumentów w 27 językach do magazynu danych wektorowych HeatWave w celu wyszukiwania podobieństw i zadawania pytań w różnych językach.
• Natywna obsługa JavaScript umożliwia programistom korzystanie z JavaScript z typem danych VECTOR i wywoływanie funkcji HeatWave GenAI z poziomu programu JavaScript, na przykład w celu łatwego tworzenia czatbotów uzyskujących dostęp do danych przedsiębiorstwa.
• Obsługa funkcji rozpoznawania znaków pomaga przeprowadzać wyszukiwanie podobieństw, wykorzystując magazyn danych wektorowych HeatWave do konwersji zeskanowanych treści zapisanych jako obrazy na dane tekstowe, które można analizować, na przykład w celu wykrycia plagiatu.

Koszty i ryzyko można zredukować

• Magazyn danych wektorowych znajduje się w obiektowej pamięci masowej, dzięki czemu jest bardzo opłacalny i wysoce skalowalny, nawet w przypadku dużych zbiorów danych. Można go łatwo udostępniać różnym aplikacjom.
• Transformacja danych jest wykonywana w usłudze HeatWave, co pomaga zmniejszyć ryzyko związane z bezpieczeństwem poprzez wyeliminowanie konieczności przenoszenia danych oraz obniżyć koszty poprzez wyeliminowanie konieczności korzystania z zasobów klienta.

Elastyczne i szybkie przetwarzanie wektorowe

Przetwarzanie wektorowe jest szybsze dzięki architekturze HeatWave działającej w pamięci i skalowanej rozszerzająco. HeatWave obsługuje nowy natywny typ danych VECTOR, umożliwiając używanie standardowego kodu SQL do tworzenia i przetwarzania danych wektorowych oraz zarządzania nimi.

• Wektory można łączyć z innymi operatorami SQL. Na przykład można uruchamiać kwerendy analityczne, które łączą kilka tabel z różnymi dokumentami, a następnie przeprowadzać wyszukiwanie podobieństw we wszystkich dokumentach.
• Reprezentacja w pamięci i skalowana rozszerzająco architektura sprawiają, że przetwarzanie wektorowe odbywa się równolegle nawet w 512 węzłach klastra HeatWave i jest wykonywane z prędkością porównywalną do przepustowości pamięci oraz bez utraty dokładności.

Czat HeatWave

Nowy interfejs czatu HeatWave umożliwia prowadzenie konwersacji kontekstowych w języku naturalnym rozszerzonych o zastrzeżone dokumenty odwzorowane w magazynie danych wektorowych.

• Z nieuporządkowanych danych przechowywanych w bazie danych MySQL i w obiektowym magazynie danych można korzystać za pomocą języka naturalnego. Kontekst pytań jest zachowywany, aby umożliwić zadawanie kolejnych pytań w języku naturalnym. HeatWave przechowuje kontekst obejmujący historię zadawanych pytań, cytowania dokumentów źródłowych i prompty do modelu LLM. Ułatwia to konwersację kontekstową i pozwala zweryfikować źródło odpowiedzi wygenerowanych przez model LLM. Kontekst ten jest zapisywany w HeatWave i dostępny dla wszystkich aplikacji korzystających z HeatWave.
• Zintegrowany nawigator Lakehouse pozwala zobaczyć dane dostępne w MySQL Database i magazynie obiektów. Następnie można łatwo załadować wybrane dane do magazynu danych wektorowych HeatWave i poinstruować model LLM, aby pobierał informacje z tego konkretnego źródła. W rezultacie można obniżyć koszty, przeszukując mniejszy zestaw danych, jednocześnie zwiększając zarówno szybkość, jak i dokładność działania.
• Wyszukiwanie można prowadzić w całej bazie danych lub ograniczyć je do konkretnego folderu.
• Za pośrednictwem czatu HeatWave można wybrać kilka modeli LLM, wbudowanych lub dostępnych w ramach usługi OCI Generative AI.