MosaicML 是一家軟體開發供應商，提供建置大型機器學習模型所需的基礎架構和工具。該公司選擇了 Oracle Cloud Infrastructure (OCI)，協助企業從資料中獲取更多價值。MosaicML 表示，與其他雲端供應商相比，藉助 OCI 的高效能 AI 基礎架構，其效能提升高達 50%，成本節省高達 80%。

MosaicML 執行長暨共同創辦人 Naveen Rao 表示：「數以百計的企業仰賴 MosaicML 的平台來開發和訓練複雜的大型生成式 AI 模型。憑藉我們複雜的系統和硬體，企業能夠專注於構建及部署自己的高效能自訂模型。我們之所以選擇 OCI，是因爲我們相信 OCI 是 MosaicML 的理想基礎。在雲端使用大量資料訓練模型時，每分每秒都很重要。OCI 有助減少我們所需的成本，而且憑藉 Oracle 相互連線的方式，我們幾乎能夠線性擴展。」

MosaicML 透過其模型訓練功能，協助企業更有效率地訓練和推斷 AI 模型。為了擴展業務來支援不斷成長的 AI 服務需求，MosaicML 選擇了 OCI。在 OCI 的協助下，MosaicML 能夠存取最新的 NVIDIA GPU、節點間的極高頻寬互連，同時可擴展到成千上萬個 GPU 的大型運算區塊，進而協助 Twelve Labs 等企業和新創公司執行 AI 模型。

Twelve Labs 是一家 AI 新創公司，致力於構建多模型影片内容理解的基礎模型。藉由利用在 OCI 和其 AI 基礎架構上執行的 MosaicML 平台，Twelve Labs 能夠有效率地擴展及部署 AI 模型，協助使用者輕鬆搜尋、分類及更有效地利用影片資料處理各種應用程式。

Twelve Labs 創辦人暨執行長 Jae Lee 表示：「MosaicML 與 Oracle 的合作為我們提供一臂之力，協助我們快速處理大量資料，同時長期跟上我們的成長步伐。MosaicML 讓我們能夠有效率地管理大型 AI 叢集，而 OCI 的 AI 基礎架構則確保我們無須在速度上妥協，幫助我們節省了大量時間和成本。」   

OCI 提供多個 AI 功能，包括 AI 基礎架構。OCI Compute 虛擬機和裸機 GPU 執行個體可支援電腦視覺、自然語言處理、推薦系統等應用程式。針對大規模訓練複雜的大型模型 (例如大型語言模型)，OCI Supercluster 提供超低延遲的叢集網路、HPC 儲存及由 NVIDIA GPU 提供的 OCI Compute 裸機執行個體。OCI Compute 執行個體使用 RoCE v2 (RDMA over Converged Ethernet v2)，透過高效能乙太網路連線。OCI 提供的 NVIDIA A100 Tensor Core GPUs具有高頻寬優勢，減少了機器學習訓練所需的時間和成本。

Oracle 資深副總裁 Greg Pavlik 表示：「越來越多 AI 企業轉而選擇 OCI，因為我們能夠以更低成本、更快地執行生成式 AI 模型。在 OCI 上，訓練一個 100 億個參數的模型通常只需要幾個小時，而在其他平台上訓練則需要幾天的時間。OCI 的架構和非阻斷式、低延遲的網路設計與市場上的任何產品有根本的不同。」

MosaicML 在 2022 財年第三季度採用 Oracle 的解決方案。

其他資源

• 深入瞭解 OCI AI Infrastructure
• 深入瞭解如何加速執行 GPU 工作負載
• 與 Oracle 代表交談，瞭解生成式 AI 服務