データ並列性を使用したカスタムAIモデルのトレーニングの高速化

概要

強力なNVIDIA GPUとデータ並列性などの技術により、カスタムAIモデルをより迅速にトレーニングできます。

1つのノードで複数のGPUを使用すると、パフォーマンスが向上しますが、ハードウェアの制限により、使用可能なGPUの数が制限される場合があります。これを克服するために、複数のOracle Cloud Infrastructure(OCI)インスタンスにまたがる分散トレーニングを活用し、ネットワークを介して複数のノードが接続されています。

そこで並列性が生まれる。並列化では、計算を異なるコンピューティング・リソースで同時に実行できる小さい部分に分割します。

デモ

前提条件と設定

1. Oracle Cloudアカウント- サインアップ・ページ
2. Oracle Cloud Infrastructure - ドキュメンテーション
3. Oracle Cloud Marketplace NVIDIA GPU最適化VMI - ドキュメンテーション
4. Oracle Cloud GPUインスタンス- ドキュメンテーション

ここから始めよう

• GitHubの詳細なステップとサンプル・コード