Oracle Cloud Infrastructure HPC File Systems (HFS)

Les systèmes de fichiers haute performance prennent en charge les workloads qui nécessitent la capacité de lire et d'écrire des données à des débits extrêmement élevés. Les systèmes de fichiers HPC (HFS) OCI sont disponibles sur Oracle Cloud Marketplace et facilitent le déploiement d'une variété de serveurs de fichiers haute performance leaders sur le marché. En seulement trois clics, un serveur de fichiers est opérationnel à l'échelle d'un pétaoctet, avec un débit de gigaoctet à deux chiffres.

Lorsque vous déployez ces solutions HFS

Lorsque vous déployez ces solutions HFS, vous pouvez spécifier les exigences de votre système de fichiers, notamment :

  • Type (par effacement ou persistant)
  • Type de charge globale (fichiers de petite taille, mixtes ou volumineux)
  • Dimensionnement du système de fichiers (nombre de serveurs de fichiers et capacité de stockage)

Lorsque vous spécifiez ces paramètres, la solution HFS Marketplace applique ensuite les paramètres par défaut pour réduire la complexité des clients et raccourcir le délai de déploiement. Par exemple, lors de la création d'un système de fichiers de travail, il sélectionnera un stockage NVMe local. De même, pour les workloads mixtes ou de petits fichiers, il personnalisera les métadonnées. Les systèmes de fichiers peuvent être opérationnels en moins de 15 minutes.

Grâce à la solution HFS Marketplace, vous pouvez, en quelques clics, déployer BeeGFS, Lustre et GlusterFS.

Déployer des systèmes de fichiers HPC

Options personnalisables HFS

Pour les utilisateurs nécessitant une configurabilité maximale pour un déploiement complexe, nous proposons également des modèles de déploiement Oracle Cloud Marketplace Stacks (interface graphique Web) et Terraform Oracle Quickstart basés sur Github. Personnaliser simplement les modèles terraform ou les piles Marketplace pour répondre à vos besoins et les lancer via Resource Manager.

Avantages de HFS sur le calcul haute performance OCI

Fondées sur Oracle Cloud Infrastructure, ces solutions de stockage de fichiers partagés offrent un débit élevé et une faible latence constante, ce qui permet de prendre en charge des workloads très performants.

Rapide

Débit de fichiers allant jusqu'à 500 Go/s avec des instances de calcul HPC bare metal connectées avec un réseau NVMe local et un réseau de cluster à 100 Gbps pour une faible latence.

Facile à utiliser

Être opérationnel rapidement et facilement, en quelques clics seulement pour déployer des configurations standard.

Tout ce dont vous avez besoin

Les solutions tout-en-un basées sur les scripts Terraform comprennent tout ce dont vous avez besoin pour mettre en place rapidement et facilement des systèmes Lustre, GlusterFS ou BeeGFS conformes à POSIX.

Faible coût

Les grappes de serveurs de fichiers sur site nécessitent d'importants investissements, tandis qu'Oracle Cloud peut évoluer de manière élastique pour répondre aux besoins de stockage et de performance jusqu'à 500 Go par seconde.

Cas d’utilisation

Les environnements préconfigurés d'Oracle sont utiles dans de nombreux secteurs d'activité pour un large éventail d'applications, notamment :

  • Migration des données vers le cloud

    HFS peut être utilisé pour construire un système de fichiers POSIX accessible depuis les nœuds de calcul on-premises à l'aide de clients natifs du système de fichiers, de NFSv3/NFSv4 ou de SMB pour migrer les données vers Oracle Cloud.

  • Ingénierie et informatique scientifique

    Les workloads HPC pour les simulations de crash, la dynamique des fluides numérique et la chimie numérique nécessitent des quantités colossales de données d'entraînement et utilisent souvent un stockage de fichiers partagé pour traiter les ensembles de données simultanément.

  • Intelligence artificielle et machine learning (ML)

    Les jeux de données pour les workloads d'IA et de ML sont volumineux, et le stockage de fichiers doit fournir des quantités considérables de données très rapidement pour l'entraînement et la validation à travers plusieurs modèles simultanément. OCI prend en charge WEKA, Lustre, GlusterFS, etc.

  • Traitement et transcodage des médias

    Les flux de traitement des données multimédia, comme le rendu vidéo, les effets visuels et la production de médias, ont besoin de ressources de calcul et de stockage pour gérer la création de quantités massives de fichiers vidéo à partir de grands ensembles de données de ressources.

  • Big Data et analyse financière

    Les cas d'utilisation des analyses de big data, notamment la détection des fraudes et l'analyse financière, génèrent d'énormes volumes de données nécessitant un stockage à hautes performances pour alimenter des applications gourmandes en données.

« Oracle Cloud est le seul fournisseur cloud majeur proposant Spectrum Scale dans une architecture de stockage partagé sur du matériel bare metal. L'offre d'Oracle a été conçue pour répondre aux exigences du HPC et de l'analyse de big data et offre des performances supérieures à celles des offres de clouds virtualisés, ainsi qu'une flexibilité, une évolutivité et une facilité de gestion améliorées. »

Michael Sedlmayer Président de Re-Store

« Mon équipe a testé SAS Grid sur de nombreux clouds publics. Nous sommes heureux d’affirmer que l’infrastructure Oracle Cloud a été en mesure de fournir le débit d'E/S au système de fichiers partagés IBM Spectrum Scale nécessaire à SAS Grid. »

Margaret Crevar Directrice principale de SAS Performance Lab chez SAS

« L'interface graphique du système de fichiers HFS OCI et son workflow d'approvisionnement de système de fichiers, conçus pour être centrés sur le cas d'utilisation par le client (espace persistant ou de travail de travail volumineux, mixtes ou de petits fichiers, etc.) plutôt que sur la technologie, réduisent les obstacles au déploiement rapide d'un système de fichiers parallèle comme BeeGFS sur Oracle Cloud. Oracle Cloud offre des ressources d'infrastructure telles qu'un réseau de clusters RoCEv2 RDMA à 100 Gbps, un service de volume de bloc partagé multi-attache, des SSD NVMe locaux attachés à des formes de calcul et de calcul bare metal pour déployer BeeGFS dans de nombreuses configurations différentes et fournir un débit de giga-octets de500 Go/s à un prix inférieur à celui d'autres clouds publics. »

Howard Weiss Fondateur et Directeur général de Pacific Teck

« La technologie de calcul bare metal et de mise en réseau en cluster d'Oracle a permis à BeeGFS sur Oracle Cloud de surpasser les performances des systèmes de fichiers HPC sur site (latence et débit d'E/S) pour la charge de travail MPAS à un prix très bas. Grâce au réseau RDMA Cluster Network d'Oracle Cloud, BeeGFS peut atteindre des performances de 140 Go/s avec seulement 14 serveurs. »

Simon Ponsford Directeur de la technologie chez YellowDog

« La solution de système de fichiers parallèle OCI de BeeGFS utilisant RoCEv2 100 Gbits/s et le stockage NVMe local a obtenu des performances de débit d'écriture d'E/S similaires ou supérieures par rapport au stockage NVMe basé sur Lustre sur un système HPC DiRAC traditionnel pour l'application cosmologique SWIFT, selon le test d'évaluation du type de fichier écrit. Pour les fichiers d'instantanés de 370 Go, OCI a atteint 6,2 Go/s et Lustre 7,0 Go/s et pour les fichiers de redémarrage de 994 Go, OCI a atteint 70 Go/s et Lustre 29,2 Go/s. »

Andrew Turner Responsable technique de DiRAC à l'EPCC (Edinburgh Parallel Computing Centre) de l'Université d'Édimbourg

Système de fichiers HPC sur OCI - Comparaison des fonctionnalités

Fonctionnalités BeeGFS GlusterFS IBM Spectrum Scale Lustre
Type de licence Licences open source et commerciales pour les fonctionnalités d'entreprise Open source Licence commerciale Open source
Évolutivité - Stockage et performances Oui Oui Oui Oui
Réplication Oui* Oui Oui Oui
Haute disponibilité Oui Oui Oui Oui
Hiérarchisation du stockage Oui* Non, expérimental Oui Oui
POSIX Oui Oui Oui Oui
Version NFS v4 v3, v4 v3, v4 v3, v4
Server Message Block (SMB) Oui Oui Oui Non
Prise en charge RDMA Oui Non Oui, Édition d'effacement Non
Prise en charge des systèmes de fichiers SI et communauté Communauté SI SI et communauté
Déploiement HFS, Oracle Quickstart HFS, Oracle Quickstart Oracle Quickstart HFS, Oracle Quickstart

* - Fonctionnalité d'entreprise, disponible dans les logiciels sous licence commerciale. L'édition Open Source inclut toutes les fonctionnalités d'entreprise afin de les évaluer gratuitement pour une utilisation hors production.
SI - signifie System Integrator (intégrateur de systèmes)

15 avril 2022

WEKA sur OCI offre des performances de 2 téraoctets par seconde

Pinkesh Valdria, architecte principal de solutions

Oracle et WEKA sont fiers d'annoncer la disponibilité de WEKA sur Oracle Cloud Infrastructure (OCI). Les deux entreprises ont travaillé ensemble pour valider l'exécution de WEKA sur des instances Bare Metal OCI, afin d'offrir le plus haut niveau de performances requis par les clients pour leurs charges de travail critiques. En plus des performances, nous avons également validé la hiérarchisation transparente du stockage pour WEKA en utilisant OCI Object Storage, qui est compatible avec S3, en tant que niveau à faible coût. Cette option permet aux clients de travailler avec des pétaoctets dans un système de fichiers à hautes performances, en utilisant des SSD NVMe locaux pour les données à chaud et le stockage d'objets pour les données à froid ou à chaud.

Lire la suite de l'article

Blogs à la une

Ressources

Pour démarrer avec Oracle Cloud


Oracle Cloud Free Tier

Créez, testez et déployez vos applications sur Oracle Cloud, gratuitement. Inscrivez-vous une seule fois et accédez à deux offres gratuites.

Essayer Oracle Cloud gratuitement

Cloud Training—Oracle Cloud Infrastructure

Découvrez les ressources de formation sur le cloud grâce aux vidéos de formation Oracle Cloud Infrastructure, aux ateliers d’auto-apprentissage et aux certifications.

Découvrez ce que vous pouvez apprendre

Découvrez Oracle Cloud Infrastructure

Oracle Cloud Infrastructure combine l’élasticité et l’utilité du cloud public avec le contrôle, la sécurité, les performances et la prévisibilité des environnements informatiques sur site.

Lire le guide (PDF)