Sistemas de archivos HPC (HFS) de Oracle Cloud Infrastructure

Los sistemas de archivos de alto rendimiento admiten cargas de trabajo que requieren la capacidad de leer y escribir datos con tasas de rendimiento extremadamente altas. Los sistemas de archivos HPC (HFS) de OCI están disponibles en Oracle Cloud Marketplace y facilitan el despliegue de diversos servidores de archivos de alto rendimiento líderes del sector. En tan solo tres clics, los clientes tienen un servidor de archivos activo a escala de petabytes con un rendimiento de gigabytes de doble dígito.

Qué ocurre al usar estas soluciones de HFS

Al usar estas soluciones de HFS, puedes especificar los requisitos para tu sistema de archivos, incluidos:

  • Tipo (reutilizable o persistente)
  • Tipo de carga de trabajo (archivos pequeños, combinados o grandes)
  • Tamaño del sistema de archivos (número de servidores de archivos y capacidad de almacenamiento)

A medida que especificas estos parámetros, la solución HFS Marketplace aplica parámetros predeterminados para reducir la complejidad del cliente y acortar el tiempo de despliegue. Por ejemplo, al crear un sistema de archivos reutilizable, seleccionará el almacenamiento NVMe local. Del mismo modo, para cargas de trabajo de archivos mixtas o pequeñas, personalizará los metadatos. Los sistemas de archivos pueden estar funcionando en menos de 15 minutos.

Con la solución HFS Marketplace, con unos pocos clics puedes desplegar BeeGFS, Lustre y GlusterFS.

Desplegar sistemas de archivos HPC

Opciones personalizables de HFS

Para los usuarios que requieren la máxima capacidad de configuración para un despliegue complejo, también ofrecemos pilas de Oracle Cloud Marketplace (interfaz gráfica de usuario basada en web) y plantillas de despliegue de inicio rápido de Oracle basadas en Terraform en Github. Simplemente, personaliza las plantillas de Terraform o las pilas de Marketplace para satisfacer tus necesidades y realiza el lanzamiento mediante el gestor de recursos.

Beneficios de HFS en HPC de OCI

Estas soluciones de almacenamiento de archivos compartidos, integradas en Oracle Cloud Infrastructure, proporcionan alto rendimiento y una latencia baja y uniforme, lo que soporta cargas de trabajo de alto rendimiento.

Rapidez

Consigue un rendimiento total de archivos de hasta 500 GB/s con instancias informáticas con hardware dedicado de HPC conectadas con redes de clusters locales de NVMe y 100 Gbps para una latencia baja.

Facilidad de uso

Empieza a trabajar de forma rápida y sencilla con unos pocos clics para desplegar configuraciones estándar.

Todas lo que necesitas

Las soluciones integrales basadas en scripts de Terraform incluyen todo lo que necesitas para que Lustre, GlusterFS o BeeGFS compatibles con POSIX estén activos y ejecutándose de forma rápida y sencilla.

Bajo costo

Los clusters de servidores de archivos locales requieren grandes inversiones de capital, mientras que Oracle Cloud se puede ampliar de forma flexible para satisfacer las necesidades de almacenamiento y rendimiento de hasta 500 GB por segundo.

Casos de uso

Los entornos preconfigurados de Oracle son útiles en muchos sectores de una amplia gama de aplicaciones, entre las que se incluyen:

  • Migración de datos a la nube

    HFS se puede utilizar para construir un sistema de archivos POSIX al que se puede acceder desde nodos de cómputo on-premises utilizando clientes nativos del sistema de archivos, NFSv3/NFSv4 o SMB para migrar datos a Oracle Cloud.

  • Ingeniería y computación científica

    Las cargas de trabajo HPC para simulaciones de choques, dinámica de fluidos computacional (CFD) y química computacional requieren cantidades masivas de datos de entrenamiento y a menudo utilizan almacenamiento de archivos compartidos para admitir el procesamiento de conjuntos de datos de manera simultánea.

  • Inteligencia artificial y machine learning (ML)

    Los conjuntos de datos para cargas de trabajo de IA y AA son grandes, y el almacenamiento de archivos debe proporcionar grandes cantidades de datos muy rápidamente para la formación y la validación en varios modelos a la vez. OCI soporta WEKA, Lustre, GlusterFS y mucho más.

  • Procesamiento y transcodificación de medios

    Los flujos de trabajo de procesamiento de datos de medios, como la representación de video, los efectos visuales y la producción multimedia, necesitan los recursos informáticos y de almacenamiento para gestionar la creación de grandes cantidades de archivos de video a partir de grandes conjuntos de datos de recursos.

  • Análisis de finanzas y big data

    Los casos de uso de análisis de grandes cantidades de datos, incluida la detección de fraudes y el análisis financiero, generan volúmenes enormes de información que necesitan un almacenamiento de alto rendimiento para impulsar aplicaciones intensivas en datos.

"Oracle Cloud es el único proveedor principal de servicios en la nube que ofrece Spectrum Scale en una arquitectura de almacenamiento compartido en hardware dedicado. La oferta de Oracle se ha adaptado a las demandas de HPC y análisis de big data, y ofrece un rendimiento superior al de las ofertas en la nube virtualizadas, y una flexibilidad, escalabilidad y capacidad de gestión mejoradas”.

Michael Sedlmayer Presidente, Re-Store

"Mi equipo ha probado SAS Grid en muchas nubes públicas. Nos complace decir que la infraestructura de Oracle Cloud fue capaz de proporcionar al sistema de archivos compartidos IBM Spectrum Scale el rendimiento de E/S que se necesita para SAS Grid".

Margaret Crevar Líder sénior, SAS Performance Lab, SAS

"La interfaz gráfica del sistema de archivos HPC (HFS) de OCI y su flujo de trabajo de aprovisionamiento del sistema de archivos, diseñados para estar centrados en el uso del cliente (espacio persistente o reutilizable, cargas de trabajo de archivos grandes, mixtas o pequeñas, etc.) en comparación con aquellos que se centran en la tecnología, reducen las barreras para poder desplegar rápidamente un sistema de archivos paralelo como BeeGFS en Oracle Cloud. Oracle Cloud ofrece recursos de infraestructura, como 100Gbps RDMA RoCEv2 Red en cluster, servicio de volumen en bloque compartido de conexión múltiple, unidades SSD NVMe locales conectadas a unidades de recursos informáticos y recursos informáticos con hardware dedicado para implementar BeeGFS en muchas configuraciones diferentes y proporcionar un rendimiento global de giga-byte de triple dígito (500 GB/s) a un punto de precio más bajo".

Howard Weiss Founder and director general, Pacific Teck

“Las tecnologías de redes de cluster y computación con hardware dedicado de Oracle permitieron a BeeGFS en Oracle Cloud superar el rendimiento (latencia y rendimiento ES) del sistema de archivos HPC local para cargas de trabajo MPAS a un precio muy bajo. Al utilizar la red RDMA de cluster de Oracle Cloud, BeeGFS logra un rendimiento de hasta 140 GB/s con solamente 14 servidores".

Simon Ponsford CTO, YellowDog

"La solución del sistema de archivos paralelo OCI de BeeGFS con RoCEv2 de 100 Gbps y almacenamiento NVMe local logró un rendimiento de escritura de E/S similar o mejor para la referencia de la aplicación cosmológica SWIFT según el tipo de archivo escrito. Para los archivos de instantáneas de 370 GB, OCI logró 6,2 GB/s y Lustre 7,0 GB/s y, para los archivos de reinicio de 994 GB, OCI logró 70 GB/s y Lustre, 29,2 GB/s".

Andrew Turner Director técnico de DiRAC, EPCC, Universidad de Edimburgo

Sistema de archivos HPC en OCI: comparación de funciones

Características BeeGFS GlusterFS IBM Spectrum Scale Lustre
Tipo de licencia Código abierto y licencia comercial para características empresariales Código abierto Con licencia comercial Código abierto
Ampliable: almacenamiento y rendimiento Sí Sí Sí Sí
Replicación Sí* Sí Sí Sí
Alta disponibilidad Sí Sí Sí Sí
Niveles de almacenamiento Sí* No, experimental Sí Sí
POSIX Sí Sí Sí Sí
Versión de NFS v4 v3, v4 v3, v4 v3, v4
Bloque de mensajes del servidor (SMB) Sí Sí Sí No
Compatibilidad con RDMA Sí No Sí, edición de borrado No
Soporte del sistema de archivos Instrucción permanente y comunidad Comunidad IE Instrucción permanente y comunidad
Despliegue HFS, inicio rápido de Oracle HFS, inicio rápido de Oracle Inicio rápido de Oracle HFS, inicio rápido de Oracle

* Función empresarial, disponible en software con licencia comercial. La edición de código abierto incluye todas las funciones empresariales para evaluarlas de forma gratuita para uso que no sea de producción.
SI: significa integrador de sistemas

15 de abril de 2022

WEKA en OCI ofrece un rendimiento de 2 terabytes por segundo

Pinkesh Valdria, arquitecto principal de soluciones

Oracle y WEKA se enorgullecen de anunciar la disponibilidad de WEKA en Oracle Cloud Infrastructure (OCI). Ambas empresas han estado trabajando juntas para validar que WEKA se pueda ejecutar en instancias con hardware dedicado de OCI para ofrecer el máximo nivel de rendimiento que los clientes exigen para sus cargas de trabajo críticas. Junto con el rendimiento, también validamos el nivel de almacenamiento transparente para WEKA mediante OCI Object Storage compatible con S3 como nivel de bajo costo. Esta opción permite a los clientes ejecutar a escala de petabytes en un sistema de archivos de alto rendimiento mediante unidades de estado sólido (SSD) NVMe locales para el almacenamiento de objetos y datos dinámicos para datos medianamente activos e inactivos.

Lee el post completo

Blogs destacados

Recursos

Comienza a usar Oracle Cloud


Oracle Cloud (modo gratuito)

Crea, comprueba e implementa aplicaciones en Oracle Cloud de forma gratuita. Regístrate una vez y obtén acceso a dos ofertas gratuitas.

Prueba Oracle Cloud de forma gratuita

Formación sobre la nube: Oracle Cloud Infrastructure

Descubre los recursos de formación sobre la nube, que incluyen videos de formación, laboratorios de aprendizaje adaptado a tu propio ritmo y certificaciones de Oracle Cloud Infrastructure.

Descubre qué puedes aprender

Descubre Oracle Cloud Infrastructure

Oracle Cloud Infrastructure combina la flexibilidad y los servicios de la nube pública con el control, la seguridad, el rendimiento y la previsibilidad de los entornos de computación locales.

Lee la guía (PDF)