Flux de données

Infrastructure gérée

OCI Data Flow s’occupe de la mise en place de l’infrastructure, de la configuration du réseau et du démontage lorsque les tâche Spark sont terminées. Le stockage et la sécurité sont également gérés, ce qui signifie qu’il faut moins de travail pour créer et gérer les applications Spark pour l’analyse de Big Data.

Gestion de cluster simplifiée

Avec OCI Data Flow, il n’y a pas de clusters à installer, à corriger ou à mettre à niveau, ce qui permet de gagner du temps et de réduire les coûts opérationnels des projets.

Planification simplifiée des capacités

OCI Data Flow exécute chaque tâche Spark avec des ressources privées spécialisées, ce qui élimine la nécessité d’une planification initiale des capacités.

Coûts réduits

Avec OCI Data Flow, le service informatique ne doit payer que les ressources d’infrastructure utilisées par les tâches Spark lorsqu’elles sont en cours d’exécution.

Fonctionnalités avancées de prise en charge de la diffusion en continu

Spark Streaming avec gestion zéro, tolérance automatique aux pannes et correctifs automatiques.

Activer le traitement continu

Grâce à la prise en charge de Spark Streaming, vous bénéficiez de fonctionnalités d'extraction continue et de disponibilité continue des données traitées. OCI Data Flow gère les tâches lourdes liées au traitement de flux avec Spark, ainsi que la possibilité d'effectuer du machine learning sur les données transmises en continu à l'aide de MLLib. OCI Data Flow prend en charge Oracle Cloud Infrastructure (OCI) Object Storage et toute source de transmission en continu compatible avec Kafka, y compris Oracle Cloud Infrastructure (OCI) Streaming, comme sources et récepteurs de données.

Tolérance automatique aux pannes

Spark gère les données arrivant en retard en raison de pannes et peut rattraper les données en retard au fil du temps grâce au filigrane, une fonctionnalité de Spark qui maintient, stocke et regroupe les données en retard, sans qu'il soit nécessaire de relancer manuellement le travail. OCI Data Flow redémarre automatiquement l'application lorsque cela est possible et l'application peut simplement continuer à partir du dernier point de contrôle.

Authentification cloud native

Les applications OCI Data Flow Streaming peuvent utiliser l'authentification cloud native via des principaux de ressource afin que les applications puissent fonctionner pendant plus de 24 heures.

Sécurité et gouvernance Cloud natives

Tirez parti de la sécurité inégalée d’Oracle Cloud Infrastructure. L’authentification, l’isolement et tous les autres points critiques sont traités. Protégez les données critiques avec les plus hauts niveaux de sécurité.

Sécurité granulaire

OCI Data Flow utilise nativement le système Identity and Access Management d’Oracle Cloud pour contrôler les données et l’accès, afin que les données restent sécurisées.

Ressources gérées

Définissez des quotas et des limites pour gérer les ressources disponibles pour OCI Data Flow et contrôler les coûts.

Opérations simplifiées

OCI Data Flow simplifie les tâches opérationnelles courantes telles que la gestion des journaux et l’accès aux interfaces utilisateur opérationnelles, libérant ainsi le temps des développeurs pour se concentrer sur la création d’applications.

Visibilité accrue

OCI Data Flow permet de voir facilement ce que font les utilisateurs de Spark en regroupant les informations opérationnelles dans une seule interface utilisateur interrogeable.

Débogage et diagnostic simples

Le suivi des journaux et des outils pour dépanner une tâche Spark peut prendre des heures, mais pas avec une vue consolidée de la sortie du journal, le serveur d’historique Spark, etc.

Évitez les coûts futurs

Triez, recherchez et filtrez pour étudier les applications historiques afin de mieux gérer les travaux coûteux et éviter les dépenses inutiles.

Gérez les emplois fugitifs Spark

Les administrateurs peuvent facilement découvrir et arrêter les tâches Spark en direct qui s’exécutent depuis trop longtemps ou qui consomment trop de ressources et qui augmentent les coûts.

Développement simplifié

Les écosystèmes de Big Data nécessitent de nombreuses pièces mobiles et intégrations, mais OCI Data Flow est compatible avec les investissements Spark existants et les services de Big Data, ce qui permet de gérer facilement le service et de fournir ses résultats là où ils sont nécessaires.

Compatible avec les applications existantes

Migrez les applications Spark existantes à partir de Hadoop ou d’autres services Big Data.

Gestion sécurisée des sorties

Capturez automatiquement et en toute sécurité les résultats des tâches Spark, puis accédez-y via l’interface utilisateur ou les API REST pour rendre les analyses disponibles.

Contrôle avec les API REST

Tous les aspects du flux de données OCI peuvent être gérés à l’aide de simples API REST, de la création de l’application à l’exécution en passant par l’accès aux résultats des tâches Spark.