Data Flow

Verwaltete Infrastruktur

OCI Data Flow übernimmt die Bereitstellung der Infrastruktur, das Einrichten des Netzwerks und das Abbrechen, wenn die Spark-Jobs abgeschlossen sind. Darüber hinaus werden Speicher und Sicherheit verwaltet. Das bedeutet, dass weniger Arbeit zum Erstellen und Verwalten von Spark-Anwendungen für die Big Data-Analyse erforderlich ist.

Einfachere Clusterverwaltung

Mit OCI Data Flow müssen keine Cluster installiert, gepatcht oder aktualisiert werden. Dadurch werden Zeit und Betriebskosten für Projekte gespart.

Vereinfachte Kapazitätsplanung

OCI Data Flow führt jeden Spark-Job in privaten, dedizierten Ressourcen aus, sodass vorab keine Kapazitätsplanung erforderlich ist.

Niedrigere Kosten

Mit OCI Data Flow muss die IT nur für die Infrastrukturressourcen bezahlen, die die Spark-Jobs während ihrer Ausführung verwenden.

Erweiterte Streaming-Supportfunktionen

Spark Streaming ohne Verwaltung, mit automatischer Fehlertoleranz und automatischem Patching.

Kontinuierliche Verarbeitung aktivieren

Mit der Unterstützung von Spark Streaming erhalten Sie Funktionen für den kontinuierlichen Abruf und die kontinuierliche Verfügbarkeit verarbeiteter Daten. OCI Data Flow bewältigt die komplexe Verarbeitung von Streams mit Spark sowie die Möglichkeit, maschinelles Lernen für Streamingdaten mit MLLib auszuführen. OCI Data Flow unterstützt Oracle Cloud Infrastructure (OCI) Object Storage und jede Kafka-kompatible Streamingquelle, einschließlich Oracle Cloud Infrastructure (OCI) Streaming als Datenquellen und -senken.

Automatische Fehlertoleranz

Spark verarbeitet verspätet eingehende Daten aufgrund von Ausfällen und kann mit Wasserzeichen (ein Spark-Feature, das verspätete Daten verwaltet, speichert und dann aggregiert) rückständige Daten im Zeitverlauf erfassen, ohne den Auftrag manuell neu starten zu müssen. OCI Data Flow startet Ihre Anwendung nach Möglichkeit automatisch neu, und Ihre Anwendung kann einfach vom letzten Checkpoint aus fortgesetzt werden.

Native Cloud-Authentifizierung

OCI Data Flow Streaming-Anwendungen können eine native Cloud-Authentifizierung über Resource Principals verwenden, sodass Anwendungen länger als 24 Stunden ausgeführt werden können.

Cloud-native Sicherheit und Governance

Profitieren Sie von der unübertroffenen Sicherheit von Oracle Cloud Infrastructure. Authentifizierung, Isolation und alle anderen kritischen Punkte werden behandelt. Schützen Sie unternehmenskritisch Daten mit höchster Sicherheit.

Granulare Sicherheit

OCI Data Flow nutzt das Identity and Access Management-System von Oracle Cloud nativ für kontrollierte Daten und den Zugriff, damit die Daten sicher bleiben.

Verwaltete Ressourcen

Legen Sie Kontingente und Grenzen fest, um die für OCI Data Flow verfügbaren Ressourcen zu verwalten und die Kosten zu steuern.

Vereinfachte Operationen

OCI Data Flow vereinfacht allgemeine Betriebsaufgaben wie die Protokollverwaltung und den Zugriff auf betriebliche Nutzeroberflächen, sodass Entwickler mehr Zeit haben und sich auf das Erstellen von Anwendungen konzentrieren können.

Höhere Visibilität

Durch Zusammenfassung der Betriebsinformationen in einer einzigen durchsuchbaren Nutzeroberfläche kann mit OCI Data Flow einfach ermittelt werden, was Spark-Nutzer tun.

Einfaches Debuggen und Diagnostizieren

Das Auffinden von Protokollen und Tools zur Fehlerbehebung bei einem Spark-Job kann Stunden dauern – jedoch nicht mit einer konsolidierten Ansicht der Protokollausgabe, des Spark-Verlaufsservers und mehr.

Vermeiden zukünftiger Kosten

Sortieren, suchen und filtern Sie, um historische Anwendungen zu untersuchen, teure Aufträge besser zu bewältigen und unnötige Ausgaben zu vermeiden.

Verwalten Sie unkontrollierbare Spark-Jobs

Administratoren können einfach live Spark-Jobs erkennen und stoppen, die zu lange ausgeführt werden oder zu viele Ressourcen verbrauchen und die Kosten erhöhen.

Vereinfachte Entwicklung

Big Data-Ökosysteme erfordern viele bewegte Teile und Integrationen. OCI Data Flow ist jedoch mit vorhandenen Spark-Investitionen und Big Data-Services kompatibel, sodass der Service einfach verwaltet werden kann und die Ergebnisse dort bereitgestellt werden, wo sie benötigt werden.

Kompatibel mit vorhandenen Anwendungen

Migrieren Sie vorhandene Spark-Anwendungen von Hadoop oder anderen Big Data-Services.

Sichere Ausgabeverwaltung

Erfassen und speichern Sie die Ausgabe von Spark-Jobs automatisch – und sicher – und greifen Sie dann über die Nutzeroberfläche oder REST-APIs darauf zu, um Analysen verfügbar zu machen.

Steuerung mit REST-APIs

Alle Aspekte von OCI Data Flow können mit einfachen REST-APIs verwaltet werden – von der Anwendungserstellung über die Ausführung bis hin zum Zugriff auf die Ergebnisse von Spark-Jobs.