Streaming mit Apache Kafka – FAQ
Allgemeines
Was ist OCI-Streaming mit Apache Kafka?
OCI Streaming mit Apache Kafka ist ein verwalteter Service, mit dem Sie Echtzeit-Datenstreaming-Anwendungen mit Apache Kafka auf Oracle Cloud Infrastructure (OCI) erstellen können. Der Service bietet eine vollständig verwaltete Kafka-Umgebung, sodass die Verwaltung der zugrunde liegenden Infrastruktur überflüssig wird.
Was sind die primären Anwendungsfälle für OCI-Streaming mit Apache Kafka?
Zu den typischen Anwendungsfällen zählen die Erfassung von Benutzeränderungsdaten (CDC), die Aufnahme von Metriken und Protokollen, Verhaltensanalysen, Echtzeit-Nachfrageprognosen, Betrugserkennung, Anomalieerkennung im Handel und Gesundheitsanalysen. Dieser Service eignet sich auch ideal für Szenarien, die eine Datenaufnahme und -verarbeitung mit hohem Durchsatz und geringer Latenz erfordern.
Welche Clustertypen sind in OCI Streaming mit Apache Kafka verfügbar?
Es gibt zwei Clustertypen: Starter und High Availability (HA). Ein Startercluster kann in einem Availability-Domain-spezifischen oder regionalen Subnetz mit 1 bis 24 Brokern eingerichtet werden. HA-Cluster werden nur in regionalen Subnetzen erstellt und für alle Produktionsworkloads mit High Availability empfohlen. HA-Cluster erfordern mindestens drei Broker-Knoten, verteilt über Availability-Domains (ADs) oder Fault-Domains (FDs), und unterstützen maximal 24 Broker.
Welche Versionen von Apache Kafka werden unterstützt?
Unser verwalteter Kafka-Service unterstützt das neueste stabile Release von Apache Kafka 3.7, 3.6 und 3.5 sowie mehrere frühere Versionen. Die vollständige Liste der unterstützten Versionen finden Sie in unserer Dokumentation.
Unterstützt OCI-Streaming mit Apache Kafka den Kafka Raft-Modus (KRaft)?
Derzeit unterstützt OCI Streaming mit Apache Kafka nur ZooKeeper zur Verwaltung von Kafka-Metadaten und zur Clusterkoordination. Der KRaft-Modus, der es Kafka ermöglicht, Metadaten nativ ohne ZooKeeper zu verwalten, wird noch nicht unterstützt. Für eine zukünftige Version ist jedoch KRaft-Unterstützung geplant, um eine vereinfachte und resilientere Kafka-Architektur zu ermöglichen.
Sind Apache Kafka-APIs mit OCI-Streaming mit Apache Kafka kompatibel?
Ja, alle Datenebenen- und Administrator-APIs werden nativ von OCI Streaming mit Apache Kafka unterstützt.
Kann ich für OCI-Streaming mit Apache Kafka verschiedene Prozessortypen auswählen?
Derzeit unterstützt der Service standardmäßig ARM A1-Ausprägungen. Wenn Sie Prozessorfamilien wie AMD oder Intel benötigen, wenden Sie sich an den OCI-Support, um weitere Optionen und Konfigurationen zu besprechen.
Wie sieht die Standard-Brokerkonfiguration für einen Cluster aus?
Sofern nicht anders angegeben, verwendet OCI Streaming mit Apache Kafka die von der Open-Source-Version von Apache Kafka angegebenen Standardwerte. Überprüfen Sie die dokumentierten Standardeinstellungen für beide Clustertypen.
Kann ich die Standard-Brokerkonfigurationen ändern oder eine Clusterkonfiguration mit Apache Kafka in OCI Streaming hochladen?
Ja, OCI Streaming mit Apache Kafka ermöglicht Ihnen, benutzerdefinierte Konfigurationen zu erstellen und sowohl auf neue als auch auf vorhandene Cluster anzuwenden. Derzeit können mithilfe der CLI benutzerdefinierte Konfigurationen erstellt und versioniert werden, die dann beim Erstellen eines Clusters angewendet werden können. In der OCI-Konsole können Sie beim Einrichten des Clusters entweder die Standardkonfiguration oder eine benutzerdefinierte Konfiguration auswählen. Weitere Informationen zu benutzerdefinierten Konfigurationen finden Sie in der Konfigurationsdokumentation.
Welche Konfigurationseigenschaften kann ich anpassen?
Weitere Informationen finden Sie in der Dokumentation zu den anpassbaren Konfigurationseigenschaften.
Sicherheit
Sind meine Daten verschlüsselt und geschützt?
Sicherheit ist für OCI Streaming mit Apache Kafka von grundlegender Bedeutung. Der OCI Streaming-Service mit Apache Kafka bietet standardmäßig eine durchgehende Verschlüsselung – sowohl während der Übertragung als auch im Ruhezustand – gesichert durch von Oracle verwaltete Verschlüsselungsschlüssel. Netzwerkzugriffskontrollen, Benutzerauthentifizierung und Autorisierungseinstellungen bieten weitere Schutzebenen, um Ihren Daten- und Servicezugriff zu schützen.
Kann ich den Zugriff auf bestimmte Kafka-Themen einschränken?
Ja, Sie können Kafka Access Control Lists (ACLs) verwenden, um den Zugriff auf bestimmte Themen, Verbrauchergruppen und Verwaltungsvorgänge zu beschränken. Dadurch wird sichergestellt, dass nur autorisierte Clients auf Kafka-Ressourcen zugreifen können.
Welche Authentifizierungsmethoden sind für OCI Streaming mit Apache Kafka verfügbar?
OCI Streaming mit Apache Kafka unterstützt mehrere Authentifizierungsmethoden, um Zugriff auf Ihren Kafka-Cluster zu sichern. Benutzer können sich zur sicheren Kommunikation und Zugriffskontrolle über Simple Authentication and Security Layer/Salted Challenge Response Authentication Mechanism (SASL/SCRAM) oder Mutual TLS (mTLS) authentifizieren. Diese Optionen bieten robuste Sicherheitsmaßnahmen, um sicherzustellen, dass nur authentifizierte Benutzer mit den Kafka-Clustern interagieren können.
Unterstützt OCI Streaming mit Apache Kafka Lightweight Direct Access Protocol (LDAP) oder Kerberos-Authentifizierung?
Derzeit unterstützt der Service SASL/SCRAM und mTLS zur Authentifizierung. Zukünftig wird OCI Streaming mit Apache Kafka OCI Identity and Access Management (IAM) unterstützen, was die Integration mit Active Directory und LDAP durch föderierte Identitätsanbieter und Identitätssynchronisierung für eine optimierte Authentifizierung und Benutzerverwaltung ermöglicht.
Unterstützt OCI Streaming das Peering virtueller Cloud-Netzwerke (VCN) für sicheren, privaten Zugriff?
Ja, Sie können Ihre Kafka-Cluster in privaten Subnetzen konfigurieren und VCN-Peering verwenden, um je nach Ihren Architekturanforderungen eine sichere Verbindung von anderen OCI VCNs oder Ihrem On-Premises-Netzwerk herzustellen.
Performance und Skalierbarkeit
Was sind die Durchsatz- und Skalierbarkeitsgrenzen von OCI Streaming mit Apache Kafka?
OCI Streaming mit Apache Kafka ermöglicht eine skalierbare Datenaufnahme und -verarbeitung mit anpassbaren Broker-Konfigurationen zur Erfüllung hoher Durchsatzanforderungen. Sie können je nach gewählter Konfiguration bis zu 24 Broker zu einem Cluster hinzufügen.
Wie handhabt OCI Streaming Load Balancing und Fehlertoleranz?
Für Cluster mit High Availability verteilt OCI Streaming mit Kafka Broker automatisch auf mehrere ADs oder FDs, um die Ausfallsicherheit zu gewährleisten. Der Service bietet außerdem eine automatische Lastverteilung und Partitionierung zwischen Brokern.
Kann ich meinen Kafka-Cluster dynamisch skalieren?
Ja, Sie können Ihren Kafka-Cluster innerhalb der Broker-Anzahlgrenzen (1–24 Broker) skalieren. So können Sie Ressourcen an die Workload-Anforderungen anpassen, ohne den Service zu unterbrechen.
Konnektivität
Kann ich von außerhalb der Oracle Cloud auf OCI Streaming mit Apache Kafka zugreifen?
Derzeit ist keine öffentliche Verbindung zu OCI Streaming mit Apache Kafka verfügbar. Der Zugriff auf Kafka-Cluster ist auf OCI VCNs beschränkt. Um externe Produzenten und Verbraucher zu verbinden, können Sie private Konnektivitätslösungen wie OCI FastConnect oder VPN einrichten, um Ihr On-Premises-Netzwerk oder andere Cloud-Umgebungen sicher auf OCI zu erweitern.
Welche Konfigurationen werden benötigt, um Kafka-Kunden über mein On-Premises-Netzwerk zu verbinden?
Für die On-Premises-Konnektivität können Sie eine OCI FastConnect- oder VPN-Verbindung einrichten, um sicher auf Ihren auf OCI gehosteten Kafka-Cluster zuzugreifen.
Unterstützt OCI Streaming mit Apache Kafka die Replikation zwischen Clustern (Aktiv/Aktiv und Aktiv/Standby)?
Ja, OCI Streaming mit Apache Kafka unterstützt die Intercluster-Replikation, die mit Aktiv/Aktiv- oder Aktiv/Standby-Setups mit MirrorMaker 2 konfiguriert werden kann. Dies ermöglicht flexible Datenreplikationsstrategien über Cluster hinweg, die Disaster Recovery und Datensynchronisierung ermöglichen. Standardmäßig werden Daten innerhalb einer HA-Konfiguration aus Gründen der Resilienz innerhalb derselben Region repliziert. Mit MirrorMaker 2 können Sie zusätzliche regions- oder clusterübergreifende Replikation basierend auf Ihren spezifischen Anforderungen anpassen.
Kann ich Daten innerhalb meines vorhandenen Apache Kafka-Clusters zu OCI Streaming mit Apache Kafka migrieren?
Ja, Sie können Drittanbietertools oder Open-Source-Tools wie MirrorMaker 2 verwenden, die von Apache Kafka unterstützt werden, um Daten aus Clustern in OCI-Streaming mit Apache Kafka zu replizieren.
Unterstützt OCI-Streaming mit Apache Kafka die Datenänderungserfassung (CDC) mit Debezium?
Ja, OCI Streaming mit Apache Kafka unterstützt CDC mit Debezium und anderen Kafka-Connectors. Derzeit sind Benutzer für die Verwaltung und Wartung ihrer eigenen Connectors für CDC verantwortlich. Ein vollständig verwalteter Kafka Connect-Service, der die Connector-Verwaltung vereinfachen wird, ist jedoch für ein zukünftiges Release geplant.
Betrieb und Überwachung
Wie überwache ich meinen Kafka-Cluster auf OCI?
Derzeit wird die direkte Integration mit OCI-Monitoring und JMX-Metriken für OCI-Streaming mit Apache Kafka nicht unterstützt. Um die Leistung und Aktivität des Kafka-Clusters zu überwachen, müssen Sie benutzerdefinierte Lösungen oder externe Überwachungstools verwenden. Sie können Überwachungstools innerhalb desselben VCN wie das Kafka-Cluster bereitstellen, um Metriken wie Broker-Leistung und Themenaktivität zu erfassen.
Ist das Logging für OCI Streaming mit Apache Kafka verfügbar?
Derzeit unterstützt OCI Streaming mit Apache Kafka keine direkte Integration mit OCI Logging zum Erfassen von Betriebsprotokollen. Zur Fehlerbehebung und Analyse müssen Sie möglicherweise externe Logging-Lösungen oder Überwachungstools in Ihrer Umgebung implementieren.
Wie verwalte ich Themenkonfigurationen und Replikation?
Themenkonfigurationen, Partitionen und Replikationseinstellungen können nur mithilfe der Kafka-CLI, SDKs oder Kafka-APIs innerhalb desselben Netzwerks wie der Kafka-Cluster verwaltet werden. Derzeit unterstützt die OCI-Konsole keine direkte Verwaltung dieser Konfigurationen. Sie können den Replikationsfaktor über diese Tools festlegen, um Ihren Anforderungen an Fehlertoleranz und Verfügbarkeit gerecht zu werden.
Gibt es eine Benutzeroberfläche zur Verwaltung des Kafka-Clusters in OCI?
Derzeit bietet OCI Streaming mit Apache Kafka keine native Benutzeroberfläche für die Clusterverwaltung. Sie können jedoch Ihre eigenen Drittanbietertools wie Kafbat, AKHQ und ähnliche verwenden, um Ihre Kafka-Cluster zu verwalten und zu überwachen. Diese Tools können innerhalb von OCI bereitgestellt werden, sodass Sie den Cluster nahtlos in Ihrer eigenen Umgebung anzeigen und verwalten können.
Tarife und Abrechnung
Wie hoch sind die Kosten für OCI Streaming with Apache Kafka?
Die Tarife für OCI Streaming with Apache Kafka basieren auf der zugrunde liegenden Infrastruktur. Sie können den Cluster konfigurieren, indem Sie die Anzahl der Kafka-Broker, Kerne, Speicher und Storage auswählen. Die damit verbundenen Infrastrukturkosten sind Durchlaufgebühren, die auf den OCI-Tarifen basieren (siehe A1 Flex-Ausprägungen für OCPU-Tarife). Zusätzlich fällt eine Servicegebühr von 0,10 USD pro OCPU pro Stunde an, die auf der Anzahl der bereitgestellten OCPUs basiert. Für Cluster, die die Arm A1-Ausprägung verwenden, wird die Servicegebühr um 50 % reduziert, was zu einer Gebühr von 0,05 USD pro OCPU pro Stunde führt.
Fallen zusätzliche Kosten für die Datenspeicherung in OCI Streaming an?
Ja, die Datenspeicherkosten basieren auf dem Block Volume-Speicher, den Sie während der Clusterbereitstellung auswählen. Sie können zwischen 50 GB und 1 TB Speicherplatz pro Broker wählen. Die zugehörigen Speicherkosten sind Durchlaufposten, die auf den OCI Block Volume-Tarifen basieren. Wenn Sie beispielsweise 5 TB Speicher benötigen, stellen Sie 5 Broker mit jeweils 1 TB bereit, sodass insgesamt 5 TB Speicher für den Cluster zur Verfügung stehen.
Integration und Kompatibilität
Unterstützt OCI Streaming with Apache Kafka Kafka Connect?
Derzeit umfasst OCI Streaming with Apache Kafka keinen verwalteten Kafka Connect-Service, jedoch können Sie Kafka Connect auf OCI Compute-Instanzen bereitstellen und in Ihre Kafka-Cluster integrieren.
Kann ich OCI-Streaming with Apache Kafka mit Oracle GoldenGate zur Erfassung von Änderungsdaten verwenden?
Ja, Sie können Oracle GoldenGate mit OCI Streaming with Apache Kafka integrieren, um Änderungen von Datenbanken zu erfassen und an Kafka zu streamen und so verschiedene Anwendungsfälle der Datenreplikation und -analyse zu unterstützen.
Wie lässt sich OCI Streaming with Apache Kafka in OCI Data Flow integrieren?
Mit OCI Data Flow können Daten aus Kafka-Themen direkt verarbeitet werden. So können Sie Spark-Anwendungen zur Datentransformation, -analyse und -speicherung erstellen und ausführen.
Ist eine Schema-Registry mit OCI Streaming with Apache Kafka verfügbar?
Ja, der Service unterstützt derzeit die Integration mit Open-Source-Schema-Registry-Optionen, sodass Sie Schemas für Ihre Datenstreams verwalten und speichern können. Ein vollständig verwaltetes Schema-Registry-Angebot befindet sich in der Entwicklung und wird für ein zukünftiges Release erwartet, was das Schema-Management innerhalb der OCI-Umgebung vereinfacht.