FAQ sur Streaming with Apache Kafka
Généralités
Quel est le prix d'OCI Streaming avec Apache Kafka ?
OCI Streaming avec Apache Kafka est un service géré qui vous permet de créer des applications de transmission en continu de données en temps réel à l'aide d'Apache Kafka sur Oracle Cloud Infrastructure (OCI). Il fournit un environnement Kafka entièrement géré, éliminant ainsi la nécessité de gérer l'infrastructure sous-jacente.
Quels sont les principaux cas d'utilisation d'OCI Streaming avec Apache Kafka ?
Les cas d'utilisation typiques incluent la capture des données de modification des utilisateurs (CDC), l'ingestion de mesures et de journaux, l'analyse du comportement, la prévision de la demande en temps réel, la détection des fraudes, la détection des anomalies dans le trading et l'analyse des soins de santé. Ce service est également idéal pour les scénarios qui nécessitent une assimilation et un traitement des données à haut débit et à faible latence.
Quels sont les types de clusters disponibles dans OCI Streaming avec Apache Kafka ?
Il existe deux types de clusters : Starter et High Availability (HA). Un cluster de départ peut être configuré dans un sous-réseau régional ou propre à un domaine de disponibilité avec entre 1 et 24 brokers. Les clusters de haute disponibilité sont créés dans des sous-réseaux régionaux uniquement et sont recommandés pour tous les workloads de production avec haute disponibilité. Les clusters de haute disponibilité nécessitent un minimum de 3 noeuds de courtier sur plusieurs domaines de disponibilité ou domaines de pannes avec un maximum de 24 brokers.
Quelles sont les versions d'Apache Kafka prises en charge ?
Notre service Kafka géré prend en charge la dernière version stable d'Apache Kafka 3.7, 3.6 et 3.5, ainsi que plusieurs versions précédentes. Vous trouverez la liste complète des versions prises en charge dans notre documentation.
OCI Streaming avec Apache Kafka prend-il en charge le mode Kafka Raft (KRaft) ?
Actuellement, OCI Streaming avec Apache Kafka prend en charge uniquement ZooKeeper pour la gestion des métadonnées Kafka et la coordination des clusters. Le mode KRaft, qui permet à Kafka de gérer les métadonnées de manière native sans ZooKeeper, n'est pas encore pris en charge. Cependant, la prise en charge de KRaft est prévue pour une prochaine version, permettant une architecture Kafka simplifiée et plus résiliente.
Les API d'Apache Kafka sont-elles compatibles avec OCI Streaming avec Apache Kafka ?
Oui. Toutes les API de plans de données et d'administration sont prises en charge de façon native par OCI Streaming avec Apache Kafka.
Puis-je choisir différents types de processeur pour OCI Streaming avec Apache Kafka ?
Actuellement, le service prend en charge les formes ARM A1 par défaut. Si vous avez besoin d'autres familles de processeurs, telles qu'AMD ou Intel, contactez le support technique OCI pour discuter d'options et de configurations supplémentaires.
Quelle est la configuration Broker par défaut d'un cluster ?
Sauf indication contraire, OCI Streaming avec Apache Kafka utilise les valeurs par défaut indiquées par la version open source d'Apache Kafka. Vérifiez les paramètres par défaut documentés pour les deux types de cluster.
Puis-je modifier les configurations de broker par défaut ou télécharger une configuration de cluster vers OCI Streaming avec Apache Kafka ?
Oui. OCI Streaming avec Apache Kafka vous permet de créer et d'appliquer des configurations personnalisées aux clusters nouveaux et existants. Actuellement, les configurations personnalisées peuvent être créées et gérées par version à l'aide de la CLI, qui peut ensuite être appliquée lors de la création d'un cluster. Dans la console OCI, vous pouvez sélectionner la configuration par défaut ou une configuration personnalisée lors de la configuration du cluster. Pour plus d'informations sur les configurations personnalisées, reportez-vous à la documentation de configuration.
Quelles propriétés de configuration puis-je personnaliser ?
Reportez-vous à la documentation sur les propriétés de configuration que vous pouvez personnaliser.
Sécurité
Mes données sont-elles cryptées et protégées ?
La sécurité est fondamentale pour OCI Streaming avec Apache Kafka. Le service OCI Streaming avec Apache Kafka fournit le cryptage en transit et au repos par défaut, sécurisé avec des clés de cryptage gérées par Oracle. Les contrôles d'accès réseau, l'authentification des utilisateurs et les paramètres d'autorisation offrent d'autres couches de protection pour protéger votre accès aux données et aux services.
Puis-je restreindre l'accès à des sujets Kafka spécifiques ?
Oui. Vous pouvez utiliser les listes de contrôle d'accès (ACL) Kafka pour restreindre l'accès à des sujets, des groupes de consommateurs de ressources et des opérations d'administration spécifiques. Cela permet de garantir que seuls les clients autorisés peuvent accéder aux ressources Kafka.
Quelles sont les méthodes d'authentification disponibles pour OCI Streaming avec Apache Kafka ?
OCI Streaming avec Apache Kafka prend en charge plusieurs méthodes d'authentification pour sécuriser l'accès à votre cluster Kafka. Les utilisateurs peuvent s'authentifier via Simple Authentication and Security Layer/Salted Challenge Response Authentication Mechanism (SASL/SCRAM) ou TLS mutuel (mTLS) pour une communication sécurisée et un contrôle d'accès. Ces options fournissent des mesures de sécurité robustes pour garantir que seuls les utilisateurs authentifiés peuvent interagir avec les clusters Kafka.
OCI Streaming avec Apache Kafka prend-il en charge l'authentification LDAP (Lightweight Direct Access Protocol) ou Kerberos ?
Actuellement, le service prend en charge les protocoles SASL/SCRAM et mTLS pour l'authentification. À l'avenir, OCI Streaming avec Apache Kafka prendra en charge OCI Identity and Access Management (IAM), qui permettra l'intégration à Active Directory et à LDAP via des fournisseurs d'identités fédérés et la synchronisation des identités pour une authentification et une gestion des utilisateurs rationalisées.
OCI Streaming prend-il en charge l'appairage de réseau cloud virtuel (VCN) pour un accès sécurisé et privé ?
Oui, vous pouvez configurer vos clusters Kafka dans des sous-réseaux privés et utiliser l'appairage VCN pour vous connecter en toute sécurité à partir d'autres réseaux cloud virtuels OCI ou de votre réseau sur site, en fonction de vos exigences en matière d'architecture.
Performance et évolutivité
Quelles sont les limites de débit et d'évolutivité d'OCI Streaming avec Apache Kafka ?
OCI Streaming avec Apache Kafka prend en charge l'assimilation et le traitement des données évolutifs, avec des configurations de courtiers personnalisables pour répondre aux exigences de haut débit. Vous pouvez ajouter jusqu'à 24 brokers dans un cluster, selon la configuration sélectionnée.
Comment OCI Streaming gère-t-il l'équilibrage de charge et la tolérance aux pannes ?
Pour les clusters haute disponibilité, OCI Streaming avec Kafka distribue automatiquement les courtiers sur plusieurs AD ou FD à des fins de résilience. Le service fournit également un équilibrage de charge et un partitionnement automatisés entre les brokers.
Puis-je redimensionner dynamiquement mon cluster Kafka ?
Oui. Vous pouvez redimensionner votre cluster Kafka dans les limites du nombre de courtiers (1 à 24 courtiers). Cela vous permet d'ajuster les ressources pour répondre aux demandes de charge globale sans interrompre le service.
Connectivité
Puis-je accéder à OCI Streaming avec Apache Kafka en dehors d'Oracle Cloud ?
Actuellement, la connectivité publique à OCI Streaming avec Apache Kafka n'est pas disponible. L'accès aux clusters Kafka est limité aux réseaux cloud virtuels OCI. Pour connecter les fournisseurs et les consommateurs externes, vous pouvez configurer des solutions de connectivité privées, telles qu'OCI FastConnect ou VPN, afin d'étendre votre réseau sur site ou d'autres environnements cloud à OCI en toute sécurité.
Quelles sont les configurations nécessaires pour connecter les clients Kafka à partir de mon réseau on-premise ?
Pour la connectivité sur site, vous pouvez configurer une connexion OCI FastConnect ou VPN afin d'accéder en toute sécurité à votre cluster Kafka hébergé sur OCI.
OCI Streaming avec Apache Kafka prend-il en charge la réplication entre les clusters (actif/actif et actif/de secours) ?
Oui. OCI Streaming avec Apache Kafka prend en charge la réplication intercluster, qui peut être configurée pour les configurations actives/actives ou actives/de secours à l'aide de MirrorMaker 2. Cela permet des stratégies de réplication de données flexibles entre les clusters, permettant la récupération après sinistre et la synchronisation des données. Par défaut, les données d'une configuration HA sont répliquées dans la même région à des fins de résilience. Vous pouvez utiliser MirrorMaker 2 pour personnaliser une réplication inter-région ou inter-cluster supplémentaire en fonction de vos besoins spécifiques.
Puis-je migrer des données de mon cluster Apache Kafka existant vers OCI Streaming avec Apache Kafka ?
Oui. Vous pouvez utiliser des outils tiers ou open source tels que MirrorMaker 2, pris en charge par Apache Kafka, pour répliquer des données de clusters vers OCI Streaming avec Apache Kafka.
OCI Streaming avec Apache Kafka prend-il en charge la capture des données de modification (CDC) avec Debezium ?
Oui, OCI Streaming avec Apache Kafka prend en charge le CDC à l'aide de Debezium, ainsi que tous les autres connecteurs Kafka. Actuellement, les utilisateurs sont responsables de la gestion et de la maintenance de leurs propres connecteurs pour CDC. Cependant, un service Kafka Connect entièrement géré, qui simplifiera la gestion des connecteurs, sera prévu pour une prochaine version.
Opérations et surveillance
Comment surveiller mon cluster Kafka sur OCI ?
Actuellement, l'intégration directe aux mesures OCI Monitoring et JMX n'est pas prise en charge pour OCI Streaming avec Apache Kafka. Pour surveiller les performances et l'activité du cluster Kafka, vous devez utiliser des solutions personnalisées ou des outils de surveillance externes. Vous pouvez déployer des outils de surveillance dans le même VCN que le cluster Kafka pour collecter des mesures telles que les performances du courtier et l'activité des sujets.
La journalisation est-elle disponible pour OCI Streaming avec Apache Kafka ?
Actuellement, OCI Streaming avec Apache Kafka ne prend pas en charge l'intégration directe avec OCI Logging pour la capture des journaux opérationnels. Pour le dépannage et l'analyse, vous devrez peut-être implémenter des solutions de journalisation externes ou des outils de surveillance dans votre environnement.
Comment gérer les configurations de sujets et la réplication ?
Les configurations de sujets, les partitions et les paramètres de réplication peuvent uniquement être gérés à l'aide de l'interface de ligne de commande Kafka, des kits SDK ou des API Kafka sur le même réseau que le cluster Kafka. Actuellement, la console OCI ne prend pas en charge la gestion directe de ces configurations. Vous pouvez définir le facteur de réplication via ces outils pour répondre à vos besoins en matière de tolérance aux pannes et de disponibilité.
Existe-t-il une interface utilisateur pour l'administration du cluster Kafka dans OCI ?
Actuellement, OCI Streaming avec Apache Kafka ne fournit pas d'interface utilisateur native pour l'administration de cluster. Cependant, vous pouvez utiliser vos propres outils tiers, tels que Kafbat, AKHQ, etc., pour gérer et surveiller vos clusters Kafka. Ces outils peuvent être déployés dans OCI, ce qui vous permet de visualiser et d'administrer le cluster de manière transparente dans votre propre environnement.
Tarification et facturation
Quel est le prix d'OCI Streaming avec Apache Kafka ?
La tarification d'OCI Streaming avec Apache Kafka est basée sur l'infrastructure sous-jacente. Vous pouvez configurer le cluster en sélectionnant la quantité de courtiers, de cœurs, de mémoire et de stockage Kafka. Les coûts d'infrastructure associés sont des frais de transfert basés sur la liste des tarifs OCI (reportez-vous aux formes flexibles A1 pour connaître la tarification des OCPU). En outre, des frais de service de 0,10 $ par OCPU par heure s'appliquent en fonction du nombre d'OCPU provisionnées. Pour les clusters utilisant la forme Arm A1, les frais de service sont réduits de 50 %, ce qui entraîne des frais de 0,05 $ par OCPU et par heure.
Existe-t-il des coûts supplémentaires pour le stockage des données dans OCI Streaming ?
Oui. Les coûts de stockage des données dépendent du stockage de volume de blocs sélectionné lors du provisionnement du cluster. Vous pouvez choisir entre 50 Go et 1 To de stockage par broker. Le coût de stockage associé est une dépense de transfert basée sur la tarification OCI Block Volume. Par exemple, si vous avez besoin de 5 To de stockage, vous provisionnerez 5 brokers avec 1 To chacun, soit un total de 5 To de stockage pour le cluster.
Intégration et compatibilité
OCI Streaming avec Apache Kafka prend-il en charge Kafka Connect ?
Actuellement, OCI Streaming avec Apache Kafka n'inclut pas de service Kafka Connect géré mais vous pouvez déployer Kafka Connect sur des instances OCI Compute et l'intégrer à vos clusters Kafka.
Puis-je utiliser OCI Streaming avec Apache Kafka avec Oracle GoldenGate pour la capture des données de modification ?
Oui. Vous pouvez intégrer Oracle GoldenGate à OCI Streaming avec Apache Kafka pour capturer et diffuser les modifications des bases de données vers Kafka, en prenant en charge divers cas d'utilisation de réplication et d'analyse des données.
Comment OCI Streaming avec Apache Kafka s'intègre-t-il à OCI Data Flow ?
OCI Data Flow peut être utilisé pour traiter directement les données des sujets Kafka, ce qui vous permet de créer et d'exécuter des applications Spark pour la transformation des données, l'analyse et le stockage.
Un registre de schémas est-il disponible avec OCI Streaming avec Apache Kafka ?
Oui. Le service prend actuellement en charge l'intégration avec les options de registre de schémas open source, ce qui vous permet de gérer et de stocker des schémas pour vos flux de données. Une offre Schema Registry entièrement gérée est en développement et attendue dans une prochaine version, et simplifiera la gestion des schémas dans l'environnement OCI.