Preguntas frecuentes sobre Streaming con Apache Kafka

General

¿Qué es OCI Streaming with Apache Kafka?

OCI Streaming with Apache Kafka es un servicio gestionado que permite crear aplicaciones de transmisión de datos en tiempo real mediante Apache Kafka en Oracle Cloud Infrastructure (OCI). Proporciona un entorno de Kafka totalmente gestionado, eliminando la necesidad de gestionar la infraestructura subyacente.

¿Cuáles son los principales casos de uso de OCI Streaming with Apache Kafka?

Entre los casos de uso habituales se incluyen la captura de datos de cambios de usuario (CDC), la ingestión de métricas y logs, el análisis de comportamiento, la previsión de la demanda en tiempo real, la detección de fraudes, la detección de anomalías en el comercio y el análisis de asistencia sanitaria. Este servicio también es ideal para escenarios que requieren ingesta y procesamiento de datos de alto rendimiento y baja latencia.

¿Cuáles son los tipos de clústeres disponibles en OCI Streaming with Apache Kafka?

Hay dos tipos de clústeres: de inicio y de alta disponibilidad (HA). Se puede configurar un clúster de inicio en una subred regional o específica del dominio de disponibilidad con entre 1 y 24 agentes. Los clústeres de alta disponibilidad se crean solo en subredes regionales y se recomiendan para todas las cargas de trabajo de producción con alta disponibilidad. Los clústeres de alta disponibilidad requieren un mínimo de 3 nodos de agente en dominios de disponibilidad (AD) o dominios de errores (FD) con un máximo de 24 agentes.

¿Qué versiones de Apache Kafka son compatibles?

Nuestro servicio gestionado de Kafka admite la última versión estable de Apache Kafka 3.7, 3.6 y 3.5, así como varias versiones anteriores. Puedes encontrar la lista completa de versiones compatibles en nuestra documentación.

¿OCI Streaming with Apache Kafka soporta el modo Kafka Raft (KRaft)?

Actualmente, OCI Streaming with Apache Kafka solo soporta ZooKeeper para gestionar los metadatos de Kafka y la coordinación de clústeres. El modo KRaft, que permite a Kafka gestionar metadatos de forma nativa sin ZooKeeper, aún no se admite. Sin embargo, el soporte de KRaft está planificado para una versión futura, lo que permite una arquitectura de Kafka simplificada y más resistente.

¿Son compatibles las API de Apache Kafka con OCI Streaming with Apache Kafka?

Sí, OCI Streaming soporta de forma nativa todas las API de plano de datos y administración con Apache Kafka.

¿Puedo elegir diferentes tipos de procesador para OCI Streaming with Apache Kafka?

Actualmente, el servicio soporta unidades ARM A1 por defecto. Si necesitas otras familias de procesadores, como AMD o Intel, ponte en contacto con el servicio de soporte de Oracle Cloud Infrastructure para analizar opciones y configuraciones adicionales.

¿Cuál es la configuración de agente por defecto para un clúster?

A menos que se especifique lo contrario, OCI Streaming with Apache Kafka utiliza los valores por defecto especificados por la versión de código abierto de Apache Kafka. Comprueba la configuración predeterminada documentada para ambos tipos de clúster.

¿Puedo cambiar las configuraciones de agente por defecto o cargar una configuración de clústeres en OCI Streaming with Apache Kafka?

Sí, OCI Streaming with Apache Kafka te permite crear y aplicar configuraciones personalizadas a clústeres nuevos y existentes. Actualmente, las configuraciones personalizadas se pueden crear y versionar utilizando la interfaz de línea de comandos, que luego se pueden aplicar al crear un clúster. En la consola de Oracle Cloud Infrastructure, puede seleccionar la configuración por defecto o personalizada durante la configuración del clúster. Para obtener más información sobre las configuraciones personalizadas, consulta la documentación de configuración.

¿Qué propiedades de configuración puedo personalizar?

Consulta la documentación sobre las propiedades de configuración que puedes personalizar.

Seguridad

¿Mis datos están cifrados y protegidos?

La seguridad es fundamental para OCI Streaming with Apache Kafka. El servicio OCI Streaming with Apache Kafka proporciona cifrado en tránsito y estático por defecto, protegido con claves de cifrado gestionadas por Oracle. Los controles de acceso a la red, la autenticación de usuarios y la configuración de autorización ofrecen más capas de protección para proteger el acceso a los datos y servicios.

¿Puedo restringir el acceso a temas específicos de Kafka?

Sí. Puedes utilizar las listas de control de acceso (ACL) de Kafka para restringir el acceso a temas, grupos de consumidores y operaciones administrativas específicos. Esto ayuda a garantizar que solo los clientes autorizados puedan acceder a los recursos de Kafka.

¿Qué métodos de autenticación hay disponibles para OCI Streaming with Apache Kafka?

OCI Streaming with Apache Kafka soporta varios métodos de autenticación para proteger el acceso a tu clúster de Kafka. Los usuarios pueden autenticarse mediante la autenticación simple y el mecanismo de autenticación de respuesta de comprobación salada/capa de seguridad (SASL/SCRAM) o TLS mutua (mTLS) para una comunicación segura y un control de acceso. Estas opciones proporcionan medidas de seguridad sólidas para ayudar a garantizar que solo los usuarios autenticados puedan interactuar con los clústeres de Kafka.

¿Soporta OCI Streaming with Apache Kafka el protocolo ligero de acceso directo (LDAP) o la autenticación de Kerberos?

En la actualidad, el servicio admite SASL/SCRAM y mTLS para autenticación. En el futuro, OCI Streaming with Apache Kafka será compatible con OCI Identity and Access Management (IAM), de modo que permitirá la integración con Active Directory y LDAP a través de proveedores de identidad federados y sincronización de identidad para la autenticación optimizada y la gestión de usuarios.

¿OCI Streaming admite el intercambio de tráfico de redes virtuales en la nube (VCN) para un acceso seguro y privado?

Sí, puedes configurar tus clústeres de Kafka en subredes privadas y utilizar el intercambio de VCN para conectarse de forma segura desde otras redes virtuales en la nube de Oracle Cloud Infrastructure o su red local, según los requisitos de arquitectura.

Rendimiento y escalabilidad

¿Cuáles son los límites de rendimiento y escalabilidad de OCI Streaming with Apache Kafka?

OCI Streaming with Apache Kafka soporta la ingestión y el procesamiento de datos escalables, con configuraciones de agente personalizables para cumplir los requisitos de alto rendimiento. Puede agregar hasta 24 agentes en un clúster, según la configuración seleccionada.

¿Cómo maneja OCI Streaming el equilibrio de carga y la tolerancia a fallos?

Para clústeres de alta disponibilidad, OCI Streaming with Kafka distribuye automáticamente agentes entre varios dominios de disponibilidad o dominios de error para ofrecer resiliencia. El servicio también proporciona equilibrio de carga automatizado y partición en los diversos agentes.

¿Puedo escalar de forma dinámica mi clúster de Kafka?

Sí, puedes ampliar el clúster de Kafka dentro de los límites de recuento de agentes (entre 1 y 24 agentes). Esto te permite ajustar los recursos para que se adapten a las demandas de la carga de trabajo sin interrumpir el servicio.

Conectividad

¿Puedo acceder a OCI Streaming with Apache Kafka desde fuera de Oracle Cloud?

Actualmente, la conectividad pública a OCI Streaming with Apache Kafka no está disponible. El acceso a los clústeres de Kafka está restringido a las VCN de Oracle Cloud Infrastructure. Para conectar a productores y consumidores externos, puede configurar soluciones de conectividad privadas, como OCI FastConnect o VPN, para ampliar de forma segura su red local u otros entornos en la nube a Oracle Cloud Infrastructure.

¿Qué configuraciones se necesitan para conectar los clientes de Kafka desde mi red local?

Para la conectividad local, puedes configurar una conexión de OCI FastConnect o VPN para acceder de forma segura al clúster de Kafka alojado en Oracle Cloud Infrastructure.

¿Soporta OCI Streaming with Apache Kafka la replicación entre clústeres (activo/activo y activo/en espera)?

Sí, OCI Streaming with Apache Kafka soporta la replicación entre clústeres, que se puede ajustar para configuraciones activas/activas o activas/en espera con MirrorMaker 2. Esto permite estrategias de replicación de datos flexibles en los clústeres, lo que permite la recuperación ante desastres y la sincronización de datos. Por defecto, los datos de una configuración de alta disponibilidad se replican en la misma región para obtener resiliencia. Puedes utilizar MirrorMaker 2 para personalizar la replicación entre regiones o entre clústeres adicionales en función de tus necesidades específicas.

¿Puedo migrar datos de mi clúster de Apache Kafka actual a OCI Streaming with Apache Kafka?

Sí, puedes utilizar herramientas de terceros o herramientas de código abierto como MirrorMaker 2, soportado por Apache Kafka, para replicar datos de clústeres en OCI Streaming with Apache Kafka.

¿Soporta OCI Streaming with Apache Kafka la captura de datos de cambios (CDC) con Debezium?

Sí, OCI Streaming with Apache Kafka admite CDC utilizando Debezium, junto con cualquier otro conector de Kafka. Actualmente, los usuarios son responsables de gestionar y mantener sus propios conectores para la CDC. Sin embargo, un servicio Kafka Connect totalmente gestionado, que simplificará la gestión de conectores, está planificado para una versión futura.

Operaciones y supervisión

¿Cómo puedo supervisar mi clúster de Kafka en Oracle Cloud Infrastructure?

Actualmente, la integración directa con OCI Monitoring y las métricas de JMX no se admite en OCI Streaming with Apache Kafka. Para supervisar el rendimiento y la actividad de los clústeres de Kafka, debes utilizar soluciones personalizadas o herramientas de supervisión externas. Puedes desplegar herramientas de supervisión en la misma VCN que el clúster de Kafka para recopilar métricas como el rendimiento del agente y la actividad de los temas.

¿Está disponible el registro para OCI Streaming with Apache Kafka?

Actualmente, OCI Streaming with Apache Kafka no admite la integración directa con OCI Logging para capturar logs operativos. Para la resolución de problemas y el análisis, puede que necesites implementar soluciones de registro externas o herramientas de supervisión en tu entorno.

¿Cómo puedo gestionar las configuraciones y la replicación de temas?

Las configuraciones de temas, particiones y valores de replicación solo se pueden gestionar mediante la CLI de Kafka, los SDK o las API de Kafka en la misma red que el clúster de Kafka. Actualmente, la consola de Oracle Cloud Infrastructure no soporta la gestión directa de estas configuraciones. Puede definir el factor de replicación mediante estas herramientas para satisfacer sus necesidades de disponibilidad y tolerancia a fallos.

¿Existe una interfaz de usuario para administrar el clúster de Kafka en Oracle Cloud Infrastructure?

Actualmente, OCI Streaming with Apache Kafka no proporciona una interfaz de usuario nativa para la administración de clústeres. Sin embargo, puede utilizar sus propias herramientas de terceros, como Kafbat, AKHQ y similares, para gestionar y supervisar los clústers de Kafka. Estas herramientas se pueden desplegar en Oracle Cloud Infrastructure, de modo que te permite ver y administrar el clúster sin problemas dentro de tu propio entorno.

Precios y facturación

¿Cómo se fijan los precios de OCI Streaming with Apache Kafka?

Los precios de OCI Streaming with Apache Kafka se basan en la infraestructura subyacente. Puedes configurar el clúster seleccionando la cantidad de agentes, núcleos, memoria y almacenamiento de Kafka. Los costos de infraestructura asociados son cargos de transferencia basados en la lista de precios de Oracle Cloud Infrastructure (consulta las unidades flexibles A1 para conocer los precios de OCPU). Además, se aplica una tarifa de servicio de 0,10 dólares por OCPU por hora en función del número de OCPU aprovisionadas. Para los clústeres que utilizan la unidad Arm A1, se aplica la tarifa de servicio un descuento del 50 %, de modo que el costo por OCPU por hora es de 0,05 dólares.

¿Se aplican costos adicionales de almacenamiento de datos en OCI Streaming?

Sí. Los costos de almacenamiento de datos se basan en el almacenamiento de Block Volume que selecciones durante el aprovisionamiento de clústeres. Puedes elegir entre 50 GB y 1 TB de almacenamiento por agente. El costo de almacenamiento asociado es un gasto de transferencia basado en los precios de OCI Block Volume. Por ejemplo, si necesitas 5 TB de almacenamiento, aprovisionarás 5 agentes con 1 TB cada uno, con un total de 5 TB de almacenamiento para el clúster.

Integración y compatibilidad

¿OCI Streaming with Apache Kafka admite Kafka Connect?

Actualmente, OCI Streaming with Apache Kafka no incluye un servicio gestionado de Kafka Connect, pero puedes desplegar Kafka Connect en instancias de OCI Compute e integrarlo con tus clústeres de Kafka.

¿Puedo utilizar OCI Streaming with Apache Kafka con Oracle GoldenGate para capturar datos de cambios?

Sí, puedes integrar Oracle GoldenGate con OCI Streaming with Apache Kafka para capturar y transmitir cambios de bases de datos a Kafka, soportando múltiples casos de uso de replicación de datos y análisis.

¿Cómo se integra OCI Streaming with Apache Kafka con OCI Data Flow?

OCI Data Flow se puede utilizar para procesar datos de temas de Kafka directamente, lo que te permite crear y ejecutar aplicaciones de Spark para la transformación, el análisis y el almacenamiento de datos.

¿Se dispone de un registro de esquema en OCI Streaming with Apache Kafka?

Sí. Actualmente, el servicio admite la integración con opciones de registro de esquema de código abierto, lo que permite gestionar y almacenar esquemas para los flujos de datos. Se está desarrollando una oferta de registro de esquema totalmente gestionada y se espera que se incorpore en una versión futura, lo que simplifica la gestión de esquemas en el entorno de Oracle Cloud Infrastructure.