Oracle Cloud Infrastructure(OCI) Streaming 서비스는 개발자와 데이터 과학자를 위한 실시간 서버리스 Apache Kafka 호환 이벤트 스트리밍 플랫폼입니다. Streaming은 OCI, Database, GoldenGate, Integration Cloud와 긴밀하게 통합되어 있습니다. 또한 이 서비스는 DevOps, 데이터베이스, 빅데이터, SaaS 애플리케이션과 같은 분류에 속하는 수백 가지 서드파티 제품과의 즉각적인 통합을 제공합니다.
데이터 엔지니어는 빅데이터 파이프라인을 쉽게 설정하고 운영할 수 있습니다. Oracle을 통해 프로비저닝, 확장, 보안 패치를 포함하여 이벤트 스트리밍을 위한 모든 인프라 및 플랫폼을 관리할 수 있습니다.
소비자 그룹의 도움으로 Streaming을 통해 수천 명의 소비자에게 상태 관리를 제공할 수 있습니다. 이를 통해 개발자는 대규모 애플리케이션을 쉽게 구축할 수 있습니다.
Oracle Cloud Infrastructure 서비스와의 기본 통합에는 다음이 포함됩니다. 장기적인 스토리지를 위한Object Storage, 관찰을 위한 Monitoring, 대규모 배포를 위한 Resource Manager, 더 쉬운 비용 추적/계정 관리를 위한 Tagging.
Kafka Connect Harness는GoldenGate, Integration Cloud, Database, 호환 가능한 타사 제품을 포함하여 수백 개의 데이터 소스 및 싱크와 즉시 통합할 수 있는 기능을 제공합니다.
오픈 소스 소프트웨어를 Oracle 관리 서비스로 실행합니다. Streaming의 Kafka 호환성은 공급 업체 종속성을 크게 줄이고 고객이 하이브리드 및 멀티 클라우드 아키텍처를 쉽게 채택하도록 지원합니다.
개발자는 Python, Java, Typescript, Go와 같은 SDK에서 이용 가능한 Apache Kafka API 또는 Oracle Cloud의 기본 Streaming API를 유연하게 사용할 수 있습니다.
온프레미스 또는 다른 클라우드에 배포되었는지 여부와 관계없이 기존 Kafka 구현을 사용하는 고객은 몇 가지 구성 매개 변수를 변경하여 쉽게 Streaming으로 마이그레이션할 수 있습니다.
이 서비스는 보안을 위해 전송 및 저장 시 데이터 암호화를 제공합니다. Streaming은 세분화된 액세스 제어, Private Endpoints 및 데이터 프라이버시용 Vault(KMS)를 위해 Identity and Access Management(IAM)와 통합되었습니다.
이 서비스는 내결함성과 내구성을 위해 지리적으로 분산된 가용성 도메인에서 동기식 데이터 복제를 사용합니다. 99.95%의 서비스 가용성 SLA로 Streaming이 지원됩니다. Oracle은 이 SLA 위반에 대한 크레딧을 제공합니다.
Streaming은 규모와 사용량에 관계없이 테넌시 수준의 데이터 격리를 제공하고 “예기치 않은 트래픽 증가” 성능 문제를 제거합니다.
고객은 사용한 만큼만 비용을 지불하므로 사용량이 급증하는 워크로드에 적합한 서비스입니다.
고객은 처리량과 스토리지에 대해서만 비용을 지불하고 최소 비용이나 조기 종료 불이익이 없습니다.
타 퍼블릭 클라우드 제공업체와 달리 Oracle은 Streaming에서 타 Oracle Cloud Infrastructure 서비스로의 데이터 이동에 대해 추가 요금을 부과하지 않습니다.
Streaming service는 높은 처리량/짧은 지연 시간의 데이터 이동 및 엄격한 순서 보장이 필요한 마이크로서비스 및 기타 애플리케이션에 이상적입니다.
웹사이트 또는 모바일 앱에서 데이터 웨어하우스, 모니터링 시스템 또는 분석 엔진으로 규모에 맞는 데이터를 공급합니다. 개발자는 실시간 작업을 통해 데이터가 손상되기 전에 작업을 수행할 수 있습니다.
Streaming을 사용하여 Oracle SaaS 애플리케이션에서 Oracle 데이터베이스의 E-Business Suite, PeopleSoft, Change Data Capture(CDC) 로그와 같은 애플리케이션 및 인프라 로그를 수집합니다. Oracle Integration Cloud용 Streaming의 Kafka 커넥터를 활용한 다음 장기 보관을 위해 Object Storage와 같은 다운스트림 시스템으로 전송합니다.
OCI 스트리밍은 OCI GoldenGate Stream Analytics, OCI GoldenGate 및 Oracle GoldenGate와 직접 통합되어 이벤트 중심의 스트리밍 Kafka 메시지를 처리하고 강화된 메시지와 변환된 메시지를 게시합니다. OCI GoldenGate Stream Analytics는 실시간 모델링, 처리, 분석 및 조치하여 비즈니스 거래에서 비롯된 데이터 웨어하우스 로드 또는 사용 중인 데이터를 로드하는 완전한 애플리케이션입니다. 사용자는 코딩이 필요 없는 데이터 파이프라인을 간편하게 구축합니다. 처리는 이상값 및 변형을 감지하고 ML 모델의 통찰력을 적용한 후 경고를 표시하거나 자동으로 차선 조치를 취합니다.
Oracle, Developer Evangelist, Todd Sharp
지난 게시물에서 저는 애플리케이션 코드에서 솔루션을 수동으로 구현하는 대신 RDBMS의 기능을 활용하여 데이터를 처리하는 것이 타당한 이유 몇 가지에 관해 이야기했습니다. 다음의 게시물에서는 실제 사례를 통해 그 추론의 일부를 뒷받침할 것입니다.
게시글 전문 읽어보기