솔루션, 사용 사례, 사례 연구
최근 엔터프라이즈 소프트웨어 관련 자주 언급되는 주제인 데이터 메시는, 데이터 관리용 분산형 아키텍처를 기반으로 하는, 데이터를 생각하는 새로운 접근 방식입니다. 핵심은 데이터 사용자, 데이터 생산자, 데이터 소비자를 직접 연결함으로써 비즈니스 사용자들이 더 많은 데이터를 활용할 수 있게 하는 것입니다. 데이터 메시의 목표는 데이터 중심 솔루션의 비즈니스 결과를 개선하고, 모던 데이터 아키텍처의 도입을 독려하는 것입니다.
비즈니스 관점에서 봤을 때, 데이터 메시는 '데이터 제품에 대한 사고 방식'을 둘러싼 새로운 개념을 제시합니다. 다시 말하면, 데이터를 '완수해야 할 과업(JTBD, Job to be Done)'을 이행하는 제품으로서 인식하는 것입니다. 예를 들자면, 의사결정 개선, 사기 감지 지원 또는 공급망 환경의 변화를 기업에 알리기 위해 쓰일 수 있습니다. 가치가 높은 데이터 제품을 만들기 위해서는 기업이 문화 및 사고방식의 변화에 대응하고, 비즈니스 도메인 모델링에 대한 부서 간 협업을 장려하는 접근 방식을 택해야 합니다.
기술적 측면에서 데이터 메시에 대한 Oracle의 관점은 데이터 기반 아키텍처에 관한 세 가지 중요한 중점 영역을 포함합니다:
기타 중앙화된 전통적인 데이터 관리 방법론에서처럼 비기술전문가를 위한 셀프 서비스 툴링 및 강력한 통합 데이터 거버넌스 모델 등 다른 중요한 고려 사항들 역시 데이터 메시 아키텍처에도 매우 중요합니다.
데이터 메시 접근 방식은 데이터를 제품으로 인식하는, 패러다임의 전환을 의미합니다. 데이터 메시는 기업이 데이터를 비즈니스의 유형 자본 자산으로 관리하는 데 필요한 조직적 변화 및 프로세스 변화를 야기합니다. Oracle은 데이터 메시 아키텍처를 위해 조직 및 분석 데이터 도메인 전반의 연계가 필요하다고 생각합니다.
데이터 메시의 목표는 데이터 생산자를 비즈니스 사용자와 최대한 직접 연결하여, 데이터 리소스를 수집, 준비 및 변환하는 프로젝트 및 프로세스에서 IT 중간자를 제거하는 것입니다.
Oracle은 데이터 메시의 이와 같은 새로운 기술 요구 사항들을 처리할 수 있는 플랫폼을 고객에게 제공하는 데 중점을 두고 있습니다. 여기에는 데이터 제품을 위한 도구, 탈중항화된 이벤트 기반 아키텍처, 동작 데이터를 위한 스트리밍 패턴이 포함됩니다. 데이터 제품 도메인 모델링 및 기타 사회공학적 우려에 대해서는 Oracle이 데이터 메시의 사고 리더인 Zhamak Dehghani의 작품과 연계하여 작업을 진행하고 있습니다.
데이터 메시에 대한 투자로 다음과 같은 놀라운 이점을 얻을 수 있습니다:
데이터 메시 시장의 성숙도는 여전히 초기 단계라고 할 수 있습니다. 따라서 '데이터 메시'를 표방한 솔루션에 대한 수많은 마케팅 콘텐츠가 쏟아져 나오는 와중에도, 소위 데이터 메시 솔루션이라고 부르는 이 제품들이 핵심 접근 또는 원칙 면에서 데이터 메시에 정확히 들어맞지 않는 경우가 많습니다.
진정한 데이터 메시는 사고방식, 조직 모델, 지원 도구를 갖춘 엔터프라이즈 데이터 아키텍처를 의미합니다. 데이터 메시 솔루션은 데이터 제품에 대한 사고방식, 탈중앙화된 데이터 아키텍처, 도메인 지향 데이터 소유권, 분산형 동작 데이터, 셀프 서비스 액세스, 강력한 데이터 거버넌스를 고루 갖춰야 합니다.
다음에 해당하는 것은 데이터 메시가 아닙니다:
Oracle이 Q2 2020 Forrester Wave 보고서 Enterprise Data Fabric 부문 리더로 선정되었습니다
슬픈 사실은, 과거의 모놀리식 데이터 아키텍처가 번거롭고, 값비싸고, 유연성이 떨어진다는 것입니다. 지난 수년간 애플리케이션에서부터 분석에 이르기까지 디지털 비즈니스 플랫폼에 투입된 대부분의 시간과 비용이 통합 노력에 할애되었다는 사실이 점점 명확히 드러나고 있습니다. 결과적으로 대부분의 플랫폼 이니셔티브는 실패로 돌아갔습니다.
데이터 메시가 중앙화된 모놀리식 데이터 아키텍처를 위한 만능 해결책은 아니지만, 데이터 메시 전략의 원칙, 관행, 기술은 데이터 기반 비즈니스 이니셔티브를 위한 가장 시급하지만 아직 해결되지 않은 현대화 목표 중 일부를 해결하기 위해 설계되었습니다.
솔루션으로서의 데이터 메시의 등장을 야기하는 기술 트렌드 중 일부를 아래에 소개합니다:
오늘날 데이터 메시가 필요한 이유에 대한 자세한 내용은 Zhamak Dehghani의 2019년도 오리지널 논문을 확인하세요: 모놀리식 데이터 레이크를 벗어나 분산형 데이터 메시로 이전하는 방법.
데이터 메시의 탈중앙화 전략의 목표는 셀프 서비스 데이터 인프라를 생성함으로써 비즈니스 사용자에 대한 데이터 접근성을 높이고, 데이터를 제품으로 취급하는 것입니다.
이론을 실행으로 옮기는 단계에서는, 미션 크리티컬 데이터를 위한 엔터프라이즈급 솔루션을 배포해야 합니다. 이때 Oracle이 신뢰할 수 있는 광범위한 솔루션을 제공해 기업의 데이터 메시 구동을 지원할 수 있습니다.
데이터 메시는 그저 새로운 기술 유행어이기만 한 게 아닙니다. 데이터 메시는 데이터의 접근성 및 검색 가능성을 높이는 새로운 원칙, 관행, 기술 역량 세트를 의미합니다. 데이터 메시의 개념은 앞선 세대의 데이터 통합 접근 및 아키텍처와는 구분됩니다. 데이터 메시는 과거의 거대한 모놀리식 엔터프라이즈 데이터 아키텍처에서 벗어나 미래의 모던한 분산형, 탈중앙형 데이터 중심 아키텍처로의 이전을 촉진합니다. 데이터 메시의 개념은 다음과 같은 주요 속성을 토대로 합니다:
데이터 메시 도입에 있어 가장 중요한 첫 번째 단계는 사고 방식의 전환입니다. 혁신에 대한 학습된 관행을 수용하려는 의지가 데이터 아키텍처 현대화의 성공을 이끌 디딤돌이 될 것입니다.
이 학습된 관행의 영역에는 다음이 포함됩니다:
디자인 사고 방식(Design thinking) 방법론은 부서 간 혁신을 가로막는 주범인 조직의 사일로를 해체하는 데 도움이 되는 입증된 기술을 제공합니다. 완수해야 할 작업 이론은 특정 최종 사용자의 목표를 이행하는(또는 작업을 완수하는) 데이터 제품 설계의 핵심 토대입니다. 제품의 목표를 정의하는 이론이기도 합니다.
초기에는 데이터 제품 접근 방식이 과학자 커뮤니티를 통해 등장했지만, 이제 이 이론은 데이터 관리의 모든 측면에 적용되고 있습니다. 데이터 메시는 모놀리식 기술 아키텍처를 구축하는 대신, 데이터 소비자 및 비즈니스 결과에 중점을 둡니다.
데이터 제품 사고 방식은 타 데이터 아키텍처에도 적용 가능한, 데이터 메시의 핵심 요소입니다. 데이터 제품 사고 방식의 적용 방법에 대한 실용적인 사례를 제공하기 위해, Intuit의 팀은 자신들의 경험에 대한 자세한 분석을 글로 남겼습니다.
원자재에서부터 지역 매장에 전시된 제품에 이르기까지, 모든 종류의 제품은 가치 있는 자산으로서, 소비를 목적으로 생산되며, 특정한 목적을 보유합니다. 데이터 제품은 비즈니스 도메인 또는 해결해야 할 문제에 따라 다음과 같은 다양한 형태를 띨 수 있습니다:
데이터 제품은 소비를 목적으로 생산되며, 보통 IT 팀 외부에서 이를 소유합니다. 또한 다음과 같은 추가 속성에 대한 추적을 요구합니다:
탈중앙형 IT 시스템은 이제 현실이며, SaaS 애플리케이션 및 퍼블릭 클라우드 인프라(IaaS)의 부상은 애플리케이션 및 데이터의 탈중앙화를 지속시키고 있습니다. 애플리케이션 소프트웨어 아키텍처는 과거의 중앙형 모놀리스에서 벗어나 분산형 마이크로서비스(서비스 메시)로 전환되고 있습니다. 데이터가 광범위한 물리적 공간 및 다양한 네트워크 전반에 분산됨에 따라, 데이터 아키텍처 역시 동일한 탈중앙화 트렌드를 따르게 될 것입니다. 우리는 이것을 데이터 메시라고 부릅니다.
메시는 대규모 비계층 노드가 서로 협업할 수 있게 지원하는 네트워크 토폴로지를 의미합니다.
일반적인 기술 사례는 다음과 같습니다:
데이터 메시는 이와 같은 메시의 개념과 연계되어 있으며, 가상/물리 네트워크 및 원거리 전역에 데이터를 분산시키는 탈중앙형 방식을 제공합니다. ETL 및 데이터 통합 도구와 같은 레거시 데이터 통합 모놀리식 아키텍처, 그리고 최근에는 AWS Glue와 같은 퍼블릭 클라우드 서비스도 고도의 중앙 집중식 인프라를 필요로 합니다.
완전한 데이터 메시 솔루션은 온프레미스 시스템, 여러 퍼블릭 클라우드, 심지어 에지 네트워크까지 아우르는 멀티클라우드 프레임워크에서 운영할 수 있어야 합니다.
데이터가 고도로 분산 및 탈중앙화된 세계에서 정보 보안의 역할은 말할 수 없이 중요합니다. 고도로 중앙화된 모놀리스와 달리 분산형 시스템은 다양한 사용자를 인증하고, 사용자마다 다양한 수준의 액세스 권한을 부여하는 데 필요한 작업 위임이 필요합니다. 네트워크 전반에 걸쳐 안전하게 신뢰를 확보하는 일은 잘 해내기 어려운 일입니다.
그중에서도 다음과 같은 사항들을 고려해야 합니다:
IT 시스템의 보안을 유지하는 일은 어려운 일입니다. 게다가 분산형 시스템에서는 고도의 보안을 제공하는 일이 훨씬 더 어려울 수 있습니다. 그러나 해결할 수 있는 문제입니다.
데이터 메시의 핵심 원칙은 소유권 및 책임의 분산입니다. 데이터 제품 및 데이터 도메인의 소유권을 조직 내 해당 데이터와 가장 연관성이 높은 사람들에게 연결하는 것이 모범적인 관행입니다. 실제로 소스 데이터(예: 레코드/애플리케이션의 운영 시스템 등 원시 데이터 소스) 또는 분석 데이터(예: 일반적으로 데이터 소비자에 의한 손쉬운 소비를 위해 만들어진 복합 또는 집계 데이터)와 연계될 수 있습니다. 두 사례 모두에서 데이터의 생산자와 소비자는 보통 IT 조직보다는 사업 부문과 연계됩니다.
과거 데이터 도메인을 구성하던 방식에서는 이들을 ETL 도구, 데이터 웨어하우스, 데이터 레이크 등 기술 솔루션 또는 기업의 구조적 조직(HR, 마케팅, 기타 LOB 등)과 연계하는 함정에 빠지곤 했습니다. 그러나 비즈니스 문제를 고려했을 때, 데이터 도메인은 해결 중인 문제의 범위, 특정 비즈니스 프로세스의 맥락, 특정 문제 영역 내 애플리케이션 제품군에 연계되는 게 가장 좋습니다. 대규모 조직에서는 이와 같은 데이터 도메인이 내부 조직 및 기술 영역 전반에 연계되곤 합니다.
데이터 도메인의 기능적 분해는 데이터 메시에서 가장 중요한 우선순위를 차지합니다. 도메인 모델링을 위한 다양한 데이터 분해 방법론은 전형적인 데이터 웨어하우스 모델링(예: Kimball 및 Inmon), 데이터 볼트 모델링 등 데이터 메시 아키텍처에 적용될 수 있지만, 현재 데이터 메시 아키텍처에서 시도되고 있는 가장 일반적인 방법론은 도메인 기반 설계(DDD)입니다. DDD 접근 방식은 마이크로서비스 기능 분해에서 비롯되었으며 현재는 데이터 메시의 맥락에서 적용되고 있습니다.
Oracle이 데이터 메시에 관한 논의에 추가한 중요한 주제는 모던 데이터 메시의 핵심 요소인 동작 데이터의 중요성을 높이는 일에 관한 것입니다. 동작 데이터는 중앙형, 모놀리식 배치 프로세싱으로 이루어진 구식 세계에서 벗어나 데이터 메시를 도입하기 위한 핵심 요소입니다. 동작 데이터의 기능은 다음과 같은 데이터 메시 관련 핵심 질문에 대한 답을 제공합니다:
이와 같은 질문들은 '구현 세부 정보' 측면에서뿐만 아니라 데이터 아키텍처 자체에도 대단히 중요합니다. 정적 데이터를 위한 도메인 기반 설계는 동일한 설계의 동적인 동작 데이터 처리와는 다른 기술 및 도구를 사용합니다. 예를 들어 동적 데이터 아키텍처에서 데이터 원장은 데이터 이벤트를 위한 신뢰할 수 있는 중앙 소스입니다.
원장은 분산형 데이터 아키텍처의 작동을 위한 기본 구성 요소입니다. 회계 원장과 마찬가지로 데이터 원장은 트랜잭션이 발생할 때마다 이를 기록합니다.
원장을 분산하면, 데이터 이벤트는 어느 위치에서나 '재생 가능한' 상태가 됩니다. 일부 원장은 고가용성 및 재해 복구 기능을 위해 사용되는 항공기 비행 기록 장치와도 유사합니다.
중앙형 모놀리식 데이터 저장소와 달리 분산형 원장은 다른 (외부의) 시스템에서 발생하는 아토믹 이벤트 및/또는 트랜잭션을 추적하기 위한 목적으로 구축됩니다.
하나의 데이터 메시는 단일한 종류의 원장 그 이상을 의미합니다. 사용 사례 및 요구 사항에 따라 데이터 메시는 다양한 유형의 이벤트 기반 데이터 원장을 사용할 수 있으며, 그 종류는 다음과 같습니다:
이 원장들이 결합되면 기업 전체를 위한 내구성 있는 이벤트 로그와 같은 역할을 하며, 기록 시스템 및 분석 시스템에서 발생하는 데이터 이벤트의 실행 목록을 제공합니다.
다중 언어 데이터 스트림이 그 어느 때보다 보편화되었습니다. 이 데이터 스트림은 이벤트 유형, 페이로드, 다양한 트랜잭션 의미에 따라 달라집니다. 데이터 메시는 다양한 엔터프라이즈 데이터 워크로드를 위해 필요한 스트림 유형을 지원해야 합니다.
단순 이벤트:
- Base64 / JSON—원시, 스키마리스 이벤트
- 원시, 원격 측정, 희소 이벤트
기본 앱 로깅/사물인터넷(IoT) 이벤트:
- JSON/Protobuf— 스키마 보유 가능
- MQTT—IoT 전용 프로토콜
애플리케이션 비즈니스 프로세스 이벤트:
- SOAP/REST 이벤트—XML/XSD, JSON
- B2B—교환 프로토콜 및 표준
데이터 이벤트/트랜잭션:
- 논리적 변경 레코드—LCR, SCN, URID
- 일관된 경계—커밋 vs 운영
스트림 처리는 이벤트 스트림 내에서 데이터가 조작되는 방식을 의미합니다. '람다 함수'와 달리 스트림 프로세서는 특정 시간대 데이터 흐름의 스테이트풀니스를 유지하며, 이를 통해 데이터에 훨씬 고급의 분석 쿼리를 적용할 수 있습니다.
기본 데이터 필터링:
단순한 ETL:
CEP 및 복잡한 ETL:
스트림 분석:
물론 데이터 메시에는 이 세가지 외에도 다양한 속성이 존재합니다. 앞서 다룬 세 가지 속성은 Oracle이 생각하는 새롭고 독특한 모던 데이터 메시의 속성을 소개하기 위해 중점적으로 다룬 것입니다.
다른 중요한 데이터 메시 속성에는 다음이 포함됩니다:
운영 및 분석 데이터 도메인을 위한 성공적인 데이터 메시 이행 사용 사례입니다. 다음의 7가지 사용 사례는 데이터 메시가 엔터프라이즈 데이터에 제공할 수 있는 광범위한 역량을 보여줍니다.
실시간 운영 데이터 및 분석을 통합함으로써 기업은 보다 나은 운영 및 전략 결정을 내릴 수 있습니다.MIT Sloan School of Management
모놀리식 데이터 아키텍처를 클라우드로 마이그레이션하는 '리프트 앤 시프트' 방식을 넘어 많은 기업 조직들은 과거의 중앙형 애플리케이션을 폐기하고, 보다 모던한 마이크로서비스 애플리케이션 아키텍처로의 이전 방안을 모색하고 있습니다.
그러나 레거시 애플리케이션 모놀리스는 일반적으로 대규모 데이터베이스에 의존적이며, 중단, 위험, 비용 절감을 위한 마이그레이션 계획을 어떻게 구성해야 하는지에 대한 의문을 남깁니다. 데이터 메시는 모놀리스에서 메시 아키텍처로의 단계별 전환을 진행 중인 고객들에게 중요한 운영 IT 기능을 제공할 수 있습니다. 예:
마이크로서비스 아키텍트들이 사용하는 언어에서는, 이 접근 방식이 양방향 트랜잭션 아웃박스를 사용해 교살자 무화과나무 마이그레이션 패턴을 지원하며, 한 번에 하나의 제한된 컨텍스트를 지원합니다.
비즈니스 크리티컬 애플리케이션은 회복 탄력성 및 연속성에 관한 한 대단히 높은 KPI 및 SLA를 필요로 합니다. 이 애플리케이션이 모놀리식이든, 마이크로서비스든, 그 사이의 어느 것이든 상관없이 애플리케이션은 중단되어서는 안 됩니다.
미션 크리티컬 시스템에서는 분산형 결과적 일관성(eventual-consistency) 데이터 모델은 보통 허용되지 않습니다. 그러나 이 애플리케이션들은 또한 다양한 데이터 센터를 넘나들며 운영될 수 있어야 합니다. 이와 같은 상황 때문에 비즈니스 연속성에 관한 다음과 같은 질문이 제기됩니다. “하나 이상의 데이터 센터 전반에서 앱을 구동하는 동시에 데이터의 정확성과 일관성을 보장하려면 어떻게 해야 하는가?”
모놀리식 아키텍처가 '샤딩된 데이터세트'를 사용하든, 마이크로서비스가 교차 사이트 고가용성을 위해 설정되었든 상관없이, 데이터 메시는 어떤 거리에서든 정확한 데이터를 고속으로 제공합니다.
데이터 메시는 탈중앙형의, 그러나 100% 정확한 데이터가 여러 위치를 오갈 수 있도록 토대를 제공할 수 있습니다. 예:
모던, 서비스 메시 스타일 플랫폼은 이벤트를 데이터 교환용으로 활용합니다. 데이터 페이로드는 데이터 계층 내 배치 처리에 의존하는 대신, 애플리케이션 또는 데이터 저장소에서 이벤트가 발생할 때마다 지속적으로 흐릅니다.
일부 아키텍처에서는 마이크로서비스가 데이터 페이로드를 서로 교환해야 합니다. 다른 패턴들은 모놀리식 애플리케이션 또는 데이터 저장소 간 상호 교환을 필요로 합니다. 이와 같은 상황은 다음과 같은 질문을 야기합니다. “앱 및 데이터 저장소 간에 마이크로서비스 데이터 페이로드를 안정적으로 교환하려면 어떻게 해야 하는가?”
데이터 메시는 마이크로서비스 중심 데이터 상호 교환을 위한 근본 기술을 제공할 수 있습니다. 예:
이벤트 소싱, CQRS, 트랜잭션 아웃박스 등 마이크로서비스 패턴은 일반적으로 많이들 알고 있는 솔루션입니다. 데이터 메시는 이 패턴들이 대규모에서도 반복 가능하고 안정적일 수 있도록 하는 도구 및 프레임워크를 제공합니다.
엔터프라이즈 통합의 필요성은 마이크로서비스 디자인 패턴을 넘어 데이터베이스, 비즈니스 프로세스, 애플리케이션, 모든 유형의 물리 장치 등 다양한 IT 시스템으로 확장됩니다. 데이터 메시는 동작 데이터 통합을 위한 토대를 제공합니다.
동작 데이터는 보통 이벤트 기반 데이터입니다. 사용자의 행동, 장치 이벤트, 프로세스 단계, 데이터 저장소 커밋은 모두 데이터 페이로드를 통해 이벤트를 실행시킬 수 있습니다. 이 데이터 페이로드는 사물인터넷(IoT) 시스템, 비즈니스 프로세스 및 데이터베이스, 데이터 웨어하우스, 데이터 레이크 통합에 핵심입니다.
데이터 메시는 전사적인 실시간 통합을 위한 근본적인 기술을 제공합니다. 예:
대규모 기업 조직은 보통 구형 및 신형 시스템, 모놀리스 및 마이크로서비스, 운영 및 분석 데이터 저장소 등을 복합적으로 보유하게 됩니다. 데이터 메시는 이와 같은 다양한 비즈니스 및 데이터 도메인 전반의 리소스 통합을 지원할 수 있습니다.
분석 데이터 저장소에는 데이터 마트, 데이터 웨어하우스, OLAP 큐브, 데이터 레이크, 데이터 레이크하우스 기술이 포함될 수 있습니다.
일반적으로 데이터를 이 분석 데이터 저장소로 가져가는 방법은 두 가지 뿐입니다:
데이터 메시는 스트리밍 데이터 수집 기능의 토대를 제공합니다. 예:
스트림별 이벤트 수집 방식으로 소스 시스템에 미치는 영향을 줄이고, 데이터의 충실도를 개선하고(데이터 과학에 중요한 요소), 실시간 분석을 지원할 수 있습니다.
일단 데이터가 분석 데이터 저장소에 수집되고 나면 데이터 파이프라인이 다양한 데이터 단계 또는 데이터 영역 전반에서 데이터를 준비 및 변환해야 합니다. 이 데이터 세분화 프로세스는 보통 다운스트림 분석 데이터 제품에 필요합니다.
데이터 메시는 분석 데이터 저장소와 호환되는, 독립적으로 관리되는 데이터 파이프라인 계층을 제공함으로써 다음과 같은 핵심 서비스를 제공합니다:
이 데이터 파이프라인은 다양한 물리적 데이터 저장소(데이터 마트, 웨어하우스, 레이크 등) 또는 Apache Spark 및 기타 데이터 레이크하우스 기술 등 스트리밍 데이터를 지원하는 분석 데이터 플랫폼 내에서 '푸시다운 데이터 스트림'으로 작동할 수 있어야 합니다.
이벤트는 지속적으로 발생합니다. 스트림 내에서의 이벤트 분석은 매 순간 어떤 일이 발생하는지 파악하기 위한 중요한 단계로 활용될 수 있습니다.
실시간 이벤트 스트림에 대한 이와 같은 종류의 시계열 기반 분석은 실제 IoT 장치 데이터에 중요할 수 있습니다. 또한 고객이 IT 데이터 센터 또는 재무 트랜잭션 전반에서 어떤 일이 발생하는지(예: 사기 모니터링) 이해하는 데 중요할 수 있습니다.
모든 기능을 갖춘 데이터 메시는 다양한 유형의 이벤트 시간대 전반에서 모든 종류의 이벤트를 분석할 수 있는 근본적인 역량을 갖추고 있습니다. 예:
데이터 파이프라인과 마찬가지로 스트리밍 분석 역시 구축된 데이터 레이크하우스 인프라 내부에서 또는 별도로 클라우드 네이티브 서비스로서 실행될 수 있습니다.
데이터 통합의 선두 주자들은 회복 탄력성을 갖춘 다양한 데이터 저장소 컬렉션으로부터 수집한 운영 및 분석 데이터를 실시간으로 통합할 방안을 모색 중입니다. 데이터 아키텍처가 스트리밍 분석으로 진화함에 따라 높은 기세와 빠른 속도로 혁신이 진행되었습니다. 운영 고가용성은 실시간 분석으로 이어졌고, 데이터 엔지니어링 자동화는 데이터 준비 간소화에 기여하고 있습니다. 또한 데이터 과학자 및 분석가들은 셀프 서비스 도구를 활용할 수 있게 되었습니다.
전체 데이터 자산 전반에 운영 및 분석 메시 구축
이 모든 데이터 관리 기능을 통합된 아키텍처에서 한데 실행하면 모든 데이터 소비자가 영향을 받게 됩니다. 데이터 메시는 글로벌 기록 시스템 및 참여 시스템을 개선하여 안정적인 실시간 운영을 지원하고, 이렇게 수집한 실시간 데이터를 LOB 관리자, 데이터 과학자 및 고객의 고객들에게 연계해 줍니다. 또한 차세대 마이크로서비스 애플리케이션을 위한 데이터 관리를 간소화해 줍니다. 모던 분석 방법 및 도구를 사용하면 고객의 최종 사용자, 분석가, 데이터 과학자들은 고객의 수요 및 경쟁사의 위협에 훨씬 효과적으로 대응할 수 있게 됩니다. Intuit의 목표 및 결과에서 문서화된 사례를 읽어보세요
포인트 프로젝트에서 데이터 메시가 제공하는 이점
데이터 제품 및 운영 모델에 관한 새로운 사고방식을 얻게 되었다면, 이제 각각의 지원 기술에 대한 경험을 늘리는 것이 중요합니다. 데이터 메시 여정에서 고속 데이터 아키텍처를 스트리밍 분석으로 진화시킴으로써 점진적인 이점을 얻을 수 있습니다. 동시에 운영 고가용성 투자를 실시간 분석에 활용하고, 데이터 과학자 및 분석가를 위한 실시간 셀프 서비스 분석을 제공할 수 있습니다.
데이터 패브릭 | 앱 개발 통합 | 분석 데이터 저장소 | |||||
---|---|---|---|---|---|---|---|
데이터 메시 | 데이터 통합 | 메타카탈로그 | 마이크로서비스 | 메시징 | 데이터 레이크하우스 | 분산형 DW | |
인력, 프로세스, 방법: | |||||||
데이터 제품 주안점 | 지원 |
지원 |
지원 |
1/4 상품 |
1/4 상품 |
3/4 상품 |
3/4 상품 |
기술 아키텍처 속성: | |||||||
분산형 아키텍처 | 지원 |
1/4 상품 |
3/4 상품 |
지원 |
지원 |
1/4 상품 |
3/4 상품 |
이벤트 기반 원장 | 지원 |
미지원 |
1/4 상품 |
지원 |
지원 |
1/4 상품 |
1/4 상품 |
ACID 지원 | 지원 |
지원 |
미지원 |
미지원 |
3/4 상품 |
3/4 상품 |
지원 |
스트림 지향 | 지원 |
1/4 상품 |
미지원 |
미지원 |
1/4 상품 |
3/4 상품 |
1/4 상품 |
분석 데이터 주안점 | 지원 |
지원 |
지원 |
미지원 |
미지원 |
지원 |
지원 |
운영 데이터 주안점 | 지원 |
1/4 상품 |
지원 |
지원 |
지원 |
미지원 |
미지원 |
물리 및 논리 메시 | 지원 |
지원 |
미지원 |
1/4 상품 |
3/4 상품 |
3/4 상품 |
1/4 상품 |
더욱 빠른, 데이터 기반의 혁신 주기
미션 크리티컬 데이터 운영 비용 절감
멀티클라우드 데이터 유동성
- 데이터 자본의 자유로운 흐름
실시간 데이터 공유
- Ops-to-Ops 및 Ops-to-분석
에지, 위치 기반 데이터 서비스
- 관련된 IRL 장치/데이터 이벤트
신뢰할 수 있는 마이크로서비스 데이터 상호 교환
- 정확한 데이터를 통한 이벤트 소싱
- 데이터용 DataOps 및 CI/CD
무중단 연속성
- >99.999% 가동 시간 SLA
- 클라우드 마이그레이션
데이터 제품 자동화 및 간소화
- 멀티 모델 데이터 세트
시계열 데이터 분석
- 델타/변경된 기록
- 이벤트별 충실도
운영 데이터 저장소를 위한 전체 데이터 사본 제거
- 로그 기반 원장 및 파이프라인
분산형 데이터 레이크 및 웨어하우스
- 하이브리드/멀티클라우드/글로벌
- 스트리밍 통합/ETL
예측 분석
- 데이터 수익화, 판매를 위한 새로운 데이터 서비스
디지털 전환은 대단히 어렵습니다. 실제로 대부분의 기업이 시도하는 데이터 전환은 실패로 돌아가곤 합니다. 지난 몇 년간 모던 기술이 고도로 중앙화된 모놀리식 스타일에서 벗어나면서, 기술, 소프트웨어 디자인, 데이터 아키텍처 역시 점점 더 분산되었습니다.
데이터 메시는 데이터를 위한 새로운 개념입니다. 모놀리식의, 중앙화된, 배치 스타일 데이터 처리와 반대로 고도로 분산된, 실시간 데이터 이벤트로의 정교한 전환을 의미합니다. 핵심은, 데이터 메시가 데이터 소비자의 니즈를 최우선시하는 문화적 사고방식의 전환이라는 데 있습니다. 데이터 메시는 탈중앙형 데이터 아키텍처 강화를 위한 플랫폼과 서비스를 향상시키는 진정한 기술 전환이기도 합니다.
데이터 메시의 사용 사례는 운영 데이터 및 분석 데이터 모두를 아우릅니다. 이것이 기존의 데이터 레이크/레이크하우스 및 데이터 웨어하우스와의 차별점이기도 합니다. 운영 데이터 도메인과 분석 데이터 도메인의 이와 같은 연계는 데이터 소비자들을 위한 셀프 서비스 추가 도입에 관한 니즈를 충족시켜 주는 중요한 요인입니다. 모던 데이터 플랫폼 기술은 중간자를 없애 데이터 생산자와 데이터 소비자를 직접 연결할 수 있게 해 줍니다.
Oracle은 오랜 시간 미션 크리티컬 데이터 솔루션 업계의 리더로 자리잡아 왔고, 신뢰할 수 있는 데이터 메시 역량을 제공하기 위해 가장 현대적인 기능 중 일부를 제공해 왔습니다:
구매를 고려하고 계십니까?
영업팀에 전화영업 팀과 채팅계정/구독, 프로모션 문제
채팅 시작기술 지원 또는 기타 지원 요청이 필요하십니까?
지원 옵션 보기