여러 소스의 데이터를 통합하는 방법

사물인터넷(IoT) 기기, ERP 시스템의 앱 사용자 기반, CRM 소프트웨어의 고객 서비스 요청 등 디지털 비즈니스 세계에서는 무엇이든 데이터 소스가 될 수 있습니다. 수많은 데이터가 끊임없이 유입되는 상황에서 기업이 정말 유용한 정보를 선별하기 위해서는 어떻게 해야 할까요? 분석 플랫폼과 같은 도구로 인사이트를 도출할 수는 있지만, 이는 데이터 세트가 플랫폼에 통합되어 직접 연결할 수 있는 경우에만 가능한 방식입니다. 그렇지 않은 경우 사용자가 스프레드시트를 직접 들여다봐야 하므로 시간과 노력이 낭비되고, 오래되거나, 손상되거나, 중복된 데이터로 인해 정확한 인사이트를 도출하지 못할 수 있는 위험을 감수해야 합니다.

기술적 진보로 인해 데이터를 결합하고, 저장하고, 비즈니스 사용자가 액세스하는 과정이 더욱 간단해졌습니다. 그 첫 번째 단계는 여러 소스의 데이터를 통합하는 것입니다. 이는 데이터 기반 기업을 구축하기 위한 핵심 요소이고, 셀프 서비스 분석 및 비즈니스 인텔리전스와 관련된 다양한 가능성을 제시합니다. 사용자에게 직접 쿼리를 작성할 수 있는 권한을 부여하면 놀라운 인사이트를 얻을 수 있습니다.

그러나 그와 같은 단계에 도달하기 위해서는 데이터 통합 전략, 여러 데이터 소스 간의 연결을 효과적으로 지원할 수 있는 인프라, 데이터 레이크 또는 데이터 웨어하우스 등이 필요합니다.

데이터 통합이란 무엇인가요?

데이터 통합(data integration), 데이터 블렌딩(data blending), 데이터 조인(data joining)의 첫 번째 단계는 모두 동일합니다. 바로 여러 데이터 소스를 결합하는 것입니다. 3가지 기술은 정의 및 명명법의 표준화 수준, 프로세스 변환이 발생하는 위치가 서로 다릅니다. 개중 어떤 기술을 사용할지는 추출된 데이터 집합이 내부 표준에 가까운지, 많은 변환이 필요한지 등의 다양한 요소를 고려해 결정합니다. 소스에서 정기적으로 데이터 중복이 발생하는지, 데이터 정제가 필요한 다른 문제가 발생하는지 등도 따져 보아야 합니다.

기업은 데이터 소스의 품질을 이해함으로써 데이터 관련 목표 달성에 더욱 가까워질 수 있습니다.

데이터 통합, 데이터 조인, 데이터 블렌딩 비교하기

데이터 통합, 데이터 조인, 데이터 블렌딩은 오늘날 IT 분야에서 자주 사용되는 용어입니다. 그 차이점이 크지 않은 탓에 종종 혼용되기도 합니다. 공통적인 요소는 다음과 같습니다. 데이터 변환은 데이터를 저장소에 로드하기 전에 수행하든 후에 수행하든, 프로세스에서 가장 번거롭고 노력 집약적인 단계이므로 가능한 한 자동화해야 한다는 것입니다.

각 용어의 기본적인 정의 및 차이점은 다음과 같습니다.

• 데이터 통합(data integration): 데이터를 정제하기 위한 기존의 프로세스를 사용해 여러 데이터 소스를 체계적이고 포괄적으로(많은 경우 표준화된 형식으로) 통합하는 작업입니다. 정제 완료된 데이터는 데이터 레이크 또는 데이터 웨어하우스 등의 저장소로 로드됩니다. 변환 및 통합 작업은 데이터 큐레이터, 데이터 과학자 또는 다른 IT 담당자가 처리하는 경우가 많습니다.
• 데이터 블렌딩(data blending): 분석을 위해 여러 데이터 세트를 하나의 데이터 세트로 결합하는 프로세스입니다. 그러나 데이터 통합과는 달리, 블렌딩된 데이터는 여러 소스로부터 수집한 네이티브 데이터, 즉 변환 또는 정제되지 않은 데이터를 결합한 결과물인 경우가 많습니다. 예를 들어, 인사팀은 이번 분기의 내부 채용 메트릭과 정부가 제공하는 채용 동향에 대한 오픈 소스 데이터세트를 결합한 블렌딩 데이터를 사용할 수 있습니다. 데이터 통합과 달리, 데이터 블렌딩이 완료되면 사용자가 직접 데이터를 정제하고 표준화해야 합니다.
• 데이터 조인(data joining): 데이터 조인 역시 데이터 블렌딩과 같이 여러 데이터 집합을 결합하는 작업입니다. 데이터 블렌딩과의 가장 큰 차이점은 데이터 조인에 사용되는 데이터세트들은 동일한 소스로부터 수집한 것이거나, 적어도 일부 동일한 열 및 정의를 공유해야 한다는 것입니다. 앞서 이야기한 인사팀의 예시를 확장해 설명해 보자면, 데이터 조인은 인사 전문가가 정부에서 제공하는 이번 분기의 국가 고용 메트릭을 가져온 뒤, 비교를 위해 4년 전의 분기별 데이터를 함께 다운로드하는 경우 수행하는 작업입니다. 해당 데이터세트들은 동일한 시스템에서 가져온 것이고, 동일한 형식을 사용하지만 특정한 데이터 범위에 기반한 데이터 조인을 거쳐야 합니다. 조인이 완료된 데이터는 인사팀의 내부 데이터세트와 통합된 뒤 정제 및 표준화 작업을 마저 거쳐야 합니다.

주요 차이점

하단의 표는 데이터 통합, 블렌딩, 조인 간의 차이점을 정리한 것입니다.

핵심 요점

• 달성하고자 하는 목표를 기준으로 데이터 소스를 조사합니다. 빅 데이터 분야에서 데이터 소스의 품질을 항상 제어할 수는 없지만, 데이터 통합을 더 용이하게 만들어주는 단계들이 있습니다.
• 최대한 많은 프로세스를 자동화합니다. 소스로부터 데이터를 자주 가져오는 기업의 경우, 관련 도구 및 스크립트는 데이터 통합 작업에 큰 도움을 줍니다.
• 기업에 가장 적합한 데이터 통합 방법을 결정하기 위해서는 소스, 하드웨어, 볼륨 등 관련된 모든 변수를 고려해야 합니다.
• 워크플로 및 표준을 지속적으로 개선합니다. 성공적인 데이터 통합을 위해서는 관련 프로세스를 계속해서 개선해야 합니다.

여러 소스의 데이터 통합 알아보기

도구는 진화하고, 데이터 소스는 확장되고, 기능은 향상됩니다. 그에 따라 데이터 통합 워크플로를 개선하고, 더욱 강력하고 효율적인 프로세스를 도입할 수 있는 기회도 계속해서 만들어집니다.

기업마다 요구 사항은 서로 다르지만, 데이터 통합은 표준 프로세스를 따르는 경우가 일반적입니다.

1. 최종 사용자 요청 또는 기업의 의사 결정에 따라 데이터 통합의 필요성을 파악합니다. 많은 경우 일자 범위 및 다른 제한적 매개변수를 사용합니다.
2. 통합 대상인 데이터 소스, 해당 소스로부터 가져와야 하는 구체적인 데이터를 파악합니다.
3. 소스로부터 고유 형식의 데이터를 추출해 단일 데이터세트로 결합합니다.

이 단계에서, 결합된 데이터세트는 요청자가 직접 수동으로 정제하고 분석하기도 하고, 데이터 과학자 또는 데이터 큐레이터가 데이터를 정규화한 뒤 기업에 제공하기도 합니다. 어떤 방법으로 완성되었든, 대부분의 데이터세트는 일반적으로 열 간의 명명법 통일, 중복 데이터 제거, 부정확하거나 잘못된 데이터 수정, 불완전한 레코드 수정 등의 작업을 위한 추가 프로세스를 거칩니다.

최종 사용자는 모든 작업이 완료된 데이터를 데이터 분석 애플리케이션, 비즈니스 인텔리전스 시스템, 작게는 Excel에 로드한 뒤 인사이트 확보 및 시각화를 위한 분석 및 조작을 수행할 수 있습니다.

IT 부서의 목표는 위와 같은 프로세스의 효율성을 극대화하는 것입니다. 이를 위해서는 수작업을 최소화시켜주는 자동화된 데이터 변환 시스템 구축 계획을 수립해야 합니다. 그러나 해당 계획을 수립하는 기업은 데이터 소스의 출처, 해당 소스의 검증 여부, 우선 순위가 높은 필드, 확립된 데이터 규칙의 존재 여부, 워크플로 유형 등의 다양한 변수를 고려해야 합니다.

여러 데이터 소스를 사용한다면 데이터 정제 프로세스를 가능한 한 많이 자동화하는 것이 가장 중요할 수 있습니다. 자동화를 통해 사용자들이 원하는 데이터를 더욱 신속히 이용 가능한 셀프 서비스 환경을 구축할 수 있기 때문입니다.

여러 데이터 소스의 데이터를 통합하는 것이 중요한 이유

데이터 통합 프로세스를 구축하는 데 많은 노력이 필요한 것처럼 보이는 데는 그만한 이유가 있습니다. 데이터 소스 조사부터 데이터 정제 워크플로의 제작 및 개선에 이르는 원활한 데이터 통합 프로세스를 구축하기 위해서는 세심한 주의와 계획이 필요합니다. 그러나 그 가치는 금방 드러납니다.

기업에게는 언제나 시간이 곧 돈입니다. 그러나 전 세계의 공급업체 및 고객으로부터 실시간 정보가 쏟아져 들어오는 빅 데이터의 시대가 도래한 이래 이 단순한 공식의 중요성이 기하급수적으로 증가하고 있습니다. 상황은 빠르게 변화하고 비즈니스의 성과는 예측하기 어려울 때가 많습니다. 데이터가 서로 연결되어 있지 않은 기업의 현업 부서들은 새로운 정보를 분석하거나 혁신 기회를 모색하는 과정에서 여러 걸음 뒤처진 느낌을 받기 쉽습니다. 그런 느낌을 받는 이유는 그것이 사실이기 때문입니다. 현업 부서들이 데이터 추출 및 분석 보고서 작성을 다른 팀에 의존해야만 하는 상황에서는 작업 속도가 느려질 수밖에 없습니다.

결국 정보는 원활하게 흐를 때만 가치있는 것입니다.

여러 소스의 데이터를 통합하면 수작업이 야기하는 많은 장애물이 제거됩니다. 더욱 광범위한 데이터 소스로부터 더 많은 인사이트를 확보하고, 진정한 데이터 기반 의사 결정을 내릴 수 있습니다. 이는 직원의 역량 및 효율성 향상, 기업의 혁신 및 새로운 기회 포착을 촉진합니다. 결과적으로 기업은 여러 데이터 소스를 통합함으로써 새로운 아이디어와 솔루션을 찾고, 방향을 신속히 전환하고, 시장 경쟁에서 앞서 나갈 수 있습니다.

데이터 통합의 이점 및 도전 과제

성공적인 데이터 통합은 데이터 활용 가능성이 확대되고 있는 현재, 나아가 미래에도 기업의 경쟁력을 강화시켜 줍니다. 그러나 이를 달성하기 위해서는 기술적 구성 및 조직적 관점의 이해가 결합되어야 합니다. 기업은 그와 관련된 도전 과제들을 해결함으로써 운영, 영업, 재무, 제조를 비롯한 거의 모든 부서의 의사 결정 방식을 개선할 수 있습니다.

성공적인 데이터 통합의 이점 및 그를 가로막는 장애물은 다음과 같습니다.

장점

• 통합 데이터. 데이터를 단일 저장소로 통합하면 전체 데이터 수집 프로세스가 간소화되고 속도가 빨라집니다. 여러 그룹이 서로 다른 데이터 소스로 작업하는 대신, 하나의 통합된 뷰를 통해 전사적 데이터 관리를 최적화하고 데이터 조달 및 처리에 필요한 리소스를 줄일 수 있습니다.
• 협업 개선. 여러 그룹이 데이터를 각자 관리하는 기존의 데이터 저장 방식은 오래되거나 상이한 버전의 데이터세트를 활용해 작업하는 위험을 야기할 수 있습니다. 그룹마다 서로 다른 정의 또는 명명법을 사용하면 혼란을 야기하거나 잘못된 결론을 도출할 가능성이 있습니다. 데이터를 통합하면 모든 그룹이 동일한 정보로 작업할 수 있게 됩니다.
• 운영 간소화. 데이터 공유 요청 및 준비가 수작업으로만 이루어지면 작업 속도가 저하됩니다. 운영팀은 데이터 통합을 활용해 프로세스 간소화, 데이터 관리 중앙화, 수작업 단계 최소화 등의 이점을 누릴 수 있습니다.
• 시간 절약. 여러 데이터 소스를 통합하면 운영이 간소화될 뿐만 아니라 그룹 간의 수동 데이터 전송 단계가 사라집니다. 영업 및 마케팅과 같이 인접한 그룹 간의 데이터 요구 사항이 중복되거나, 워크플로의 다운스트림 참여자가 데이터세트를 요청해야 하는 경우 지연이 발생할 수 있습니다.
• 수작업 오류 감소. 프로세스에서 수작업을 제거하면 효율성이 높아질 뿐만 아니라 전반적인 위험도 줄어듭니다. 수작업 단계가 줄어들면 잘못된 데이터세트를 전송하거나, 복사/붙여넣기 시 레코드가 누락되는 등의 오류가 발생할 가능성도 함께 줄어듭니다.
• 향상된 예측 분석. 데이터 분석 플랫폼이 사용하는 데이터 소스는 많을수록 좋습니다. 데이터 소스를 통합하면 분석 범위를 넓히고 창의성 및 혁신을 강화할 수 있습니다. 이는 더 많은 사용자가 비즈니스 분석을 활용할 수 있다는 즉각적인 이점 및 조직 내 데이터 기반 문화를 구축한다는 장기적인 이점을 가져다 줍니다.

도전 과제

• 데이터 호환성. 서로 다른 소스에서 들어오는 데이터는 서로 다른 정의 및 명명법을 사용할 가능성이 매우 높습니다. 이를 정리하는 프로세스를 데이터 변환이라고 합니다. 체계적인 프로세스가 마련되어 있지 않은 경우, 원본 데이터 소스의 상태에 따라 데이터 변환 과정은 매우 복잡해질 수도 있습니다.
• 데이터 사일로. 영업, 마케팅, 재무, HR 등의 그룹들은 모두 서로 다른 내부적 요구 사항을 충족하기 위해 데이터를 추적합니다. 그룹 단위로 데이터가 사일로화되면 다른 그룹의 데이터를 참고하기 위해서는 수작업을 통한 데이터 액세스 요청을 해야만 하고, 데이터를 받더라도 명명법과 정의가 일치하지 않아 데이터 호환성에 악영향을 끼칠 수 있습니다.
• 데이터 품질. 고품질 데이터는 정확한 데이터 기반 인사이트를 활용하는 문화를 정착시키는 데 기여합니다. 이와 관련해 기업은 데이터의 품질 보장을 위한 표준 및 프로세스를 수립해야 합니다. 정확성, 완전성, 업데이트 주기(주기적 새로 고침을 사용하는 경우) 모두 논의 대상입니다. 부서간 의사 결정을 개선하기 위해서는 IT 인프라, 그룹 워크플로, 표준을 충족하기 위한 개별적인 참여가 함께 이루어져야 합니다.
• 레거시 시스템. 데이터는 레거시 도구를 비롯한 광범위한 시스템에 의해 생성됩니다. 여러 데이터 소스를 통합 저장소에 원활히 통합하기 위해서는 레거시 시스템 출력물의 상태를 평가한 뒤 데이터 호환성을 확보하는 방법을 찾아야 합니다. 레거시 시스템에는 기업의 독자적인 정보가 많이 포함되어 있는 경우가 많으므로 이 단계를 건너뛰어서는 안 됩니다.
• 최적화되지 않은 데이터. 데이터 최적화는 분석 작업을 가능한 한 효율적이고 저렴하게 만들기 위한 프로세스입니다. 소스에서 가져온 네이티브 데이터는 최적화되지 않은 데이터이므로 사용하기 전에 적절한 값 및 기록 형식으로 전달되어야 합니다. OLAP 도구로 이 프로세스를 자동화할 수도 있습니다.

통합 전 체크리스트

성공적인 데이터 통합을 위해서는 기술 지원, 비즈니스 목표, 기업 문화 등 다양한 영역에서의 기초 작업이 필요합니다. 데이터 통합 이니셔티브를 시작하기에 앞서 확인해야 할 가장 중요한 세 가지 항목은 다음과 같습니다.

1. 이해관계자들의 동의 얻기

성공적인 데이터 통합 전략은 그를 지원하는 기술, 소스 데이터 및 데이터 수집을 관리하는 팀, 통합된 데이터를 다운로드하고 효과적으로 사용하는 비즈니스 사용자, 관련 예산을 승인하는 경영진의 리더십 등을 필요로 합니다. 모든 이해관계자들의 협조를 반드시 구해야 합니다. 전사적인 협력이 담보되지 않은 데이터 통합 전략은 실패하거나 기약없이 지연될 수 있습니다.

2. 비즈니스 목표에 맞춰 프로젝트 조정하기

기업은 데이터 통합 프로젝트를 진행하는 '이유'를 확실히 해야만 합니다. 프로세스 속도 향상, 데이터 분석 강화, 데이터 기반 인사이트 확보, 데이터 정확도 개선, 또는 이상의 모든 목표를 달성해야 하나요? 특정 부서에 국한된 프로젝트인가요, 아니면 더 광범위한 이니셔티브인가요?

기업은 구체적인 목표와 매개변수를 파악해 데이터 관련 목표를 달성하기 위한 보다 집중적이고 효과적인 접근 방식을 개발할 수 있습니다.

3. 기존 데이터 프로세스 분석하기

데이터 통합 프로젝트를 시작하기에 앞서 기존 시스템 및 작업 대상인 데이터를 이해하는 것이 중요합니다. 데이터를 간단히 내보낼 수 있고, 데이터의 형식과 표준에 대한 부서 간 합의와 조율이 이미 끝나 있는 것이 가장 이상적인 시나리오입니다. 반면 데이터 관련 목표, 프로세스, 기본 데이터 형식 등이 부서마다 크게 다르다면 어떻게 해야 할까요? 이럴 때야말로 경영진의 관심과 개입이 큰 도움이 됩니다.

여러 소스의 데이터를 통합하는 5가지 단계

여러 소스의 데이터를 통합하는 작업은 많은 단계를 거쳐 진행됩니다. 그러나 이 모든 과정에서 가장 중요한 것은 데이터 품질과 무결성을 최우선으로 고려하고 관련 데이터 보안 및 개인정보 보호 규정을 준수하는 것입니다. 데이터 통합을 완료한 뒤에는 데이터 품질과 무결성을 지속적으로 보장하기 위한 모니터링 및 유지보수를 정기적으로 실시해야 합니다.

1. 통합이 필요한 데이터 소스 파악

데이터 소스는 다양한 형식으로 제공되고 여러 위치에 존재합니다. 각 기업은 다음과 같이 다양한 데이터 소스를 고유한 방식으로 조합해 사용합니다.

• 관계형 데이터베이스: 데이터 통합 프로세스는 표준 표 형식의 행/열 설정을 사용하는 관계형 데이터베이스에 직접 연결할 수 있습니다.
• 플랫 파일: 대부분의 데이터베이스는 다른 테이블을 참고할 필요 없는 독립형 컨텍스트를 제공하는 2차원 테이블로 포맷된 플랫 파일 형식으로 데이터세트를 내보냅니다. 많이 사용되는 내보내기 형식으로는 CSV, 구분된 파일 등이 있으며, 플랫 파일은 일반적으로 필요한 대로 간단히 변환할 수 있습니다.
• XML 및 JSON: XML 및 JSON은 최신 데이터 전송을 위해, 특히 웹 및 웹 기반 애플리케이션에 많이 사용되는 일반적인 표준입니다. 기술적인 측면에서, JSON은 데이터 형식이고 XML은 언어입니다. 이러한 차이점으로 인해 XML에는 데이터 구조화 방식, JSON에는 더 빠른 구문 분석과 같은 각기 독자적인 고려 사항이 수반됩니다. 데이터 통합 차원에서 알아 두어야 할 가장 중요한 사실은 웹사이트나 웹 기반 애플리케이션에서 데이터를 가져오는 경우 양쪽을 모두 접하게 될 가능성이 높다는 것입니다.
• API: 애플리케이션 프로그래밍 인터페이스(API)는 상이한 시스템을 서로 연결하고 여러 소스로부터 데이터를 검색할 수 있는 도구입니다. API는 실시간 데이터 통합을 지원하고, 커스터마이징을 통해 특수한 데이터 통합 관련 요구 사항도 충족할 수 있습니다.
• 클라우드 기반 데이터 소스: 일부 데이터세트는 공개적으로 사용 가능하고 클라우드를 통해 업데이트됩니다. 이러한 유형의 메트릭은 종종 정부, 교육, 연구 관련 데이터 소스로부터 데이터를 다운스트림에서 더 자세히 조사하고자 하는 연구자들을 지원하기 위해 제공됩니다.
• 사물인터넷(IoT) 기: IoT 기기는 끊임없이 정보를 수집하고, 매일 수천 개의 데이터 포인트를 수집하는 경우도 있습니다. IoT 기기의 예시로는 환자들의 데이터를 지속적으로 전송하는 의료 기기, 가정의 스마트 가전제품, 공장과 스마트 시티를 제어하는 산업용 IoT(IioT) 기기 등이 있습니다. IoT 기기로부터 수집된 데이터는 다른 시스템에서 사용할 수 있도록 클라우드에 업로드되는 경우가 많습니다.

형식 및 다른 변수들과 관계없이 가장 중요한 작업은 비즈니스 목표에 기여하는 데이터 소스를 파악하고 선택한 뒤, 해당 소스들을 통합하는 가장 좋은 방법은 무엇인지 검토하는 것입니다.

2. 통합을 위한 데이터 준비

데이터 소스를 파악했다면 다음 단계는 데이터세트의 형식과 정의를 살펴볼 차례입니다. 크게 두 가지 준비 단계가 있습니다.

• 데이터 정제: 데이터 세트에는 불완전하거나 중복된 레코드, 손상된 섹션 또는 다른 문제가 포함되어 있을 수 있습니다. 데이터 정제는 데이터 세트를 스크러빙해 작업에 사용할 수 있는 완전한 레코드 집합을 확보하기 위한 프로세스입니다.
• 표준화: 데이터 정제를 통해 문제가 있는 레코드를 제거할 수는 있지만, 표준화 문제는 해결할 수 없습니다. 데이터를 통합하는 과정에서는 날짜 서식, 분류법, 메타데이터 필드 등의 표준 규칙을 명확히 정의하고 적용할 때 통합 프로세스가 가장 원활하게 진행되고 최상의 결과를 얻을 수 있습니다. 통합을 진행하기에 앞서 가능한 한 표준을 준수하는 레코드를 준비해야 합니다. 이를 통해 다운스트림 작업을 최소화하고 적시성과 정확성을 높일 수 있습니다.
• 변환 기법: 데이터 변환을 위한 다양한 기법과 사례를 사용할 수 있습니다. 데이터 세트 내의 노이즈를 알고리즘적으로 줄이는 데이터 평활화, 실행 가능한 범위 내에서 데이터를 확장하는 데이터 정규화, 필드 간의 계층 구조를 설정하는 데이터 일반화, 실행 가능한 데이터 형식을 만들기 위한 패턴을 식별하는 데이터 조작 등이 그 좋은 예입니다.

가장 효과적인 통합 방법은 개별 데이터 세트의 상태 및 기업의 목표에 따라 매번 달라집니다. 그러나 공통적인 사실 한 가지는 프로세스를 자동화했을 때 데이터 정제 및 표준화를 가장 효과적으로 실행할 수 있다는 것입니다. 데이터 준비를 지원하는 도구들을 사용하면 전체 프로세스를 자동으로 진행할 수 있습니다. 이제 IT 직원은 들어오는 모든 데이터 세트를 수동으로 직접 처리하는 대신 플래그가 지정된 이벤트에만 집중할 수 있습니다. 로코드 및 노코드 도구를 사용해 데이터 변환을 간소화할 수 있고, 커스텀 스크립팅 및 코딩을 사용해 프로세스에 더 많은 유연성을 제공할 수 있습니다.

3. 데이터 통합 방법 선택

데이터 통합 방식은 기업이 데이터 처리를 위한 전반적인 IT 구조를 설계하는 과정에서 큰 역할을 수행합니다. 지속적인 통합을 전제로 한 시스템을 구축하든, 주기적인 새로 고침을 수행하든 선택한 방식에 부합하는 리소스를 확보하고 비즈니스 목표를 수립하는 것이 중요합니다. 가장 일반적인 데이터 통합 방법은 다음과 같습니다.

• 수동: 수동 데이터 통합이라고 해서 작업자가 모든 데이터 필드를 물리적으로 클릭하지는 않습니다. 그러나 프로세스의 각 단계를 처리하기 위한 코드를 누군가가 직접 작성해야만 합니다. 이는 번거롭고 시간이 많이 걸리는 작업이지만, 데이터 소스의 품질이나 기업의 리소스 현실을 고려했을 때 수동 통합이 가장 적합한 옵션인 경우도 있습니다.
• 추출/변환/로드(ETL): ETL 프로세스는 데이터를 저장소로 로드하기 전에 변환합니다. ETL은 체계적인 변환 표준이 마련되어 있고, 데이터 레이크나 데이터 웨어하우스에 데이터 세트를 저장하기 전에 처리할 수 있는 경우 가장 효과적인 방법입니다.
• 추출/로드/변환(ELT): ELT 프로세스는 데이터를 저장소로 로드한 후에 변환합니다. 따라서 ELT를 사용하는 데이터 세트는 표준화되지 않은 네이티브 형식인 경우가 많습니다 ELT는 사용자가 새로운 데이터 소스를 찾을 때와 같이 시스템적인 데이터 변환이 불가능한 경우 사용됩니다.
• 변경 데이터 캡처(CDC): CDC는 데이터 세트를 항상 최신 상태로 유지하면서도 리소스 사용을 줄이기 위한 프로세스입니다. CDC를 활용하면 전체 데이터 집합을 주기적으로 새로 고치는 대신 레코드에 대한 변경 사항을 수집하고 거의 실시간으로 업데이트할 수 있습니다. 업데이트가 개별적으로, 또한 소규모로 빠르게 진행되므로 CDC는 데이터베이스 업타임에 영향을 미치거나 리소스 사용량 급증을 초래하지 않습니다.
• 데이터 복제: 데이터 복제는 원본 데이터를 소스에 보관하고 그룹에서 사용할 수 있는 사본(복제본)을 만드는 방법입니다. select 열, 또는 데이터 조작에 사용되는 다른 하위 집합과 같이 전체 레코드의 일부만을 복제하기도 합니다. 복제는 장기적으로 너무 많은 버전을 유지해야 하는 상황에서는 리소스 낭비로 이어질 수도 있습니다.
• 데이터 가상화: 데이터 가상화를 사용하면 모든 데이터 세트가 원본 데이터베이스에 유지됩니다. 데이터 변환 및 조작은 레코드를 새 파일로 실제로 가져오는 대신 각 레코드를 지칭하는 페더레이션을 사용해 가상 계층에서 이루어집니다.
• 스트림 데이터 통합(SDI): SDI는 ELT 처리의 실시간 버전입니다. 소스에서 전송된 데이터 스트림이 저장소로 전송되기 전 실시간으로 변환됩니다. 본 방식의 주된 이점은 2가지입니다. 첫째, 레코드를 지속적으로 업데이트함으로써 데이터 세트가 항상 최신 상태로 유지됩니다. 둘째, 대규모 데이터 세트를 전부 새로 고칠 필요가 없으므로 리소스 사용량을 안정화할 수 있습니다. 반면 다른 한편으로 SDI는 해당 프로세스를 기능적으로 지원하고 들어오는 데이터를 검증할 수 있는 인프라를 확보해야 한다는 도전 과제를 야기합니다.

4. 통합 계획 구현

아무리 잘 짜여진 데이터 통합 계획이라도 실제로 구현하는 과정은 복잡하고 까다로울 수 있습니다. 그러나 일단 체계적인 접근 방식을 통해 성공적으로 구현이 완료된 통합 계획은 장기적인 투자 효과를 제공하고, 기업의 미래 확장의 초석이 됩니다.

통합 프로세스는 자사의 데이터 요소 및 데이터 소스를 파악하고, 이들 간의 관계를 매핑하는 것부터 시작됩니다. 문제없이 오버래핑되는 부분은 어디인가요? 열 및 정의의 차이점은 무엇인가요? 차이점을 일치시키기 위해서는 어떤 작업을 수행해야 하나요?

여기서부터 데이터 변환을 위한 모델을 구축하게 됩니다. 필요한 리소스 및 사용 가능한 리소스에 따라 커스텀 스크립트, 사전 구축된 업계 도구, 또는 두 가지를 함께 조합해 사용할 수 있습니다. 목표는 데이터를 공통된 형식으로 변환 및 병합하고 데이터 소스 간의 충돌을 해결하는 것입니다. 또한 가능한 한 체계적인 방식으로 반복 가능한 프로세스를 구축하고 데이터 소비자가 직접 수행해야 할 작업을 최소화하는 것이 좋습니다.

이 과정에서 데이터 큐레이터 및 데이터 엔지니어는 다양한 통합 도구 및 기술을 사용할 수 있습니다. 다음과 같은 3가지 주요 단계를 거쳐 작동하는 ETL 도구들도 관련 도구에 포함됩니다.

• 스마트폰 앱, 데이터베이스, 웹 애플리케이션, 소프트웨어 애플리케이션 등의 데이터 소스에서 데이터를 추출합니다.
• 정의, 명명법 및 분류법에 대한 내부 표준을 충족하도록 데이터 소스에서 데이터를 변환합니다.
• 비즈니스 인텔리전스, 셀프 서비스 분석 등의 도구를 통해 액세스할 수 있는 데이터 웨어하우스, 데이터 레이크, 또는 기타 저장소로 변환된 데이터를 로드합니다.

다양한 데이터 형식 및 플랫폼에 대응하는 다양한 ETL 도구를 사용할 수 있습니다. 기존 ETL 소프트웨어 애플리케이션에 더해 서로 다른 소스와 리포지토리를 보다 간단히 연결하고 유연한 액세스를 지원하는 클라우드 기반 ETL 도구 또한 사용 가능합니다. 오픈 소스 ETL 도구는 관련 IT 전문 지식을 갖춘 사용자에게 저렴한 초기 비용과 강력한 기능을 제공합니다. 반면 상용 제품과 동일한 수준의 기능 개발, 보안성, 품질 보증 등을 제공하지 않을 수 있고, 추후 추가적인 리소스 투자가 필요해질 수도 있습니다. 커스텀 ETL 도구도 사용 가능하지만 초기 투자 비용이 많이 드는 경우가 많습니다.

우리 회사에 가장 적합한 ETL 도구가 무엇인지는 어떻게 알 수 있을까요? 그 답을 얻기 위해 고려해야 할 사항으로는 지원되는 커넥터 유형, 사용 가능한 커스터마이징 수준, 성능 및 리소스 요구 사항, 전문가 및 지원 인프라 비용이 포함된 전체 비용 등이 있습니다. 특히 ETL 도구의 자동화 기능을 평가하는 것이 가장 중요한 요소일 수도 있습니다. 자동화는 궁극적으로 셀프 서비스 데이터 분석으로 이어지는 시스템적 데이터 변환의 중요한 부분이기 때문입니다.

5. 데이터 품질 확보

데이터 세트의 품질은 데이터의 완전성, 정확성, 적시성, 표준 준수 여부 등으로 측정됩니다. 통합 데이터와 관련해 데이터 품질의 중요성은 아무리 강조해도 지나치지 않습니다. 데이터 세트의 품질이 높을수록 통합 준비에 필요한 노력은 훨씬 줄어듭니다. 이는 리소스 측면에서도 중요하지만, 결과물에도 상당한 영향을 미칩니다. 예를 들어, 계산에 4자리 유효 숫자를 사용하는 기업의 경우 2자리 유효 숫자로만 구성된 외부 소스의 데이터로는 필요한 품질 수준을 충족할 수 없습니다. 해당 데이터를 사용해 계산하면 분석 결과에 결함이 내재된 인사이트가 포함될 수 있습니다.

변환/정제 작업을 최소화하고 출력물의 정확성을 보장해 주는 고품질 데이터는 통합 데이터의 필수 요소입니다.

데이터 품질을 측정하고 유지하는 방법: 높은 데이터 품질을 보장하기 위한 다양한 방법은 다음과 같습니다.

• 데이터 프로파일링: 소스 데이터의 품질, 완전성, 정확성 등의 다양한 요소를 조사하고 요약을 작성하는 고급 분석 기법입니다.
• 데이터 표준화: 기업의 다른 데이터 세트와 완벽하게 호환되는 데이터 형식, 정의, 명명법 등 다양한 요소별 표준을 작성하는 프로세스입니다. 표준에 부합하지 않는 데이터를 사용하기 위해서는 표준에 맞춰 데이터를 변환해야 합니다.
• 데이터 정제: 데이터 세트를 처리하기 전 중복되거나, 비어있거나, 부정확하거나, 손상된 항목을 수정 및 제거하는 작업입니다.
• 데이터 매칭: 서로 다른 데이터 세트의 레코드를 일치시켜 동일한 주제가 반영되었는지 확인하고, 중복 레코드는 플래그를 지정해 제거합니다.
• 데이터 검증: 일련의 검사 및 매개변수를 활용해 데이터가 주어진 규칙 내에서 작동하는지 확인함으로써 그 정확성 및 품질을 검증하는 작업입니다.
• 데이터 거버넌스: 데이터를 모니터링해 저장, 보안, 수집 등 다양한 데이터 관련 작업이 기업이 설정한 표준과 원칙, 그 외 적용되는 모든 규정을 충족하는지 확인하는 프로세스입니다.
• 지속적인 모니터링: 다양한 도구를 사용해 내부 표준 및 거버넌스 기준에 따라 데이터 세트의 상태를 지속적으로 점검하는 작업입니다.

Oracle Analytics로 다중 소스 데이터 간단히 통합하기

데이터를 저장소에 통합한 기업은 그 다음 단계인 셀프 서비스 분석을 수행할 수 있습니다. Oracle Analytics는 비즈니스 사용자부터 데이터 과학자에 이르는 모든 사용자들을 위해 구축된 직관적 사용자 인터페이스를 통한 완전한 셀프 서비스 분석을 제공합니다. 클라우드, 온프레미스 또는 하이브리드 배포로 제공되는 Oracle Analytics에 탑재된 머신러닝 및 인공지능은 숨겨진 인사이트 확보 및 즉각적 시각화 생성을 지원합니다. Oracle Cloud Free Tier 프로그램을 통해 Oracle Analytics Cloud를 지금 바로 무료로 체험해 보세요.

고객 인구 통계, 판매 수치, 시장 동향 등 여러 소스의 데이터를 통합해 얻을 수 있는 가장 큰 이점은 직원들이 특정 비즈니스 문제 또는 기회를 보다 포괄적으로 이해할 수 있게 된다는 것입니다. 데이터 통합을 성공적으로 수행한 기업은 각 데이터 소스를 개별적으로 분석할 때는 드러나지 않았던 귀중한 인사이트 및 패턴을 발견할 수 있습니다. 이는 더 많은 정보에 기반한 의사 결정, 더 효과적인 전략, 더 나은 데이터 품질 관리, 운영 효율성 향상, 데이터 중심 비즈니스 환경에서의 경쟁 우위 확보 등의 성과로 이어집니다.

다중 소스 데이터 통합 FAQ

데이터 통합을 위한 데이터 소스를 선택하기 위해서는 어떤 요소들을 고려해야 하나요?

데이터 통합을 계획할 때 고려해야 하는 가장 중요한 요소 2가지는 현재 보유 중이거나 향후 사용 가능한 리소스를 파악하는 것, 그리고 자사의 비즈니스 목표를 파악하는 것입니다. 해당 정보를 바탕으로 관련 전략에 기여할 데이터 소스를 찾고, 찾아낸 데이터 소스에 액세스하는 것이 현실적인 방안인지 여부를 파악할 수 있습니다.

여러 소스의 데이터 통합과 관련된 모범 사례로는 어떤 것들이 있나요?

현실에서는 각 기업의 요구 사항에 기반한 다양한 데이터 통합 전략을 수립하게 됩니다. 해당 과정에서 포괄적으로 적용 가능한 몇 가지 모범 사례는 다음과 같습니다.

• 데이터 품질 측면에서 데이터 소스의 상태 파악하기
• 비즈니스 목표에 기반한 계획 수립하기
• IT 관련 리소스 및 예산 파악하기
• 데이터 통합을 통해 가장 큰 이점을 얻을 수 있는 부서들이 어디인지 파악하기
• 장기적 확장 및 확장성 고려하기

다중 소스 데이터 통합의 사용 사례로는 어떤 것들이 있나요?

다중 소스 데이터 통합의 실제 사용 사례 2가지는 다음과 같습니다. 첫째, 사용량 데이터를 클라우드로 지속적으로 전송하는 스마트폰 애플리케이션입니다. 해당 데이터는 이메일 마케팅 캠페인, 판매 데이터라는 2개의 관련 데이터 세트와 상호 참조됩니다. 통합 뷰를 활용하면 사용량, 마케팅, 구매 데이터의 연관 관계에 대한 심층적인 인사이트를 확보할 수 있습니다. 둘째, 각 환자의 계정으로 환자 기록을 전송하는 의료용 IoT 기기입니다. 환자 기록에 대한 액세스 권한이 있는 의사는 업데이트된 환자 데이터를 바로 살펴보며 개선 사항이나 조정이 필요한 사항을 모니터링할 수 있습니다.

여러 데이터 소스를 통합해야 하는 이유는 무엇인가요?

데이터 소스의 양과 다양성이 끊임없이 증가함에 따라 기업은 '권장 사항'이었던 데이터 세트 통합을 '필수 요소'로 인식하게 되었습니다. 데이터 통합의 이점을 누리지 못하는 업무는 거의 없습니다. 그러나 기업에 가장 적합한 통합 전략을 선택하는 것은 중요합니다.

여러 소스의 데이터를 결합하는 작업을 지칭하는 표현은 무엇인가요?

체계적인 데이터 준비 단계를 거쳐 데이터 소스들을 결합하는 프로세스를 지칭하는 표현은 데이터 통합(data integration)입니다. 반면 체계적인 데이터 변환/정제 없이 데이터 소스들을 결합하는 프로세스는 사후에 해당 작업들을 수행해야 합니다. 해당하는 프로세스를 지칭하는 표현은 데이터 조인(data joining) 또는 데이터 블렌딩(data blending)입니다.