데이터 관리란 효과적이고, 안전하고, 비용 효율적인 데이터 수집, 보관 및 사용 관행을 의미합니다. 데이터 관리의 목표는 사람, 조직 및 연결된 사물이 주어진 정책 및 규정 범위 내에서 최적의 방식으로 데이터를 사용하여, 조직에게 최대의 이익을 주는 의사결정을 내리고 조치를 취할 수 있도록 돕는 것입니다. 점점 더 많은 조직이 가치 창출을 위해 무형 자산에 의존하는 경향을 보이면서, 강력한 데이터 관리 전략의 중요성이 그 어느 때보다 커지고 있습니다.
조직의 디지털 데이터를 관리하는 일에는 광범위한 작업, 정책, 절차 및 관행이 포함됩니다. 데이터 관리는 다음과 같은 방법적 요소를 포함한 광범위한 작업입니다:
공식적인 데이터 관리 전략은 사용자와 관리자의 활동, 데이터 관리 기술의 기능, 규제 요구 사항의 수요, 데이터에서 가치를 얻고자 하는 조직의 요구를 다룹니다.
오늘날의 디지털 경제에서 데이터는 일종의 자본이자 디지털 상품 및 서비스 생산에 활용되는 경제적 요소입니다. 자동차 제조업체에 필요한 금융 자본이 부족하면 새 자동차 모델을 제조할 수 없는 것처럼, 온보드 알고리즘에 제공할 데이터가 없으면 자율주행 자동차를 만들 수 없습니다. 데이터에 주어진 이 새로운 역할은 컴퓨팅의 미래뿐만 아니라 기업의 경쟁 전략에도 큰 의미를 가집니다.
데이터에 주어진 이 핵심적이며 미션 크리티컬한 역할을 감안할 때, 강력한 관리 관행 및 관리 시스템은 규모나 유형에 관계 없이 모든 조직에 필수적인 요소가 되었습니다.
오늘날 조직들은 다양하면서도 통합된 데이터 계층 전반에서의 효과적인 데이터 관리 방법을 제공하는 데이터 관리 솔루션을 필요로 합니다. 데이터 관리 시스템은 데이터 관리 플랫폼에 구축되며, 데이터베이스, 데이터 레이크, 데이터 웨어하우스, 빅데이터 관리 시스템, 데이터 분석 등을 포함할 수 있습니다.
이 모든 구성 요소는 '데이터 유틸리티'로서 함께 작동하며 다양한 앱과 앱에서 생성된 분석 및 데이터를 활용하는 알고리즘에 필요한 데이터 관리 기능을 조직에 제공합니다. 현재의 도구들은 데이터베이스 관리자(DBA)가 기존의 여러 수동 관리 작업들을 자동화하는 데 도움을 주지만, 대부분의 데이터베이스 배포의 규모와 복잡성 때문에 여전히 수동 개입이 필요한 경우가 많습니다. 수동 개입이 요구될 때마다, 그만큼 오류 가능성도 증가합니다. 수동 데이터 관리의 필요성을 줄이는 것은 새로운 데이터 관리 기술인 자율운영 데이터베이스의 핵심 목표입니다.
소프트웨어를 지속적으로 제공하기 위한 가장 중요한 단계는 CI(지속적인 통합)입니다. CI는 개발자가 코드 변경 사항(대개 소규모이며 점진적으로 증가함)을 자동화된 빌드 및 테스트를 실행하는 중앙 소스 저장소에 커밋하는 개발 방법입니다. 이 저장소는 개발자가 초기에 버그를 자동으로 포착하여 버그가 운영 서버에 반영되는 것을 방지할 수 있게 해줍니다. 보통 지속적 통합 파이프라인에는 코드 커밋, 기본 자동 린팅/정적 분석 수행, 종속성 확인, 소프트웨어 구축 및 빌드 아티팩트 생성 전 일부 기본 유닛 테스트 수행 등 일련의 단계가 포함됩니다. Github, Gitlab 등과 같은 소스 코드 관리 시스템에서는 Jenkins와 같은 CI 도구에서 각 코드 체크인 후 빌드 및 테스트 실행을 자동으로 시작할 수 있는 Webhook 통합을 제공합니다.
데이터 관리 플랫폼은 조직 전체에서 데이터를 대규모로 수집 및 분석하기 위한 기본 시스템입니다. 상용 데이터 플랫폼에는 일반적으로 데이터베이스 공급업체 또는 타사 공급업체에서 개발한 관리용 소프트웨어 도구가 포함됩니다. 이러한 데이터 관리 솔루션은 IT 팀과 DBA가 다음과 같은 전형적인 작업을 수행하는 데 도움을 줍니다.
갈수록 인기가 높아지고 있는 클라우드 데이터베이스 플랫폼은 기업들이 비용 효율적으로 신속하게 규모를 확장 및 축소할 수 있게 지원합니다. 일부 서비스형으로 제공되는 플랫폼 덕분에 조직은 더 많은 비용을 절약할 수 있습니다.
클라우드를 기반으로 하는 자율운영 데이터베이스는 인공지능(AI) 및 머신러닝을 사용하여 데이터베이스 백업 관리, 보안 및 성능 튜닝을 포함하여 DBA가 수행하는 많은 데이터 관리 작업을 자동화합니다.
자율구동 데이터베이스라고도 불리는 자율운영 데이터베이스는 데이터 관리에 다음과 같은 상당한 이점을 제공합니다:
갈수록 인기가 높아지고 있는 클라우드 데이터 플랫폼은 기업들이 비용효율적으로 신속하게 규모를 확장 및 축소할 수 있게 지원합니다. 일부 서비스형으로 제공되는 플랫폼 덕분에 조직은 더 많은 비용을 절약할 수 있습니다.
해석하는 방식에 따라, 빅 데이터는 말 그대로 그저 아주아주 많은 양의 데이터를 의미할 수 있습니다. 그러나 빅 데이터는 전통적인 데이터 대비 훨씬 다양성이 크고 대단히 빠른 속도로 수집됩니다. Facebook과 같은 소셜 미디어 소스로부터 매일, 아니 1분마다 들어오는 그 많은 데이터를 생각해 보세요. 이와 같은 데이터의 양, 다양성 및 속도는 데이터를 비즈니스에 매우 중요한 요소로 만들어주지만, 그만큼 관리하기 복잡한 요소로 만들기도 합니다.
비디오 카메라, 소셜 미디어, 오디오 녹음 및 사물인터넷(IoT) 장치 등 다양한 소스로부터 점점 더 많은 양의 데이터가 수집되면서 빅 데이터 관리 시스템이 등장하게 되었습니다. 빅 데이터 관리 시스템은 세 가지 일반적인 영역에 특화되어 있습니다.
기업은 빅 데이터를 사용해 제품 개발, 예측 유지 관리, 고객 경험, 보안, 운영 효율성 등을 개선 및 가속화하고 있습니다. 빅 데이터가 커지는 만큼 기회도 커집니다.
오늘날 데이터 관리와 관련하여 발생하는 대부분의 문제는 빨라진 비즈니스 속도와 급증하는 데이터 양에서 기인합니다. 조직이 활용할 수 있는 데이터의 다양성, 속도 및 양이 계속해서 확장되면서, 조직은 이를 따라 잡을 수 있는 보다 효과적인 관리 도구를 찾아나서고 있습니다. 조직이 직면한 가장 큰 과제는 다음과 같습니다.
데이터 인사이트 부족 |
센서, 스마트 기기, 소셜 미디어 및 비디오 카메라 등 점점 더 많은 수의 다양한 소스로부터 얻은 데이터가 수집 및 저장되고 있습니다. 그러나 어떤 데이터가, 어디에 있는지, 데이터를 어떻게 사용해야 할지 조직이 알지 못하는 경우 이중 어떤 데이터도 유용하다고 할 수 없습니다. 데이터 관리 솔루션은 의미 있는 인사이트를 시의적절하게 제공할 수 있는 확장성과 성능을 갖춰야 합니다. |
데이터 관리 성능 수준 유지의 어려움 |
조직은 항상 전보다 더 많은 데이터를 수집, 저장 및 사용합니다. 이러한 확장 계층 전반에서 피크 응답 시간을 유지하려면 조직이 데이터베이스가 응답 중인 질문 유형을 지속적으로 모니터링하고, 쿼리 변경에 따라 인덱스를 변경해야 합니다. 이때 성능에는 영향을 미치지 않아야 하죠. |
변화하는 데이터 요구사항 준수 당면 과제 |
규정을 준수하는 일은 복잡하고, 여러 관할 구역이 관여해야 하는 일인 데다가, 규정은 계속해서 변경되기까지 합니다. 조직은 데이터를 손쉽게 검토하고, 신규 또는 수정 요구 사항에 해당하는 모든 항목을 식별할 수 있어야 합니다. 특히, 점점 더 엄격해지는 글로벌 개인 정보 보호 규정을 준수하기 위해 개인 식별 정보(PII)를 반드시 탐지, 추적 및 모니터링해야 합니다. |
손쉬운 데이터 처리 및 변환의 필요성 |
데이터의 수집 및 식별만으로는 아무런 가치가 발생하지 않습니다. 조직의 데이터 처리 과정을 거쳐야만 비로소 데이터에 가치가 생기죠. 데이터를 분석에 필요한 요소로 변환하는 과정 자체에 지나치게 많은 시간과 노력이 필요하다면, 그 분석은 결코 이루어질 수 없습니다. 그 결과 해당 데이터의 잠재적 가치는 손실되죠. |
효과적인 데이터 저장의 필요성 |
새로운 데이터 관리의 세계에서 조직은 데이터를 여러 시스템에 저장합니다. 여기에는 웨어하우스 및 모든 형식의 모든 데이터를 단일 저장소에 저장하는 비정형 데이터 레이크가 포함되죠. 조직의 데이터 과학자에게는 원상태의 데이터를 다양한 분석에 필요한 모양, 형식 또는 모델로 빠르고 쉽게 변환할 수 있는 방법이 필요합니다. |
IT 민첩성 및 비용 최적화에 대한 지속적인 요구 |
클라우드 데이터 관리 시스템을 활용할 수 있게 된 조직들은 이제 온프레미스 환경, 클라우드 환경 또는 이 두 환경이 합쳐진 하이브리드 환경 중 어디에 데이터를 저장하고 어디에서 분석할지 선택할 수 있습니다. 최대의 IT 민첩성 및 낮은 비용을 유지하기 위해 IT 조직은 온프레미스 및 클라우드 환경 간의 동일성 수준을 평가해야 합니다. |
유럽 연합에서 제정하고 2018년 5월에 시행된 GDPR(일반 데이터 보호 규정)에는 개인 데이터의 관리 및 처리에 관한 7가지 핵심 원칙이 담겨 있습니다. 이 원칙에는 합법성, 공정성, 투명성, 목적 제한, 정확성, 저장 제한, 무결성 및 기밀성 등이 포함됩니다.
GDPR 및 캘리포니아 소비자 개인 정보 보호법(CCPA) 등 그 발자취를 따르는 기타 법률은 데이터 관리의 지형을 바꾸고 있습니다. 이러한 요구 사항들로 인해 개인에게 자신의 개인 정보 및 해당 정보의 사용처를 스스로 관리할 수 있는권한을 제공하는 표준화된 데이터 보호법이 마련되었습니다. 발효된 법안은 조직이 데이터 수집 시 정보에 입각한 동의를 얻지 못했거나, 데이터 사용 및 위치를 제대로 관리하지 못하거나, 데이터 삭제 또는 이식성 요구사항 준수에 실패한 경우 고객을 진짜 법적 소구권을 보유한 데이터 이해관계자로 전환시켜줍니다.
데이터 관리 관련 도전 과제를 해결하려면 포괄적이고 세심하게 계획된 모범 사례 세트가 필요합니다. 특정 모범 사례들의 경우 관련 데이터 유형 및 산업에 따라 달라질 수 있지만, 아래에 소개된 모범 사례는 오늘날 조직이 직면한 주요 데이터 관리 과제를 다룹니다.
데이터 식별을 위한 탐색 계층 생성 |
조직의 데이터 계층 위에 있는 탐색 계층은 분석가와 데이터 과학자가 조직의 데이터를 가용하게 만들어줄 데이터 세트를 검색 및 탐색할 수 있게 해줍니다. |
데이터에 효율적인 새로운 용도를 부여할 데이터 과학 환경 개발 |
데이터 과학 환경은 가능한 많은 데이터 변환 작업을 자동화하여 데이터 모델의 생성 및 평가 과정을 간소화해 줍니다. 데이터의 수동 변환 필요성을 없애주는 도구 세트는 새 모델의 가설 설정과 테스트를 신속하게 처리할 수 있습니다. |
자율운영 기술을 사용하여 확장 중인 데이터 계층의 성능 수준 유지하기 |
자율운영 데이터 기능은 AI 및 머신러닝을 사용하여 데이터베이스 쿼리를 지속적으로 모니터링하고 쿼리 변경에 따라 인덱스를 최적화합니다. 덕분에 데이터베이스는 빠른 응답 시간을 유지할 수 있고, DBA와 데이터 과학자는 시간이 많이 걸리는 수동 작업에서 벗어날 수 있습니다. |
검색 기능을 활용해 규정 준수 요구사항 마스터하기 |
새로운 도구는 데이터 검색 기능을 사용해 데이터를 검토하고, 다중 관할 구역의 규정 준수를 위해 감지, 추적 및 모니터링이 필요한 연결 체인을 식별합니다. 전 세계적으로 규정 준수 요구가 증가하면서, 이 기능은 위험 및 보안 담당자에게 점점 더 중요해질 것입니다. |
컨버지드 데이터베이스 사용하기 |
컨버지드 데이터베이스는 하나의 제품에 구축된 모든 모던 데이터 유형 및 최신 개발 모델을 네이티브 환경에서 지원하는 데이터베이스를 말합니다. 최고의 컨버지드 데이터베이스는 그래프, IoT, 블록체인, 머신러닝을 포함한 다양한 종류의 워크로드를 실행할 수 있습니다. |
데이터베이스 플랫폼이 비즈니스를 지원할 수 있는 성능, 확장성, 가용성을 갖췄는지 확인하기 |
데이터를 한데 모으는 목적은 해당 데이터의 분석을 통해 더 나은 의사결정을 더욱 시의적절하게 내리기 위함입니다. 확장 가능한 고성능 데이터베이스 플랫폼은 기업이 다양한 소스로부터 얻은 데이터를 고급 분석 및 머신러닝을 활용해 빠르게 분석하고, 이를 바탕으로 더 나은 비즈니스 의사결정을 내릴 수 있게 해줍니다. |
공통 쿼리 계층을 사용해 다양한 형태의 여러 데이터 저장소 관리하기 |
새로운 기술들은 데이터 관리 저장소를 연동하여 저장소 간의 차이를 없애줍니다. 다양한 종류의 데이터 저장소를 아우르는 공통 쿼리 계층을 통해 데이터 과학자, 분석가 및 애플리케이션은 데이터가 저장된 위치를 모르더라도 데이터에 액세스할 수 있습니다. 데이터를 수동 변환해 사용 가능한 형식으로 만들 필요는 없죠. |
데이터 과학은 데이터에서 가치를 추출하기 위해 과학적 방법, 프로세스, 알고리즘 및 시스템을 사용하는 학제간 영역입니다. 데이터 과학자는 통계, 컴퓨터 과학, 비즈니스 지식을 포함한 다양한 기술을 결합하여 웹, 스마트폰, 고객, 센서 및 기타 소스에서 수집된 데이터를 분석합니다.
데이터가 비즈니스 자본으로서 역할을 하게 되면서 조직은 디지털 스타트업 기업 및 혁신가들이 이미 알고 있던 사실을 깨닫게 되었습니다: 데이터가 트렌드를 파악하고, 의사결정을 내리고, 경쟁자들보다 한발 앞서 행동을 취할 수 있게 하는 가치있는 자산이라는 사실을 말이죠. 가치 사슬에서 데이터가 차지하게 된 새로운 위치는 조직이 이 새로운 자본으로부터 가치를 창출할 더 나은 방법을 적극적으로 모색하도록 만들고 있습니다.
최고의 데이터 관리를 통해 얻을 수 있는 이점이 무엇인지 확인해 보세요(예: 클라우드의 자율운영 전략, 확장 가능한 고성능 데이터베이스 클라우드 기능 등).