什么是数据湖仓一体?

数据湖仓一体、数据湖与数据仓库的区别

当我们提到数据湖仓一体时，我们指的是现有数据存储库平台的组合使用：

• 数据湖（湖仓一体中的“湖”）：数据湖是一个低成本存储库，主要用户为数据科学家，以及业务分析师、产品经理和其他类型的最终用户。这是一个大数据概念。数据湖汇聚了来自不同组织的非结构化原始数据，通常是在加载到数据仓库和构建数据集之前进行暂存。
  
  
  了解数据湖
  
  
• 数据仓库（湖仓一体中的“仓”）：数据仓库是一种不同于数据湖的存储库，数据仓库存储经过处理和结构化的数据，为特定目的维护，并以特定的格式存储。这些数据通常由业务用户查询，业务用户在分析工具中使用准备好的数据进行报告和预测。数据仓库通常包含数据管理功能，例如数据清理和提取/加载/转换 (ETL)。
  
  
  了解数据仓库

那么，数据湖仓一体如何合二为一？一般上，数据湖仓一体能够打通数据湖和数据仓库之间的围墙。这意味着数据可以轻松地在数据湖的低成本和灵活存储之间迁移到数据仓库，反之亦然。这样，您可以轻松访问数据仓库中基于机器学习和人工智能的管理工具，进行数据清理以实施模式和治理。这形成了一个数据存储库，同时拥有数据湖经济实惠的非结构化数据集以及数据仓库的准备就绪。数据湖仓一体提供从精选数据源收集数据的空间，同时使用为业务准备数据的工具和功能，进而加速流程。在某种程度上来说，数据湖仓一体也是数据仓库，其概念起源于 20 世纪 80 年代初，在数据驱动的现代世界中被赋予新定义。

数据湖仓一体的特性

认识了数据湖仓一体的一般概念后，让我们再深入了解一下其中的具体内容。数据湖仓一体与以前数据湖和数据仓库概念有许多相似之处，但它已将这两个概念整合成全新的概念，更适合今天的数字世界。

数据管理特性

数据仓库主要提供数据管理功能，例如数据清理、ETL 和 Schema 实施。这些特性作为快速准备数据的一种方式存在于数据湖仓一体中，确保来自精选数据源的数据自然协同工作，并为进一步的分析和商务智能 (BI) 工具做好准备。

开放存储格式

使用开放和标准化的存储格式，意味着确保来自精选数据源的数据从一开始就能够协同工作，为下一步的分析或报告做好准备。

灵活的存储

您可以根据需要将计算与存储资源隔开，从而轻松扩展存储。

支持流处理

许多数据源通过实时流处理直接处理来自设备的数据。与标准数据仓库相比，数据湖仓一体能够更好地支持这种类型的实时摄取。随着世界与物联网设备的结合越来越紧密，实时支持也变得越来越重要。

各种工作负载

由于数据湖仓一体集成了数据仓库和数据湖的功能，因此非常适合处理多种不同的工作负载。从业务报告到数据科学团队再到分析工具，数据湖仓一体的内在品质可以支持企业内不同的工作负载。

数据湖仓一体的优势：现代数据平台

通过构建数据湖仓一体，企业可以使用统一的数据平台，简化整体数据管理流程。数据湖仓一体可以打通多个资料档案库，取代多个单独的解决方案。这种集成有助于针对精选数据源创建更高效的端到端流程，这带来了以下优势：

• 减少管理任务：通过使用数据湖仓一体，用户可以访问和整合任何与其相连的数据源，而无需从原始数据中提取数据，并在数据仓库内执行准备工作。
• 更好的数据治理：数据湖仓一体通过整合资源和数据源来简化和改善治理，它采用标准化的开放 schema 构建，可以更好地控制安全性、指标、基于角色的访问和其他关键管理元素。
• 简化标准：数据仓库起源于 20 世纪 80 年代，当时的连接性十分有限，这意味着本地化模式标准通常是在企业内，甚至是在部门内创建的。今天，许多类型的数据都支持开放的 schema 标准，数据湖仓一体利用这一优势，以重叠的标准化模式摄取多个数据源，从而简化流程。
• 提高成本效益：数据湖仓一体采用支持计算和存储分离的基础设施，从而轻松增加存储，而无需增强计算能力。因此，您可以轻松使用低成本数据存储，实现经济高效的扩展。

某些企业会选择构建数据湖仓一体，某些企业则会选择购买数据湖仓一体云技术服务。

了解 OCI 为何是构建数据湖仓一体的理想平台

随着时间的推移，越来越多的数据源正在全球范围内发送大量数据。对于任何企业来说，这种结构化和非结构化数据的组合仍然是一个挑战。数据湖仓一体可将不同的输出数据连接和关联到一个可管理的系统中并加以分析。