データレイクハウスとは

データレイクハウスとデータレイクとデータウェアハウスの比較

データレイクハウスとは、既存のデータ・リポジトリ・プラットフォームを組み合わせて利用することを意味します。

• データレイク（レイクハウスの「レイク」）：データレイクは、主にデータ・サイエンティストが使用する低コスト・ストレージですが、ビジネス・アナリストやプロダクト・マネージャーなどのエンド・ユーザーも使用します。これはビッグ・データの概念です。さまざまな組織のソースからの非構造化生データが、多くの場合、データウェアハウスにロードする前のステージングや、データセットの構築のために、レイクに入ります。
  
  
  データレイクの発見
  
  
• データウェアハウス（レイクハウスの「ハウス」）：データウェアハウスは、データレイクとは異なる種類のストレージ・リポジトリで、データウェアハウスは、特定の目的のために精選され、指定された形式で保存された加工および構造化されたデータを格納します。このデータは、準備されたデータを分析ツールでレポートや予測に使用するビジネス・ユーザーが問い合わせることが一般的です。データウェアハウスは通常、データ・クレンジングや抽出、ロード、トランスフォーム（ETL）などのデータ管理機能を備えています。
  
  
  データ・ウェアハウスの発見

では、データレイクハウスは、この2つの考え方をどのように融合させるのでしょうか。通常、データレイクハウスは、データレイクとデータウェアハウスの間にあるサイロの壁を取り払います。つまり、低コストで柔軟性の高いデータレイクのストレージからデータウェアハウスへ、あるいはその逆へとデータを容易に移動させることができ、スキーマやガバナンスを実装するためのデータウェアハウスの管理ツールへの容易なアクセスを実現し、機械学習や人工知能を活用したデータクレンジングを行うこともよくあります。その結果、データレイクの手頃な価格の非構造化コレクションとデータウェアハウスの堅牢な備えを統合したデータリポジトリが作成されます。データレイクハウスは、精選されたデータ・ソースから収集するスペースを提供すると同時に、データをビジネスで利用できるように準備するツールや機能を使用することで、プロセスを加速させます。データレイクハウスは、1980年代前半に誕生したデータウェアハウスを、データドリブンの最新化に向けて再構築したものと言えるでしょう。

データレイクハウスの機能

データレイクハウスの全体像を理解した上で、具体的な関連要素をもう少し掘り下げてみましょう。データレイクハウスは、過去のデータレイクやデータウェアハウスの概念から馴染みのある多くの要素を提供しますが、ある意味、それらを統合して、今日のデジタル社会にとってより効果的な新しいものを提供します。

データ管理の機能

データウェアハウスは通常、データクレンジング、ETL、スキーマ適用などのデータ管理機能を提供します。これらは、データを迅速に準備する手段としてデータレイクハウスに導入され、キュレートされたソースからのデータを自然に連携させ、さらなる分析やビジネス・インテリジェンス（BI）ツールに備えられるようになります。

オープン・ストレージ・フォーマット

オープンかつ標準化されたストレージ・フォーマットを使用することで、キュレートされたデータ・ソースのデータを連携させ、分析やレポーティングに対応させることが可能になり、非常に有利になります。

柔軟なストレージ

コンピュートとストレージのリソースを分離できるため、必要に応じてストレージを簡単に拡張することができます。

ストリーミングのサポート

多くのデータ・ソースは、デバイスから直接リアルタイム・ストリーミングを使用しています。データレイクハウスは、標準的なデータウェアハウスと比較して、このようなリアルタイムの取り込みをよりよくサポートするように構築されています。世の中がIoTデバイスで統合されていく中で、リアルタイム・サポートの重要性はますます高まっています。

多様なワークロード

データレイクハウスは、データウェアハウスとデータレイクの両方の機能を統合しているため、さまざまなワークロードに対応できる理想的なソリューションです。ビジネス・レポートからデータ・サイエンス・チーム、分析ツールまで、データレイクハウス固有の品質により、組織内のさまざまなワークロードをサポートすることができます。

データレイクハウスのメリット: 最新のデータ・プラットフォーム

データレイクハウスを構築することで、組織は統合された最新のデータ・プラットフォームを使用してデータ管理プロセス全体を合理化できます。データレイクハウスは、複数のレポジトリ間のサイロの壁を取り払うことで、個々のソリューションの役割を果たすことができます。この統合により、キュレートされたデータ・ソースに対して、より効率的なエンド・ツー・エンドのプロセスが実現されます。これにより、さまざまなメリットが生まれます。

• 管理の軽減：データレイクハウスを使用することにより、生データからデータを抽出し、データウェアハウス内で動作するように準備するのとは対照的に、それに接続しているあらゆるソースは、データにアクセスして使用できるように統合することができます。
• データ・ガバナンスの向上：データレイクハウスは、リソースとデータ・ソースを統合することでガバナンスを簡素化し、改善します。また、標準化されたオープン・スキーマで構築されているので、セキュリティ、メトリック、役割ベースのアクセス、およびその他の重要な管理要素をより詳細に制御することが可能になります。
• 簡略化された標準 データウェアハウスは、接続性が非常に限定されていた1980年代に生まれたため、組織内や部門内でローカライズされたスキーマ標準がしばしば作成されました。今日、多くの種類のデータにはスキーマのオープン・スタンダードが存在し、データレイクハウスはそれを利用して、標準化されたスキーマが重複する複数のデータソースを取り込み、プロセスを簡素化することができます。
• 費用対効果の向上：データレイクハウスは、コンピュートとストレージを分離したインフラストラクチャで構築されており、コンピュート能力を増強しなくてもストレージを容易に追加することが可能です。これにより、シンプルで低コストなデータストレージを使用した費用対効果の高いスケーリングが可能になります。

データレイクハウスを構築する組織もあれば、データレイクハウス・クラウド・サービスを購入する組織もあります。

レイクハウスの構築にOCIが最適な理由

日を追うごとに、より多くのデータ・ソースが、より大量のデータを世界中に送信するようになりつつあります。どのような組織にとっても、構造化データと非構造化データの組み合わせは、依然として課題となっています。データレイクハウスは、これらの多様なアウトプットを、管理可能な単一のシステムにリンクし、関連付け、分析するものです