Jeff Erickson | 技術コンテンツ・ストラテジスト | 2024年9月 17日
私たちのほとんどは、意識していなくてもリアルタイム分析と定期的にやりとりしています。このような分析がバックグラウンドで機能することで、荷物を運んでくるドライバーのルート選択、クレジット・カード購入時の不正の疑いのスキャン、発電機器の先行的メンテナンスによる公益事業の業務継続を支援します。
また、すべてのビジネスがミリ秒単位のデータに基づいて行動する必要があるわけではありませんが、リアルタイム分析は進歩を続けており、より多くの組織がこのテクノロジーとそれによってもたらされるビジネス上のメリットを享受できるようになっています。つまり、起きたことを振り返って次回の改善策を考えるのではなく、瞬間瞬間の業務意思決定ツールであるリアルタイム分析へと、分析に対する考え方が変わりつつあるのです。
リアルタイム分析は、ウェブサイトのクリック、ソーシャルメディア上のコメント、トランザクション、センサーなどから生成された瞬間のデータを取り込み、分析と即時アクションのためにシステムに取り込みます。いくつかのビジネス・プロセスにおけるリアルタイム分析はミリ秒単位で運用され、複数のソースからデータが取り込まれ、整理および分析された後、自動化されたシステムで処理されるか、グラフ、テキスト、または音声で人に伝えられます。これは、チケット販売担当者がオンデマンドで価格調整したり、航空会社がフライト状況を更新したり、銀行が人工知能アルゴリズムに合わない請求があったときに即座に通知するときの方法です。
リアルタイム・データ分析システムは、構造化データソースと非構造化データソースからデータを引き出します。構造化データは、業務アプリケーションなどのソースから予測可能で一貫性のある形式で提供されます。ビッグデータと呼ばれることもある非構造化データは、さらなる処理が必要となり、ソーシャルメディア・サイト、テキスト・ドキュメント、動画などのソースから得られます。データ分析システムは、これら2つのデータソース型を組み合わせてより高度な分析を行い、その結果を人が容易に理解し、それに基づき行動できる方法で提示することができます。
リアルタイム分析を可能にするテクノロジーには、データベースとデータレイク、機械学習(ML)アルゴリズム、データ統合ツール、プログラミング言語、データサイエンスノートブック、さまざまなオープンソース・プロジェクトなどがあります。リアルタイム分析システムは、機械学習と組み合わせることで、その時点での意思決定を支援するだけにとどまらず、運用データに隠れたトレンドやボトルネック、ビジネス・チャンスを探すこともできます。
主なポイント
リアルタイム分析はデータ分析の種類の1つで、知識の豊富なデジタル・ビジネスの間で人気が高まっています。従来のデータ分析の延長線上にあり、同じスキルセットの多くを使用します。バッチ分析と呼ばれることが多い従来の分析は、大量の保存データを準備し、分析プラットフォームに送信してダッシュボードにグラフやチャートを生成する、より時間のかかるプロセスです。データは数時間前、数日前、数週間前、あるいは数カ月前のもので、過去に起きたことの状況を示すために使用されます。これはかつて、そして今も、将来の意思決定を支援するための重要なリソースです。
従来のデータ分析とは対照的に、リアルタイム分析は今起きていることを分析します。リアルタイム分析では、データを保存してから、抽出、変換、読み込み(ETL)と呼ばれる複雑な技術プロセスを使用して定期的に分析システムにデータを移動するのではなく、データを作成してからわずか数ミリ秒後に、分析とアクションのためにデータを即座にシステムにプッシュします。これがストリーミング分析と呼ばれることがある理由もよくわかります。
多くの組織が、バッチ処理からリアルタイム処理へ、また、リクエストドリブンアーキテクチャから、より自動化を実現するイベントドリブンアーキテクチャへと移行しつつあります。
多くのデータ管理アーキテクチャはリアルタイム分析をサポートしますが、そのシンプルさから人気を集めているのがデータベース内分析と呼ばれるものです。これによりアナリストは、大きなデータセットを別の分析データベースにETLするという余分で時間のかかるステップを行うのではなく、データが保存されている場所で分析を実行できるようになります。Forresterのアナリストは、このデータベース内分析モデルを、トランザクション機能と分析機能を組み合わせた「トランスリティカル」プラットフォームと呼んでおり、これによりデータの整合性を維持しながら大規模な分析をより容易に行うことができます。
需要を予測する小売店、ミリ秒単位でターゲティングの意思決定を高速化するマーケティング会社、その他多くの組織で、リアルタイム分析の瞬間のインサイトが、意思決定や行動の自動化に貴重なツールであることを、人びとは実感しています。
リアルタイム分析により、ビジネスでは、走行ルートの変更、製造上の問題への対応、マーケティング・キャンペーンの変更、サプライチェーン・パートナーの更新など、その時々に必要な情報を得ることができます。
顧客の注文やサービス・リクエストに関するリアルタイム・インサイトは、よりスムーズでパーソナライズされたカスタマー・エクスペリエンスをもたらします。
ビジネスでは、価格の調整、提供する製品やサービス内容の変更、製品の在庫状況の更新をリアルタイムで行うことができ、デジタルへの対応力に劣る競合他社にはできない方法で効率性と収益を向上させることができます。
リアルタイム分析は、マーケティング担当者がトレンドを発生時に特定できるよう支援します。売上およびソーシャルメディアのセンチメントなどのさまざまな要素を組み合わせた分析を使用して、テクノロジーはメッセージの調整や、製品変更の提案まで行い、競合他社よりも先にトレンドを活用することができます。
通常、リアルタイム分析に必要な統合され、スケーラブルなデータインフラストラクチャを構築するには、計画、専門知識、資金調達が必要となります。リアルタイム分析の多くの課題の背景にある重要な要因の1つは、データ収集、統合、分析をリアルタイムで行うために十分強力かつ効率的なアーキテクチャを構築することです。しかし、複雑なアーキテクチャは、ダウンタイムやエンジニアの頭を悩ませる原因になり、サービスの信頼性が低い場合、導入件数が減少する可能性があります。以下に、この課題を克服するための3つのステップを紹介します。
リアルタイム分析の導入における最初の課題の1つは、関連するあらゆるデータソースを考慮することです。たとえば、小売アプリケーションは製品サプライヤーからデータを取得し、それを財務会計ソフトウェアとカスタマーサービス・アプリケーションに供給します。リアルタイム分析の取り組みに適したソースは、ビジネスの内部または外部にあり、構造化データおよび非構造化データが含まれる場合があります。ITチームは多くのツールを使用して、データソースを検索およびカタログ化できます。
チームがデータソースを特定したら、そのデータを分析システムで使用できるデータ・ストリームに統合する必要があります。このステップでは、複数のソースからデータを取り込むために必要となるAPIとデフォルトのコネクタを提供する統合プラットフォームが必要になることがよくあります。
リアルタイム分析では、ビジネス活動に基づいて変化するデータソースからデータを取得するため、データ量が予測不可能になる可能性があります。リアルタイム分析に割り当てるコンピュート・リソースは、可能な限り高いユースケースに合わせてプロビジョニングするか、ニーズの変化に合わせてスケールアップ/ダウンできるクラウド・サービス上に構築する必要があります。
リアルタイム分析システムでは、構造化データと非構造化データの両方を使用できます。実際、この2つを組み合わせて分析し、ビジネス・システムの全体像を迅速に把握することにより、多くのリアルタイム・システムの価値が大きく高まります。この2つのデータ型は、その名が示すとおり異なります。つまり、構造化データは、業務アプリケーションなどのソースから一貫性のある予測可能なフォーマットで提供されるため、リレーショナル・データベースに簡単に組み込むことができます。非構造化データには予測可能なフォーマットがありません。ソーシャルメディア・フィード、顧客コメント・フォーム、テキスト・ドキュメント、動画などのソースから取得され、リアルタイム分析システムで使用するためにフォーマット設定されます。
データ型 | 定義 | 主要な差別化要因 | 例 |
---|---|---|---|
構造化データ | 明確に定義されたフォーマットにまとめられたデータ | 並べ替え、追跡、分類、リレーショナル・データベースへの取り込みが容易 | 販売結果、アンケートの回答、顧客の住所や購入履歴 |
非構造化データ | 所定のフォーマットに従わないデータ | リレーショナル・データベースへの格納が困難なデータ | メール・テキスト、ソーシャルメディア投稿、音声、動画 |
リアルタイム・データ分析プロセスは、組織全体のデータ管理手法の品質によって決まりますエンタープライズ・データ管理ソフトウェアには、迅速にスケールする機能、多くのソースからデータを統合する機能、データ品質と強力なガバナンスを確保する機能、そしてもちろんデータ・セキュリティを優先する機能が含まれている必要があります。以下に、考慮すべきベストプラクティスを示します。
まず、リアルタイム分析エンジンの対象は何かについて考えます。全社的に適用する可能性は低いので、部門全体で使うのか、部門内の一部のユーザーだけで使うのかについて評価を行う必要があります。明確で焦点を絞った目標を持つことは、この評価を支援します。これを整理することで、企業内外のどのようなデータソースにアクセスする必要があるかが見えてきます。このプロセスで、もう1つ考えるべきべきことがあります。それは、より多くの、あるいはより適切なデータがあれば、目標はより意欲的なものになるのか、ということです。
データの移動やETLプロセスの必要回数は最小限に抑えます。ETLプロセスは、データがデータストア間を移動するため、レイテンシを発生させ、データ・セキュリティおよびコンプライアンスのリスクを増大させる可能性があります現在のトレンドは、データベース内分析を使用することで、データ処理をトランザクション・データベース内で実行し、大規模なデータセットを別の分析データベースに移動することを回避することです。
最近の調査によると、中規模企業でも平均20の有料SaaS製品を使用しています。これにオンプレミスのソフトウェアやその他のサードパーティまたは非構造化データソースを加えると、多くの選択肢があります。リアルタイム分析への取り組みに必要となるものを特定します。
異なる機械学習モデルは、データの見方によって異なる種類のインサイトを明らかにします。MLモデルは、回帰タスクや分類タスク、異常検知、その他の目的でトレーニングすることができます。リアルタイムのインサイトを得るだけでなく、機械学習は、トレンドの検出、迅速な意思決定、アクションや推奨の自動化を支援することができます。
適切なデータツールは、リアルタイム分析システムの構築を支援します。ETLプロセスを使用する場合は、データを抽出し、データセットをクリーンにして変換し、適切なシステムにフローするためのツールが必要になります。
リアルタイム分析のパフォーマンスの監視を考えるには、2つの方法があります。1つは純粋に人によるもので、現場の状況をレポートできるビジネス関係者との関係を構築することです。工場現場はよりスムーズに稼働しているのでしょうか、それとも顧客は必要な情報を自動で入手できているのでしょうか。もう1つは、データプロセスをモニタリングして、ネガティブなトレンドやボトルネックを特定し、対応できるようにすることです。
リアルタイム分析システムは、多くのデータソースおよび依存関係を持つことができます。ビジネス環境の変化によりこれらのインプットのいずれかに変更が生じた場合、リアルタイム分析システムとそれを使用する従業員が、その問題を認識する方法とそれを修正するプロセスを持つように徹底します。
ブラジルを拠点とするTetris.coは、意思決定者がリアルタイム分析に直接アクセスすることで、ビジネスがいかにメリットを得られるかを示しています。この企業は、複数のメディア・ソースのデータをMySQLデータベースにまとめ、リアルタイム分析を使って広告投資の効果を把握しています。同社は、トランザクションとリアルタイム分析ワークロードをMySQLデータベースから直接実行することができるHeatWave MySQLに移行することで、ソフトウェアが必要とするスピードを実現し、データ移動と別の分析データベースとの統合の必要性を排除しました。高パフォーマンスのシステムは、現場のアナリストによるトレンドの迅速な把握と、低パフォーマンスの広告プラットフォームから高パフォーマンスのチャネルへの投資のシフトによるマーケティング成果の向上を支援しました。
多くのスキルとツールが、組織に成果をもたらすリアルタイム分析システムの構築を支援できます。その中には、データ・モデリング、データ品質、データ可視化のためのツールが含まれます。現在使用しているソフトウェアとスキルの高さを考慮することは、良いスタート地点になります。たとえば、トランザクションにMySQL Databaseを使用している組織は、データベース内分析とデータベース内機械学習を提供するクラウドベースのバージョンを選択するだけで、分析やMLシステムにデータをETLする必要がなくなります。
組織でリアルタイム分析の利点が必要な場合、HeatWave MySQLは強力なソリューションを提供します。HeatWave MySQLは統合的なインメモリ・クエリ・アクセラレータを実装するフルマネージド・データベース・サービスです。ETLの重複による複雑さ、レイテンシ、リスク、コストなしにリアルタイム分析を実現します。
HeatWave MySQLを使用すると、分析、機械学習、生成AIのためのさまざまな組み込みのHeatWave機能にアクセスできます。HeatWave Lakehouseにより、CSV、Parquet、Avro、JSON、他のデータベースからのエクスポートなど、さまざまなファイル形式でオブジェクト・ストア内の最大1/2ペタバイトのデータをクエリし、オプションでMySQLのデータと組み合わせることができます。HeatWave AutoMLとHeatWave GenAIは、クラウド・サービス全体にわたりETLなしで、統合および自動化された機械学習と生成AIのメリットを提供します。
リアルタイム分析の例を教えてください。
ビジネスにおけるリアルタイム分析の例は数多くあります。FANCOMIという企業は、広告主が従来のように広告が掲載された時点で料金を支払うのではなく、が希望するマーケティング成果が達成された時点で料金を支払うことができる世界最大のパフォーマンス・マーケティング広告ネットワークを目指しています。リアルタイム分析を使用しており、1日24時間、260万社の代理店およびメディアのウェブサイトに対する20,000の広告をモニターし、その影響を測定しています。
ビジネスにリアルタイム分析が必要な理由を教えてください。
モノのインターネット・センサー、ソーシャルメディア・サイトとアプリケーション、オンライン小売を含むデジタルシステムと、CRM、ERPや人材管理(HCM)などの舞台裏のシステムが組み合わさり、かつてない量のデータを生み出しています。その膨大な運用データを迅速に理解することで、ビジネスの変化を見極め、適切な意思決定で対応できるビジネスが競合製品に打ち勝つでしょう。
リアルタイム分析が意思決定を向上させる仕組みを教えてください。
リアルタイム分析は、データを最も適切なタイミング、つまりデータが作成された瞬間に使用します。リアルタイム分析を使用していない組織は、分析に利用可能な時点ですでに古くなっているデータに基づいて重要な意思決定を行っている可能性があります。
生成AIの活用方法、機械学習モデルの構築、オブジェクト・ストレージのクエリ・データ、その他のご興味あるHeatWaveに関するトピックの詳細をご覧ください。