データレイクハウスとは｜AI活用の土台になる理由と、DWH・データレイクとの違い

「データレイクハウス」という言葉に行き当たるのは、たいていAI活用を進めようとしたときではないでしょうか？

社内のデータをAIに使わせたい、そのためにデータ基盤を見直したい。

そう考えて調べ始めると、データウェアハウス（DWH）、データレイク、データレイクハウスと似た言葉が並び、しかもAIの話になると、決まってデータレイクハウスが挙がってきます。

ただ、それぞれの製品説明を読み比べても、なぜAI活用の文脈でデータレイクハウスなのかは、なかなか見えてきません。自社がどれを選ぶべきなのかもわかりません。

そこで本記事では、データレイクハウスがどうやって生まれたのかを起点に、DWH・データレイクとの違い、なぜいま注目されるのか、そしてAI活用との関係までを順に整理します。

データレイクハウスとは｜DWHとデータレイクを1つにした基盤

データレイクハウスとは

データレイクハウスとは、会社にあるさまざまなデータを一貫した管理・アクセス・分析の仕組みで扱えるようにするためのデータ基盤です。

会社の中のデータは大きく2種類に分けられます。
1つは、売上や在庫数、顧客リストのように、表計算ソフトの行と列にきれいに収まる「数字の表」のデータです。これを構造化データと呼びます。

もう1つは、議事録や契約書、メール、画像のように、決まった型を持たない文章や画像のデータで、こちらを非構造化データと呼びます（両者の違いは構造化データと非構造化データの違いで整理しています）。

これまで、この2種類は別々の仕組みで管理されるのが普通でした。
データレイクハウスは、その2つを同じ仕組みの上でまとめ、数字の表も、文章や画像も、一緒に貯めて分析やAIに使えるようにしたものです。

このデータレイクハウスは、これまで広く使われてきた「データウェアハウス（DWH）」と「データレイク」という2つの仕組みの、良いところを1つに合わせて作られました。

大まかには、DWHは数字のデータをきちんと整理して分析するのが得意な仕組み、データレイクは種類を問わずデータを安くたくさん貯めておける仕組みです。

この2つを1つの土台にまとめようという考え方で、Databricksが2020年に提唱し、広く知られるようになりました（レイクハウスと略されることもありますが、本記事ではデータレイクハウスで統一します）（出典: What is a Data Lakehouse? — Databricks（2020年1月30日））。

なぜ生まれたのか｜データ基盤の3世代の進化

データレイクハウスは、突然発表された新製品ではありません。
「多様なデータを1か所で、信頼できる形で扱う」という長年の課題への答えとして出てきた考え方です。データ基盤の変遷を3つの世代で整理します。

第1世代が、DWHです。
古くから、社内のあちこちのシステムに散らばった数字を1か所に集めて分析するために使われてきました。
ただし扱えるのは構造化データが中心で、テキストや画像、音声、動画といった多様なデータを、データベースを検索するための言語であるSQL以外の方法で分析したい、という用途には向いていませんでした。

第2世代が、その弱点を補うために組まれた「データレイク＋DWHの2層構成」です。
まず安価なデータレイクに生のデータをそのまま貯め、そのうちの一部だけを抽出・変換などの処理をしてDWHに移して分析する、という2段構えが使われました。
しかしこの形は、レイクとDWHでデータが二重に管理され、同期がずれてDWH側の数字が古くなる（データの陳腐化）、ストレージ費用が二重にかかる、といった問題を抱えていました。

そして第3世代が、データレイクハウスです。
安価なデータレイクのストレージの上に、DWHが持っていたデータ管理と信頼性の仕組みを直接載せることで、2層に分かれていたものを1つにまとめました。
二重管理やストレージ費用の問題をなくしながら、信頼できる分析を1か所で行えるようにしたものが、データレイクハウスの発想です。

データレイクハウスの構成｜安価なストレージの上に、管理の層を重ねる

データレイクハウスは、データを置く層、テーブル管理層、計算する層という3つの層が重なった構成をとります。

いちばん下が、データを置く層です。
クラウドの安価な保管場所（オブジェクトストレージ）に、標準的なファイル形式でデータを置きます。
ここは、後述するデータレイクとして使われてきた保管場所そのものです。

その上に載るのが、テーブル管理層です。
ここが、データレイクハウスをデータレイクから分けている部分です。
保管場所には大量のファイルが並んでいるだけですが、この層では「どのファイルが、どのテーブルの、いつの状態に属するのか」を記録します。

この記録があることで、

• 複数のファイルにまたがる書き換えが途中で止まってもデータが壊れない

• 過去の時点の状態に戻せる

• 決めた型や値の範囲を外れたデータを取り込みの時点で弾ける

• 誰がどのテーブルを読めるかを判定して読んだ記録を残せる

といった扱いができるようになります。

DWHでは当たり前だったデータ管理を、安価な保管場所の上に後から載せたのが、この層にあたります。

そしていちばん上が、計算する層です。
データを置く場所と計算する場所が切り離されているため、集計に使う処理能力と、機械学習に使う処理能力を別々に、必要なときだけ動かせます。
用途の違う複数のエンジンが、同じデータを直接読める点も、2層構成との違いです。

そして、このテーブル管理層の上で、取り込んだ生のデータを段階的に整えていく代表的な進め方が、メダリオンアーキテクチャです。
生のまま保全するBronze、表記や重複を整えたSilver、用途別に加工したGoldの3層に分け、層が上がるごとにデータの品質を上げていきます。

データレイクハウスがデータの置き場と管理の仕組みを決める設計で、メダリオンアーキテクチャがその中でデータをどう整えるかを決める設計です。
各層に何を置くかの判断はメダリオンアーキテクチャとはで解説しています。

DWH・データレイク・データレイクハウスの違いを整理する

成り立ちが分かったところで、DWH・データレイク・データレイクハウスの3つを、あらためて順に並べて整理します。

データウェアハウス（DWH）とは

データ分析の土台として長く使われてきたのが、データウェアハウス（DWH）です。
社内のいろいろなシステムから数字を集め、集計や結合、大量のデータの読み出しに向くように整えた、分析専用のデータベースだと考えてください。

売上、在庫数、顧客リストのように、表計算ソフトの行と列にきれいに収まる構造化データを扱い、「先月、地域別でいちばん伸びた商品は」といった問いに、すばやくグラフで答えるのが得意です（出典: いまさら聞けない！「レイクハウス」とDWH、データレイクの違いとは — NTT DATA）。

構成は、3段に分かれるのが典型です。
まず、社内の各システムから取り出したデータを、いったん受け止めておく場所（ステージング）。
次に、それを整えて全社共通の形で蓄えるDWH本体。
そして、部門や用途ごとに必要な部分だけを切り出したデータマートです。
この3段を、決まった間隔でデータを移し替える処理でつないでいきます。

データの型を決めるのは、DWHにデータを入れる前です。
どの列にどの種類の値が入るかを先に設計し、その形に合うように加工してから格納します。
そのため中身が整い、集計も速くなります。
反面、あとから新しい種類のデータを足すには、設計のやり直しが必要になります。

さらに、長く使われてきた従来型のDWHは、保管する部分と計算する部分が一体になった専用の機器として導入されました。
そのため、いちばん混み合う時間帯に耐えられる性能を先に用意しておく必要があり、扱うデータが増えるほど費用が上がりました。

データレイクとは

次に、データレイクです。
これは、構造化データも非構造化データも、加工せずそのままの形で、ひとまとめに貯めておける保管場所です。

保存する時点ではデータの型を決めず、使うときに初めて整える特徴があります。
安く大量に、文章も画像も貯められるのが強みです。

構成は、DWHよりずっと単純です。
クラウドの安価な保管場所に、ファイルをフォルダの階層で置いていくだけで、表という単位や、行を書き換える仕組みは持ちません。

単純さの裏返しが、管理の弱さです。
どのファイルに何が入っているかを別に管理しないと、目当てのデータが探せなくなります。
複数のファイルにまたがる書き換えが途中で止まれば、一部だけ古いままの状態が残ります。
整理されないまま放置されたデータレイクが敬遠されるのは、この構成上の弱点によるものです。

データレイクハウスは、この2つの「いいとこ取り」

データレイクハウスは、ここまで見たDWHの「整理して、信頼できる形で分析できる」強みと、データレイクの「構造化も非構造化も、安く大量に貯められる」強みを、1つの土台で両立させたものです。

構成で並べると、その位置づけがはっきりします。 データを置く場所は、データレイクと同じ安価なオブジェクトストレージ。 その上に載せたテーブル管理層が、DWHの3段構成が担っていた「整えて、信頼できる形にする」役割を引き受けます。 データを別の基盤へ移し替えるのではなく、置いたままの状態に管理の仕組みを乗せる、というのが違いであり特徴です。

3つの違いを、表にまとめます。

関連記事: 【実験レポート】Googleドライブでメダリオンアーキテクチャを適用した簡易版データレイクハウスを構築する

データレイクハウスが注目される理由

DWHもデータレイクも以前からあったのに、なぜいま、その両方をまとめたデータレイクハウスに関心が集まっているのでしょうか。

理由は、企業が扱うデータそのものと、そのデータに求められる役割が、この数年で大きく変わったからです。

データが「数字の表」に収まらなくなった

1つ目は、データの多様化です。

企業が持つ情報のおよそ90%は、非構造化データだと言われています（2023年、IDC調べ。出典: 企業が持つ情報の90%は非構造化データ — Box Japan）。

テキストや画像、音声、動画、IoTといった多様なデータが増え続ける一方で、構造化データを前提に組まれたDWHでは、この9割を十分に扱えません。

そして本当に大事なのは、その9割のほうに、経営者がAIに聞きたいことが眠っているという点です。

失注の理由、案件が動いた経緯、顧客の温度感。その大半は、数字の表ではなく、議事録や商談メモ、メール、契約書、問い合わせのログ、さらには電話の録音や図面・画像といった非構造化データの中に残っています。

貯めるだけでなく「活用する」ことが求められるようになった

2つ目は、データ活用の重要性が高まったことです。

多様なデータをとりあえずデータレイクに貯めても、そのままでは分析にも活用にも使いにくいという問題が残ります。貯めることと、そこから価値を引き出すことは別の話です。

さらに、生成AIの登場で、「貯めてある社内データを、AIを通じて実際の判断に活かしたい」という要望が一気に強まりました。

そのためには、構造化データと非構造化データを、バラバラの置き場に散らすのではなく、1か所で、信頼できる形で扱える基盤が要ります。

DWHの信頼性とデータレイクの受け皿の広さを兼ね備えたデータレイクハウスが注目されるのは、この「多様なデータを、活用まで一気通貫でつなぎたい」という需要に、ちょうど噛み合うからです。

なぜ「生成AIを使いこなす土台」として、データレイクハウスなのか

そもそもAIは、自分が参照できるデータからしか答えられません。

世の中の生成AIは、インターネット上に公開された膨大な文章を学んでいるので、一般論ならいくらでも流暢に語れます。

けれど、自社の商談がどう転んで失注したのか、あの月に何が起きていたのかは、ひとつも知りません。知らないことは、一般論で埋めるしかありません。
だから、売上や件数のような数字なら答えられても、その数字の理由や経緯を聞いたとたんに、AIは急に的外れな回答をしてしまいます。

これが、自社のことになるとAIが頼りなくなる、いちばん根っこの理由です。

データレイクハウスとAIは、どちらが先に生まれたのか

先にデータレイクハウスとAIの順番を整理しておくと、混乱が減ります。

「AIのためにデータレイクハウスが作られた」と受け取ると、実際とは逆になります。
データレイクハウスが提唱されたのは2020年で、ChatGPTに代表される生成AIが広く使われ始めた2022〜2023年より前のことです。

当時から機械学習をはじめとするAI活用がデータ基盤を見直す動機の1つに挙げられていましたが、データレイクハウスの主な狙いは、前の世代の2層構成が抱えていたデータの二重管理や陳腐化を解くことにありました。

つまり、データレイクハウスという概念が先にあり、その後に生成AIが実際に広まった、という順番です。
そして生成AIが議事録や契約書のような非構造化データをそのまま読めるようになったことで、構造化データと非構造化データを1か所にまとめて置けるデータレイクハウスの利点が、AI活用の文脈で急に際立つことになりました。

「AI活用ならデータレイクハウス」と言われるのは、両者がこの順番でうまく噛み合ったからです。

生成AIの前と後で、データレイクハウス活用はどう変わるのか

同じデータレイクハウスでも、生成AIを使うかどうかで、活かし方は変わります。

生成AIが広まる前、データレイクハウスの主な使い道は、集計やレポートづくりと、データからパターンを学んで数値を予測する機械学習で、扱うのは構造化データが中心でした。
議事録や契約書などの非構造化データを貯めても、そこから何かを読み取るには、構造化データとは別で人手での処理が必要だったからです。

生成AIの登場で、この非構造化データが簡単に実務で活かせる資産へと変わりました。
文章や画像をAIがそのまま読み、意味を汲み取れるようになったためです。
このあとで見るRAGという仕組みを通じて、9割を占める非構造化データを、AIの参照元として直接使えるようになりました。

データレイクハウスに貯めてあった非構造化データの価値が、ここで一気に引き出されたのです。

AIのデータ参照元として、構造化データも非構造化データも渡せる

データレイクハウスのAI活用において鍵になるのが、RAG（検索拡張生成）という仕組みです。

RAGは、AIに質問が来たときに、まず社内のデータの中から関連しそうな情報を検索して取り出し、それをAIに渡したうえで答えさせる、という検索の仕組みを指します。

AIに自社の資料をその場で参照させ、一般論ではなく自社の文脈で答えさせるために、広く使われている方法です。

つまりRAGの良し悪しは、「AIが何を参照できるか」、すなわち参照元のデータがどれだけ揃っているかに、そのままかかってきます。

データレイクハウスは、ここで力を発揮します。

構造化データの隣に、議事録や契約書といった非構造化データも一元的に置いておけるため、RAGの参照元として、両方をまとめてAIに供給できるのです。

構造化だけのDWHでは届かなかった9割の非構造化データにもAIが届くようになる、というわけです。

具体的に、何ができるようになるのかを見てみます。

たとえば「あの案件は、なぜ失注したのか」という問い。

データレイクハウスに商談の議事録、先方とのメール、提案書、見積りの履歴までが一元的に貯まっていれば、RAGはそこから当該案件に関する記録を拾い集め、AIは「価格よりも導入時期の条件が折り合わなかった」「決裁の直前に競合が別提案を出していた」といった、記録に裏打ちされた答えを返せるようになります。

一般論ではなく、自社の事実にもとづいた振り返りです。

あるいは、「なぜ昨年の第1四半期は、売上が落ちたのか」という問い。

売上の数字そのものはDWHでも分かりますが、その裏側にある理由、たとえば「主力顧客の発注が止まった」「ある地域で競合が値下げに動いた」「大口案件の検収が翌期にずれ込んだ」といった事情は、当時の商談メモや日報、社内外のメールのやりとりの中にしか残っていません。

これらも1か所に貯まっていれば、AIは数字の増減と、その背景にある出来事を突き合わせて、「該当四半期の落ち込みは、特定の大口案件の検収時期がずれた影響が大きい」といった、筋の通った説明を返せるようになります。

経営者が知りたいのは多くの場合、数字そのものより、その数字が動いた理由のほうです。
違いを生んでいるのは、AIが急に賢くなったことではなく、参照できるデータの範囲が構造化の枠を越えて広がったことです。

AIが参照できるデータの範囲を広げる基盤として適していることが、データレイクハウスが「生成AIを使いこなす土台」として選ばれる理由です。

関連記事: AI活用のための社内データ検索｜RAGの精度を上げる検索方法

DWHもデータレイクハウスも、ただの「箱」にすぎない

ここまで読むと、「では、自社もデータレイクハウスを入れさえすれば、すぐにAIが使えるようになるんだな」と思われたかもしれません。

けれど、ここで1つ、注意していただきたいことがあります。
基盤を入れることと、AIを使いこなせるようになることは、決してイコールではありません。

DWHであれデータレイクハウスであれ、それ自体は、データを入れておく「箱」にすぎない、ということです。

箱を立派にすること、つまり基盤を構築・導入すること自体が目的になってしまうと、待っている結末は、たいてい決まっています。
「多大なコストをかけて基盤を整えたのに、誰もそれを使ってAIに問いを投げず、ただデータが溜まっただけの箱になる」というものです。

意味があるのは、箱を作ったその先です。

整えた基盤の上でAIに自社のことを問い、返ってきた答えから示唆を読み取り、そこで見えた課題を、実際の打ち手や業務の改善につなげる。

さらに、その結果として生まれた新しいデータをまた基盤に貯め、次の問いに活かしていく。
この一連の流れを、現場の業務として回し続けて初めて、基盤への投資は報われます。

逆に言えば、この「使い続ける」運用が伴わないなら、どれだけ高機能なデータレイクハウスを入れても、宝の持ち腐れになりかねません。

まとめ｜データレイクハウスがAI活用の土台になる理由

データレイクハウスは、DWH（データウェアハウス）とデータレイクを1つにまとめ、売上のような構造化データも、議事録や契約書のような非構造化データも、同じ仕組みの上で扱えるようにしたデータ基盤です。

安価なオブジェクトストレージの上にテーブル管理層を重ねて1つにまとめることで、前の世代の「データレイク＋DWHの2層構成」が抱えた二重管理やデータの陳腐化を解きました。その後に生成AIが広まったことで、企業情報の9割を占める非構造化データを、そのままAIの参照元にできる土台として価値が際立つようになりました。

AIが自社のことに的外れな答えしか返さないとき、原因の多くはAIの性能ではなく、AIが参照できる社内データの範囲にあります。
経営者が本当に聞きたいことの大半は非構造化データの側にあるのに、構造化データ中心のDWHだけでは、そこに手が届きません。
構造化と非構造化を一元的に扱えるデータレイクハウスが、生成AIを使いこなすための土台になります。

ただし、基盤を入れること自体がゴールではありません。
データレイクハウスもDWHも、使わなければただの「箱」です。

本当に大事なのは、整えた基盤にAIで問いを投げ、得た示唆を課題解決や業務改善まで回し続けること。
まずは「自社のAIが伸びないのは、データ基盤に原因があるのかもしれない」と社内を見直し、AIに任せたいことを1つ決めて、必要な範囲のデータから小さく始めてみてはいかがでしょうか。