「データドリブン」の前に、守破離の「守」を

「AIネイティブ」「データドリブン」は、土台を飛ばした言葉だ

「AIネイティブ」「データドリブン」という言葉が、データを扱う人の新しい必須条件のように語られています。
これらを使いこなせれば、過去の地道な技術はもう要らない、という空気さえあります。
ですが、これらは基礎を積んだ先に見える応用の景色であって、そこを入り口にはできません。

データの仕事にも守破離があります。
その守にあたるのが、データエンジニアリングの基礎です。
最初の型を飛ばして応用だけを真似ても、形だけで中身は伴いません。
「AIネイティブ」も「データドリブン」も、土台を通り抜けた人の前にだけ開ける景色であって、言葉から先に入ろうとした人は、結局何も扱えるようになりません。

土台は、手を動かして積み上げるしかない

データを扱う地力とは、データをモデリングし、SQLで正しく取り出し、壊れない基盤を設計する、その一つひとつを手を動かして積み上げることです。
地味で、すぐには成果が見えにくく、苦労を伴います。
冒頭で触れたデータエンジニアのBen Rogojan氏も、こうして手を動かして得たものこそが最も役に立つと書いています。
私自身、クライアントのデータ基盤を設計するなかで、同じことを繰り返し実感してきました。

そして地力には、もう一つ重要な側面があります。
これを手で積んだ人だけが、AIが出してきた答えの誤りに気づけるということです。
AIに集計を任せれば、もっともらしいSQLと数字が返ってきます。その数字が正しいのか、指標の定義がずれていないか、テーブルの結合を間違えていないかを見抜けるのは、自分で同じ作業を手で通ってきた人だけです。
手を動かしたことのない人がAIの出力を見ても、正しそうに見える、で止まります。
同じAIを渡されても、引き出せる成果が人によって大きく変わるのは、この差によります。

整っていないデータの上で、AIは空回りする

データが整っていなければ、AIそのものが空回りします。これは精神論ではなく、数字で確かめられます。

自然言語の質問からSQLを自動生成する技術は、text-to-SQLと呼ばれ、AIによるデータ活用の中心にあります。
その精度を測るベンチマークにSpiderがあります。2018年に公開された初代のSpiderは、学術的に整理された単純なデータベースを対象にしており、ここでは最新のAIであるGPT-4oが86%前後の正答率を出します。
ところが、2024年に公開されたSpider 2.0は、実在する企業のデータウェアハウスを模しています。
3,000を超える列、複数のSQLの方言、現実の複雑さを持ち込んだとたん、同じGPT-4oの正答率は13%前後まで落ちました。
この結果は、AI分野の主要な国際会議ICLRの2025年に採択された論文で報告されています。

8割解けるはずのAIが、現実のデータの前では1割しか解けません。
差を生んでいるのは、AIの賢さではなく、データが整備されているかどうかです。
そして、その整備をするのは、結局のところ手を動かせる人です。データを整える地力がなければ、最新のAIを入れても空回りするだけだということが、この数字から読み取れます。

「基盤はもう要らない」は、繰り返し語られてきた

「基盤を作り込む技術はもう要らない」という言説は、今に始まったものではありません。むしろ、何年かおきに形を変えて繰り返し現れてきました。

2010年、あるエンジニアが、データを読み込む前に構造を決めず、使うときに読み手が決めればよいという考え方を提唱しました。
schema-on-readと呼ばれ、何でも放り込めるデータレイクの柔軟性として歓迎されました。
しかし2014年、調査会社のGartnerは、管理されないデータレイクはデータの沼になると警告します。実際その通りになり、誰も意味を解釈できないデータが溜まるだけの場所が各地に生まれました。
そして2021年、データレイクとデータウェアハウスを統合するレイクハウスという構造が学術的に定式化され、業界は構造を先に決める方向へ揺り戻しました。

同じことは「ETLは死んだ」という言葉でも繰り返されています。
データを変換してから格納するETLが、先に格納するELTに取って代わられると言われ、続いて変換の工程そのものを挟まないZero-ETLが2022年に登場し、今はAIが自動でやるという話になっています。
それでも、データを整える仕事は消えていません。米国のデータエンジニアの求人は、2025年時点で約26万件と推計されています。
手を動かす技術は要らなくなるという予言が現れては、その必要性に引き戻される。この往復が、10年以上繰り返されてきたわけです。

職種名は変わっても、肝はデータエンジニアリングの基礎

職種の名前は、これからも変わり続けるでしょう。
近年は、特定の顧客に深く入り込んで実装まで担うForward Deployed Engineerという職種が注目されています。
元はデータ分析企業のPalantirが2010年代初頭に作った役割で、2025年に入ってOpenAIなどのAI企業が採用し始めたことで、広く知られるようになりました。AI Engineerという呼び名も定着しつつあります。

ところが、これらの職種で求められるスキルを具体的に見ていくと、結局のところデータパイプラインの構築、データモデリング、SQLが並びます。
肩書きが新しくなっても、本人に要求される中身は変わりません。
SQLにいたっては、AIが普及した今もなお使われ続けるどころか、むしろ広がっています。世界中の開発者が回答するStack Overflowの調査で、SQLを使うと答えた人の割合は2024年の51%から2025年には59%へ増え、プロの開発者に限れば61%に達し、使用率で第3位を占めています。
道具と肩書きがどれだけ移り変わっても、手を動かす人に求められる中身そのものは動いていません。

土台を固めた者だけが、その先に進む

道具も職種名も、これからも変わり続けます。
けれども、手を動かして積んだ地力だけは、形を変えずに残ります。
AIが定型作業を引き受けるほど、その出力を評価し、誤りに気づき、データを整えられる人の価値は、むしろ上がります。基礎はAIに置き換えられるどころか、AIを使いこなすための前提になりました。

私自身、データ基盤を設計する現場で、手を動かして基礎を積んだ人ほどAIをうまく使い、言葉だけを追ってきた人ほど空回りする場面を見てきました。
「データドリブン」も「AIネイティブ」も、それ自体が悪い言葉ではありません。
ただ、それらは土台を通り抜けた先に見える景色であって、入り口ではありません。
その言葉を名乗る前に、自分がその守を積んでいるか。問われているのは、いつの時代も変わらず、その一点だと考えています。