作ったAIエージェントの半分は、一度も使われていませんでした

AIを使うようになって、思いついたものがその日のうちに動くようになりました。
自分も毎日その恩恵を受けています。

ただ、自分の作業環境を棚卸しして、悲しい事実に行き当たりました。
自分用に作った専門AIエージェントの半分はほとんど呼び出されていませんでした。一度も実務で使わないまま外すことになったものもありました。

前回、AIエージェント開発を始めたら、結局ずっと「要件定義」をしていたという記事を書きました。
作る型は昔から変わっていない、という話です。今回はその裏側で、その要件定義を飛ばしたときに何が起きたかを書きます。

作ったエージェントの半分は、ほとんど呼ばれていなかった

きっかけは、直近で自分の作業環境を全部見直したことでした。
プロジェクトが約50個まで増えて、設定もツールも積み上がっていたので、一度端から端まで棚卸ししました。

そのときに、エージェントごとの利用ログを見ました。
私は業務ごとに専門のAIエージェントを作っています。
契約書を見る役、提案書をレビューする役、フォームを作る役、マーケレポートを作る役、といったようなイメージです。全部で10種類ほどいました。

そのうち5体は、利用ログが0〜1回でした。
作ってから一度も実務で呼ばれていないものは定義を保管庫に移して、一覧から外しました。

見つけたときの感想は、驚きではありませんでした。むしろ納得感のほうが強かったです。
面白そう、使えそう、と思った瞬間に作り始めていたので、蓋を開けたら使っていないものがある。当たり前だよな、と思いました。

作るのに時間がかからないから、要るかどうかを確かめる前に作れてしまいます。
以前なら「これ、誰がいつ使うんですか」と聞かれる時間がありました。実装に何日もかかるので、始める前に一度立ち止まっていましたが、その時間がなくなっていました。

同じ仕組みを、3回作っていた

もう1つ、棚卸しで見つかったものがあります。
同じ仕組みを、違うツールで3回作っていました。

ほぼほぼ同じ機能のものを同じように作っていました。
また共通部品になっておらず、片方を直したらもう片方に手でコピーする状態でした。BIダッシュボードもいくつかのプロジェクトで似たような状態になってました。

なぜ気づかなかったのか。理由ははっきりしています。
スピード優先で手が動いてしまって、過去に作ったものを振り返る工程を踏んでいませんでした。設計をしていなかった、と言ってもいいと思います。

新しいツールを試したかった、という側面も正直あります。
これ自体は実験なので、悪いことだとは思っていません。ただ、実験として始めたものが、そのまま本番として残り続けていました。どこかで棚卸しをして、どれを正にするか決めるべきでした。

作れる手段が増えると、同じ課題を別の道具で何度も解けてしまいます。
1つずつ見れば、どれも動いています。全体で見ると、保守する対象が3倍になっているだけでした。

動いてしまうから、ズレに気づけない

ここが、今回一番伝えたいポイントです。

AIは、こちらが立てた問いが間違っていても、その問いに対しては丁寧に答えます。的外れな要求を渡しても、的外れなものが、きれいな形で出てきます。
動かないコードが返ってくるわけではありません。ちゃんと動くものが返ってきます。

動くものが手元にあると、人は「進んでいる」と感じます。私もそうでした。
画面が立ち上がって、想定どおりに動いていれば、その時点では成功に見えます。
間違っていたのは実装ではなく、その手前で立てた問いのほうだったと分かるのは、しばらく使ってみたあとです。

昔は、ここまで来る前に気づけました。
作るのに時間もお金もかかったので、「本当にそれ要るの」という会話が、作る前に入っていました。
その会話は、コストが高かったからこそ発生していたのだと思います。コストが下がったぶん、会話も消えました。

要らないものが増えるだけなら、まだ被害は小さいと思います。
怖いのは、本来行きたかった場所から少しずつ逸れていくほうです。
目の前で動いているものがあると、そちらを直す作業に時間が吸われます。
気づいたときには、当初の目的とは違うものを一生懸命育てていた、ということが起こります。

AIと話し始める前に、少し止まるようにした

この反省から、やり方を1つ変えました。

AIに話しかける前に、少しだけ止まるようにしました。
具体的には、2つのことを自分に確認します。

1つは、このゴールに対して一番必要な要素は何かです。
やれることを並べるのではなく、達成したい状態から逆算して、外せない要素を1つ特定します。ここが決まっていないと、思いついた順に作り始めてしまいます。

もう1つは、この先どういうことがありえるか、です。
運用が続いたときに何が起きるか、量が増えたときにどうなるか、決めきれていない前提が後からひっくり返るとしたらどこか。この2つを考えてから、はじめるようにしました（もちろんこれ自体もAIと壁打ちはします）。

止まると言っても、長い時間ではありません。数分です。設計書を書くわけでもありません。それでも、この数分があるかないかで、出てくるものが変わります。

誤解のないように書いておくと、これは「作らないほうがいい」という話ではありません。速く作れることは間違いなく武器です。私は今日も作っています。順番の話をしています。手を動かす前に、何のためかを1回だけ確認するのが大事です。

「これって何のために、誰のために作ってるの」

要求がズレたまま作り切ってしまう失敗は、AIが来る前からずっとありました。
資料作成でも、機能開発でも、私は何度も経験しています。

一度、言葉の定義がズレていたことに、かなり進んでから気づいた場面がありました。お客様から「要件定義完了とは、どの状態を指すのか」と質問をいただいて、同じ言葉を見ながらお互いに別のものを想像していたと分かりました。
何をもって完了と呼ぶのかを、決めないまま進めていたからです。似たことは、規模の大小を問わず起こります。

今回の棚卸しで自分の作りかけを眺めていたとき、新卒のころに先輩から言われた一言を思い出しました。

これってなんのために、だれのために作ってるの？

当時は自分が考えたゲームの仕様について言われた言葉だったと思います。
そこそこ時間をかけて作った仕様書を持っていって、そう聞かれて、答えられませんでした。作ること自体が目的になっていたからです。

あれから何年も経って、道具はすっかり変わりました。
手を動かす速さは、当時とは比べものになりません。
それでもこの質問は、そのまま効き続けています。むしろ、作るのが速くなったぶん、聞かれる機会が減って、自分で自分に聞くしかなくなったのかもです。

速く作れることは、正しさを保証しない

AIのおかげで、思いついたものがすぐ形になるようになりました。
ただ、速く作れることは、正しいものを作ることを何も保証しませんでした。
私の場合は、使われない仕組みを作ってしまったり、同じ仕組みを複数回作っていました。

問いがズレていても、AIはそのズレに沿った完成品を返します。
動くものが出てくるので、ズレていること自体に気づきにくくなります。
作るコストが下がった代わりに、作る前の「それ要る？」という会話も一緒に消えました。

だから私は、AIに話しかける前に少し止まることにしました。
「今このゴールに一番必要な要素は何か」、「この先どうなりうるか」の2つを確認してから始めます。

AIを使って何かを作ろうとしている方に、伝えたいことは1つです。
速く作れる時代になっても、価値が下がらなかったのは、問いを立てる力と要求を整理する力のほうです。
ここがズレると、要らないものが、これまでよりずっと速く積み上がります。

作り始める前に、一度だけ自分に聞いてみてください。
これは何のために、誰のために作るのか。

deflagをもっと知りたい方へ

🌐 コーポレートサイト → https://deflag.net
𝕏 X（Twitter） → https://x.com/nakamae__deflag
📝 note → https://note.com/nakamae_deflag
💼 LinkedIn → https://www.linkedin.com/in/shuta-nakamae-18392828a