「使うたびに賢くなるAI」は、待っていても来ない

AIは使えば使うほど賢くなる、という言い方をよく見ます。

私はこれを、半分だけ本当だと思っています。モデルは確かに進化します。
ただ、自分の会社のやり方や、自分の文章の癖を、AIが使っているうちに勝手に覚えてくれることはありません。
昨日直したことを、今日もまた直す。AIを業務で使っている方なら、覚えがあると思います。

私は最初から、勝手に賢くなることは期待していませんでした。
その代わりに、使う中で学習が起きる仕組みのほうを作りました。
今は文章を書くAIも、社内の質問に答えるAIも、使うたびに少しずつ育っています。先日、AI自身から運用の改善提案が来ました。
今回はその仕組みの話を共有したいと思います。

賢くなるのは、モデルではなく仕組み

前提から書きます。モデルの進化と、自分の仕事を覚えることは、別の話です。

新しいモデルが出るたびに、読解も文章も明らかに良くなっています。
ただそれは、世界中の誰が使っても同じように良くなる話です。

うちでは議事録をこう書く、この言い回しは使わない、この判断は人間に回す。
そういう自分たちの文脈は、モデルがいくら進化しても、どこからも入ってきません。何もしなければ、毎回ゼロから説明することになります。

もう1つ、最初に決めていたことがあります。教えることを、全部自分で考えるのはやめることです。

使う前に完璧なルールを書き切るのは無理かなと思ってました。
実際に使っていく中で、使ってもらう中で、何を教えるべきかが出てきます。
だったら、その出てきたものが自然に溜まっていく形にしておくほうがいい。設計したのはルールの中身ではなく、この流れのほうでした。

仕組みは4つの部品でできている

作ったループは、分解すると4つの部品になります。

1. 残す： AIの出力に入れた直し、社内AIへの質問、うまくいかなかった実行等、使った痕跡を消さずに記録する

2. 集計する： 溜まった記録を定期的にまとめて、傾向が見える形にする

3. 昇華する： 傾向から「次からこうする」というルールや知識に書き起こす

4. 参照させる： 次の実行のとき、AIがそのルールを毎回読み込んでから動くようにする

部品自体は地味です。
4つが切れずに繋がっていることに意味があるのです。
記録を残すだけで参照させなければ、ログが溜まっていくだけです。逆に、ルールを書いても新しい学びが入ってこなければ、最初に私が考えた範囲で止まります。

文章の直しが、ルールに変わる

一番わかりやすい例が、この文章です。私はコラムをAIと一緒に書いています。
初稿をAIが書き、私が直す。ここまでは、よくある使い方だと思います。

違うのは、直しを捨てないことです。
私が直すたびに、その差分から「なぜ直されたのか」をAIがルールとして書き起こし、番号を付けて溜めていきます。
数字の書き方、言い切りの形、使わない言葉。次の記事を書くとき、AIはこのルールを全部読み込んでから書き始めます。

このルールが、気づけば100本を超えていました。

面白いのは、直しの中身が変わっていくことです。直しは今も入ります。
ただ、同じ種類の直しを二度することは、ほとんどなくなりました。
毎回の直しが、前回とは別の、新しい種類の直しになっています。同じ場所で止まらなくなったという意味で、学習は前に進んでいます。

質問されるほど賢くなる、社内のAI

もう1つの例は、社内の情報基盤です。
社内の資料や過去の経緯について質問すると、根拠付きで答えるAIを運用しています。

ここでは、質問のほうを資産にしています。
1件の質問ごとに、何を聞かれ、答えられたか、答えるために何が足りなかったかを記録します。それを毎日集計すると、答えられなかった観点の一覧ができます。
この一覧が、そのまま知識を増築する順番のリストになっています。

つまり、使ってもらうこと自体が設計の続きになっています。
どんな知識が要るかを私が考えるより、実際に聞かれた質問の記録のほうが確かです。使う人が増えるほど弱いところが早く見つかり早く埋まります。

もっと小さい例もあります。
毎晩AIが自動で作る日報に、間違いをコメントで赤入れしておくと、翌日の生成には反映されています。数分の赤入れが、翌日以降の全部の日報に反映され続けます。

ある日、AIのほうから提案が来た

この仕組みを回していて、一番驚いた瞬間があります。ある日、AIのほうから運用のアップデート提案が来ました！

こちらは何も頼んでいませんでしたが、溜まった記録を踏まえて、今のやり方のここを変えたほうがいい、という筋の良い提案で、実際に採用しました。
直す側と直される側が、少し入れ替わった瞬間でした。

考えてみれば、不思議なことではありません。
何も溜めていないAIには、提案の材料がありません。今のやり方がどこにも書かれていなければ、その改善案も出しようがありません。
フィードバックを資産として持たせているからこそ、AIは自分の運用を前提にした提案ができます。

これは、ものづくりの本質と同じ型でした

この仕組みを組みながら、ずっと既視感がありました。プロダクト開発です。

私はAIの仕事の前に、ゲームやSaaSのプロダクトを作っていました。
作り手が頭の中だけで完成形にたどり着けないことは、ものづくりでは前提です。だからリリースして、使われ方を見て、声を聞いて、次の版を良くする。
そのための計測や、声を拾う仕組みを先に用意します。

AIでやっていることも同じでした。
対象がプロダクトから、AIに渡すルールや知識に変わっただけです。
「AIを賢くする」と言うと新しい技術の話に聞こえますが、中身は、使われる中から学んで次を良くするという、ものづくりの本質そのものだと思っています。

ただし、全自動にはしていません

ここまで読むと、放っておけば勝手に育つ仕組みに見えるかもしれませんが、そうはしていません。

学びをルールとして採用するかどうかは、私が判断しています。
AIが記録から書き起こす学びには、たまたま1回起きたことを一般化しすぎているものが混ざるからです。

実際に、こんなことがありました。
ある記事で1回だけ評判の良かった書き方を、AIが「私らしい文体」として学習し、次の記事で全面的に使ってきたことがあります。
出てきた初稿は、自分の文章とはかなり違うものでした。学習の向きがずれたまま自走すると、ズレのほうが積み上がっていきます。

なので、記録と集計と書き起こしまではAIに任せて、採用の判断だけは人間が締めています。
使うたびに賢くなる仕組みは作れますが、完全な自律型は、少なくとも今は難しいと思っています。

最初の一歩は、直しを捨てないこと

大がかりな基盤は要りません。おすすめの最初の一歩は、AIへの直しを、その場で使い捨てにしないことです。

AIの出力を直したら、なぜ直したかを1行、どこかのファイルに書き足しておく。
次に同じ仕事を頼むとき、そのファイルを一緒に渡す。これだけで「残す」と「参照させる」が繋がって、一番小さいループが回り始めます。集計や自動化は、溜まってから考えれば間に合います。

モデルの進化は、待っていれば向こうから来ます。
ただ、自分の仕事を覚えたAIは、待っていても来ません。
使いながら教えたことが溜まる仕組みを持っているかどうかで、同じモデルを使っていても、手元のAIは別物になっていきます。

deflagをもっと知りたい方へ

🌐 コーポレートサイト → https://deflag.net
𝕏 X（Twitter） → https://x.com/nakamae__deflag
📝 note → https://note.com/nakamae_deflag
💼 LinkedIn → https://www.linkedin.com/in/shuta-nakamae-18392828a