AIの利用料を気にしなくなった代わりに、PCのメモリを心配しています

社内の情報基盤を作っていて、AIの利用枠を使い切りました。

原因は、ラベル付けです。
社内に散らばった資料や会話に、これは何の文書か、どの顧客の話か、決定事項か相談か、といった目印を機械的に付けていく処理があります。
対象は2万件近くありました。順番に流していたら、途中で枠が尽きて止まりました。進んだのは全体の1割ちょっとでした。

そのとき記録に残した教訓を共有できればと思い書いてます。
大規模なラベル付けは、賢さでも時間でもなく、枠が制約になります。

手元のMacで動かせば、この問題は消える

止まった時点でやることは決まっていました。
この処理を手元のMacの中で動かせば、枠の話は丸ごと消えます。
ローカルで動かすAIには、使った分の請求が来ません。

使ったのはOllamaです。
手元のマシンでモデルを動かすための道具で、モデルはGoogleが公開しているGemmaを選びました。どちらも入れるだけなら30分もかかりません。

ただ、品質面などの不安もありました。

手元で動かせるモデルは、クラウドで使っている大きなモデルと比べて小さいものになります。
ラベル付けは単純作業に見えて、難易度の高い判断が要ります。
この文書は提案なのか議事録なのか、この発言は決定なのか検討中なのか。ここが雑になると、後工程の検索が全部おかしくなります。

だから、いきなり全件を実行するこは避けました。

品質が不安だったので、先に突き合わせた

数十件ほどを先に答え合わせをすることにしました。

同じデータを、これまで使っていたクラウドのモデルと、手元で動かす候補の両方に投げて、出てきたラベルを並べました。
Gemmaには大きさの違うものがあるので、大きいほうと小さいほうの2つを候補にしています。

大きいほうは、40件のうち39件でそのまま使える判断を返し、文書の種別の一致は9割近くありました。1件あたり10秒ちょっとでした。
小さいほうも試しましたが、速い代わりに使える判断が3分の2ほどまで落ちました。

この結果から大きいほうを採用しました。
止まっていた残り数千件を、そのまま一気に実行しました。

料金の制約が消えると、前提が変わる

ローカルLLMに移してから気づいたのは、浮いたお金の話ではありませんでした。使い方の前提が変わったことのほうが大きかったです。

従量課金で使っていたときは、頭のどこかで常に「必要な分だけ、1回で」と考えていました。全件を流すのはコストが見合うか。もう一度やり直すのは高くつかないか。この判断が、無意識に処理の設計を縛っていました。

その縛りが外れると、選択肢が増えます。
ラベルの付け方を変えたくなったら、2万件を全部やり直せばいい。夜のうちに流しておけば朝には終わっています。
実際、今は日次の処理の中でラベル付けだけに7時間以上かけています。1日の処理時間の大半がここです。

これは、請求が来る前提では出てこない発想でした。
7時間分の課金を毎日払ってラベルを付け直しますか、と聞かれたら、私は稟議を通せません。

もう1つ思っていなかった追加の効果もありました。
手元で動く処理は、外にデータが出ません。

これは狙って始めたことではなく、結果としてついてきたものです。
ただ、ある日それが効きました。クラウド側の認証が組織の設定で急に通らなくなり、その日の処理が失敗したことがあります。

そのとき記録に、「下処理はローカルなので無傷」と記載していました。
外部に依存しない部分を持っておくと、外部が止まった時に全部は止まりません。

向き不向きは思ったよりはっきりしている

ここまで書くと、全部ローカルでいいのでは、と読めてしまいますが、そんなことはありません。

今も、クラウドのモデルは使い続けています。分けているのは、処理の性質です。

ローカルに任せているのは、下処理です。
分類する、要約する、決まった形で抽出する。答えの形が決まっていて、量が多くて、1件ずつは軽い処理。ここは手元のモデルで十分に足ります。

ここで言う得意には、料金の話も含めています。
いくら回しても請求が増えないというのは、それ自体がローカルの得意分野です。 品質だけを並べて比べると小さいモデルは常に負けますが、実際に選ぶときに効くのは「この処理を毎日2万件、何度でも流せるか」のほうです。
単価がゼロだからこそ引き受けられる仕事が、確かにあります。

クラウドに残しているのは、仕上げです。
複数の情報源を突き合わせて意味を作る、読ませる文章にする、判断の材料として提示する。ここを小さいモデルに任せると、それらしいけれど使えないものが出てきます。動くけれど使えない、という状態になります。

この線引きは、性能の優劣というより役割分担だと思っています。
全部を1つのモデルでやろうとするから、高いか、雑かの二択になります。
手前の重い作業をローカルで実行し、クラウドを本当に必要なところだけに使えます。

出先からPCに繋いだら、何も動いていなかった

ただ、請求書が来ない代わりに、別の代償を払っていました。

ある日、出先からPCにリモートで繋ごうとしました。繋がりませんでした。
正確には、繋いでも何も動きませんでした。画面の向こうで、処理も、その他のアプリも全部が止まっていました。

原因はメモリでした。
大きいほうのモデルを常駐させると、それだけで結構なメモリを占めます。
そこにブラウザもメモリを結構使っていて、結果全体のメモリが尽きました。
OSが空きを作ろうとして、動いているプロセスを片っ端から落とし始めた状態です。

調べてみると、原因は設定の食い違いでした。
同じ流れの中で、ラベル付けは小さいほうのモデルを使っていたのに、要約の処理だけが大きいほうを掎んでいました。
片方だけが重いモデルを抱えたまま、ずっと居座っていたわけです。

一番問題だったのは最初の兆候が出てから完全に止まるまで、結構なラグがありました。その間、気づくことができず、繋ごうとして初めて分かりました。

落ちるものを選べるようにした

対処方法は2つです。

1つは、動かすモデルを小さいほうに統一しました。

これは、品質をいくらか落とす判断です。
最初の答え合わせでは大きいほうが明確に良かったので、そこを理解した上で下げています。
ただ、毎日流し続ける下処理としては小さいほうでも実用に足りると判断しました。精度が少し落ちることより、機械ごと止まって何もできなくなることのほうが高くつきます。

もう1つは、メモリの見張りを処理の中に組み込みました。
目的は、落ちないようにすることではありません。「PC全体が死ぬ」を「処理が止まる」に置き換えることです。

メモリが減ってきたら、まず自分のモデルだけを解放します。
ブラウザは私が使っているので勝手には閉じられません。それでも回復しなければ、処理のほうを終わらせます。
処理は明日また流せますが、機械ごと止まると、その日は何もできなくなります。

見張り役自身が原因で処理を壊しては本末転倒なので、測れなかったときや設定がおかしいときは止めません。止めるのは、はっきり危ないと分かったときにしました。

ちなみに、この見張りを作っている最中に、自分でバグを3つ埋め込んで潰しました。安全網のつもりのコードが、実際には一度も発動しない状態になっていたこともあります。テストが通っていても、意味のないテストだったりします。
安全側の仕組みほど、動いていることを確かめるのが難しいです。

この線引きは、たぶんすぐに変わる

ここまでの向き不向きは手元にあるモデルでの話です。

手元のPCで動くモデルが、実務のラベル付けに使える精度を出す。
これ自体少し前なら選択肢に入らなかったと思います。無料で公開されるモデルの性能は上がり続けていて、同じ大きさでも去年のものとは中身が違います。

ということは、いまクラウドに残している仕上げの仕事も、そのうち手元に降りてくる可能性があります。
逆に、クラウド側がもっと安くなって、わざわざ自分のマシンを唄らせる理由がなくなることもありえます。どちらに転ぶかは分かりません。

なので、この線引きは固定の結論として持たないようにしています。大事なのは、いまの正解を覚えることではなく、測り直せる状態を持っておくことだと思っています。
私がやったのは数十件の答え合わせで、半日もかかっていません。
新しいモデルが出たら、同じことをもう一度やればいい。それだけで線を引き直せます。

向き不向きを理解する、というのは、一度調べて終わりという意味ではないのかもです。

向き不向きが分かると、できることが増える

料金が要らないことは、はっきり大きなメリットでした。
これがなければ、毎日数時間もラベルを付け直す運用は選べていません。
ただしそれは無料になったという意味ではなく、払うものが請求書からメモリと電気代と時間に変わったということでした。

そのうえで、面白いと思っているのは、選択肢が増えたことです。

高い処理を1回だけ丁寧にやる、という選び方しかなかったところに、雑でもいいから全部に何度でも流す、という選び方が加わりました。
片方しか持っていないと、どちらの発想も出てきません。両方持っていると、この処理はどっちだろう、と考えられます。

この道具は何が得意で何が苦手か。ここには、精度だけでなく、費用も、速さも、データを外に出さずに済むかも含まれます。
それが分かっていると、組み合わせでできることが増えます。
これはAIに限った話ではなく、ワークフローツールと人間の切り分けを考えてきたときと、同じ考え方でした。

もし社内でAIのコストが気になって使い方を絞っているなら、下処理だけ手元に下ろせないか、を一度見てみるといいと思います。
分類・要約・抽出のような、量は多いけれど答えの形が決まっている作業です。そこが外れるだけで、残りの予算を本当に必要なところに使えます。

deflagをもっと知りたい方へ

🌐 コーポレートサイト → https://deflag.net
𝕏 X（Twitter） → https://x.com/nakamae__deflag
📝 note → https://note.com/nakamae_deflag
💼 LinkedIn → https://www.linkedin.com/in/shuta-nakamae-18392828a