興味深い傾向に気づいた — 安価なトークンの時代は正式に終わった。以前は、大手企業がAPIを補助していたため、私たちは王様のように暮らしていた。何千語ものプロンプトを投げ込み、GPT-4に「最初の文字を大文字にする」などの馬鹿げた細かい作業をさせていた。なぜ？安かったからだ。でも、風向きが変わった。

今や計算能力の請求書が現実になった。NVIDIA H100は地政学的な対立であり、単なる商業競争ではない。APIの呼び出しごとに実際の金銭がかかる。トークンはもはや単なる単位ではなく、まるで金のような存在だ。

問題は、多くのチームが実際にどこでお金が流出しているのか理解していないことだ。人々は月末に請求書を見てショックを受ける。損失は最も明白でない場所に隠れている。モデルと丁寧にやり取りしている — こんにちは、ありがとう、お願いします。でも、各言葉、各空白もトークンであり、あなたは支払っているのだ。プロンプトシステムは蓄積され、各セッションで繰り返され、あなたは昨日すでに支払ったものにまた支払っている。

RAGはしばしば大惨事になる。理想的には、3つの関連性の高い文を抽出することだ。実際には、ユーザーが質問し、システムが10,000語のPDFドキュメントを10個モデルに投げ込む。開発者は考える：自動で見つけさせればいい、と。これは怠慢ではなく、計算能力に対する犯罪だ。不適切なコンテキスト情報は注意力メカニズムを混乱させるだけでなく、天文学的なトークン消費を引き起こす。

制御不能なエージェントはすでに極端だ。AIがエラーのループに入り、無限に回り続け、貴重な出力トークンを浪費する場合だ。適切な緊急停止メカニズムがなければ、一晩でクレジットカードを空にしてしまう。

しかし、解決策はある。セマンティックキャッシュが最もシンプルだ。ユーザーのリクエストはしばしば同じようなものだ。毎回GPT-4を呼び出す代わりに、キャッシュと類似性を比較する。すでに似た質問をした人がいれば、既存の回答を使う。トークンの無駄遣いはゼロだ。遅延は秒からミリ秒に変わる。

プロンプトの圧縮は二つ目のレベルだ。情報エントロピーに基づくアルゴリズムが、どの言葉が重要でどれが不要かを分析する。千語のテキストを300語に圧縮しつつ内容を保持できる。機械に機械語でコミュニケーションさせる — 人にはぎこちなく見えるものも、モデルには完全に理解できる。

モデルのルーティングは、アーキテクチャ設計者にとって最も試練だ。すべてのタスクを最も高価なモデルに任せてはいけない。単純なフォーマット変換や翻訳には、安価なAPIやローカルに展開した小さなモデルをルーティングすべきだ。コストはほぼゼロに近づく。複雑な論理的推論には、強力なツールを使う。よく整備された会社の受付のように：リクエストはCEOに直接渡さない。

ここで本当に面白いのは、OpenClawとHermesを見てみることだ。これらはリソース制約を理解したエージェントだ。OpenClawはほぼトークンを徹底的に管理し、自由なテキストの流れの代わりにJSONスキーマへの強制出力を行う。AIは会話しない、フォームを埋めるだけだ。表面的にはパースの便利さのためだが、実際にはトラフィックの徹底的な節約だ。

Nous ResearchのHermesは、指示の正確な実行を示す。最初から正しくやることが最大の節約だ。多段階のやり取りでは、すべての履歴を保存しない。作業メモリは最新の3〜5メッセージだけ。ウィンドウがいっぱいになったら、軽量なモデルがいくつかの重要な文を要約し、ベクトルデータベースに保存する。古い対話は削除されるが、知識は残る。これはゴミの持ち出しではなく、記憶の外科手術だ。

今や重要なのは、技術的な問題ではなく、思考の変化だ。以前はトークンをスーパーマーケットの消費者のように見ていた。割引を見たらカゴに入れる。企業は盲目的にLLMをすべてに接続し、食堂のメニューさえも。今や投資的な思考に切り替える必要がある。各トークンは投資だ。何をもたらしたのか？チケット解決率は上がったか？バグ修正の時間は短縮されたか？

ルールベースの機能が10セント、巨大モデルが1トークンあたり1ドルだが、コンバージョン率をわずか2％しか向上させないなら、それを削除しろ。揺るぎなく。大規模で多角的なAIソリューションを追い求めるのはやめろ。小さく洗練された正確な打撃を狙え。ビジネスが「10万のレポートを読んで要約できるか？」と尋ねたら、逆に聞き返せ：あなたの収益はAPIの数百万トークンをカバーできるか？

計算しろ。節約しろ。トークンを商品店のオーナーのように数えろ。遠くない未来、これはサイバーパンク的ではなく、むしろ非常に農業的な考え方だ。でも、それはAIの成熟への必要なステップだ。無制限の無料利用の時代は終わった。今や勝者は、アーキテクチャ、ルーティング、そして計算能力の最大活用を理解している者だ。潮が引くとき、誰が裸で浮かんでいるか見える。今回は安価なトークンの潮が引いている。金のように各滴を掘り出す者だけが、本当の装甲を手に入れるだろう。