最近、プロダクションMLシステムについて気になっていたことに気づきました。みんな出力指標—精度、適合率、再現率—に obsess しているけれど、それらが低下する頃にはすでに手遅れです。本当の問題はもっと前、入力層で起きています。

私が読んだアプローチは、まったく逆の視点を採用しています。モデルの出力を見るのではなく、入力データがトレーニング時と同じように振る舞っているかどうかを監視するのです。シンプルに聞こえますが、その実行方法は巧妙です。

このアイデアの核は、最近傍探索を用いた密度推定とKLダイバージェンスを組み合わせることにあります。なぜこれが効果的かというと、まずトレーニングデータから基準値を設定し、その後はスライディングウィンドウを使って継続的に新しいデータと比較します。KLダイバージェンスが閾値を超えたら、何かが変わったサインです。データの分布について仮定する必要もなく、モデルの内部を覗く必要もありません。

例えば、パンデミック前の行動データで訓練されたeコマースのレコメンデーションエンジンを考えてみてください。顧客の嗜好や購買パターンは変化しますが、従来の監視方法では数日気づかないこともあります。この最近傍アプローチは即座に検知でき、特徴ベクトルが元の分布と一致しなくなるとすぐにフラグが立ちます。これにより、パフォーマンスが実際に低下する前に気づくことができるのです。

実用面も重要です。ウィンドウサイズは適切に設定しないと、ノイズに追従しすぎたり、急激な変化を見逃したりします。閾値のキャリブレーションも同様です。良い方法の一つは、均質なトレーニングデータを連続したウィンドウに分割し、ペアワイズのKLダイバージェンスを計算、その95パーセンタイルや99パーセンタイルを閾値として設定することです。

k値の選び方は、サンプル数の平方根を目安にすると良いでしょう。kを大きくすると密度推定は鈍感になりますが滑らかになり、小さくすると異常を捉えやすくなりますが、ノイズに過剰適合するリスクもあります。

大規模な運用では、サンプリング戦略やAnnoyやFaissといった近似最近傍探索ライブラリ、並列処理を活用して管理可能です。すべてをゼロから再計算するのではなく、ローリング統計をインクリメンタルに更新していきます。

このアプローチの魅力は、そのモデル非依存性にあります。シンプルな分類器でも複雑なモデルでも機能します。まさに、モデルが異常に気づく前にデータのドリフトを検知する早期警告システムを構築できるのです。これこそが、プロダクションシステムの安定性を保つための防御的エンジニアリングの真髄です。