先週、既に稼働していたパイプラインにMiraを追加しました。

特に派手なことはありません。契約書から条項を抽出し、それを下流の分類器に送るだけです。モデルの精度も問題なく、レイテンシも許容範囲内でした。パフォーマンスについて誰も不満を言いませんでした。

問題はモデルではありませんでした。

問題は承認プロセスです。

抽出されたすべての条項は、次に進む前に人間によるレビューが必要でした。モデルが悪いからではありません。コンプライアンスは信頼度スコアを気にしません。彼らが気にするのは証拠です。ポリシーには「人間による検証済み」と明記されています。その一行は、ベンチマークが改善されても変わりません。

そこで、モデルの精度について再度議論する代わりに、別の方法を試してみました。

Mira SDKをインストールし、エンドポイントを指し示し、キーを追加して最初の呼び出しを実行しました。

レスポンスは普通のものでした。出力だけを見れば、特に変化はないと思えるものでした。

違いはログに現れました。

最初の条項：簡単な内容です。日付の参照、準拠法、定型文。バリデーターはほぼ即座に反応し、クォーラムが素早く形成され、ステークがコミットされ、証明書が発行され、出力ハッシュがアンカーされました。

完了です。

二つ目の条項も一見似ているように見えました。同じ契約セットですが、こちらには条件付きの免責条項が含まれていました。読む人によって意味が変わるような言い回しです。どの管轄を考えているかによっても解釈が変わります。

こちらはすぐにはクリアしませんでした。

実際にバリデーターが意見を形成しているのが見えました。異なるモデル、異なるトレーニング実行。各々が独立して同じ主張を評価しています。

あるものは一方に傾き、別のものはもう一方に。

クォーラムの重みが上昇し、一時停止し、再び上昇。

最終的に閾値を超え、証明書が発行され、検証に合格しました。

しかし、もう一つ目立ったのは「異議重み」でした。

主張は通ったものの、最初の条項よりも異議が高い状態が続き、その数値は見える状態のままでした。

従来の仕組みでは、そんなことはありませんでした。モデルは自信を持って回答を返し、すべてが同じくらい確信に満ちているように見えました。複数の合理的な解釈が存在することに気付かないままです。

ここでは、主張は通過しますが、実際の合意の程度がどれほど明確かが見えます。

もっと条項を実行してみました。

毎回同じパターンです。

明確な事実に基づく主張は素早く動き、合意が早く形成され、異議は少なく、簡単です。

解釈を伴う主張は時間がかかります。自信が揺らぎ、最終的に落ち着きます。証明書発行後も異議が高いままの場合もあります。

それらは興味深くなってきました。

誰もその信号を求めていませんでした。最初の目的はシンプルでした：「人間による検証済み」を暗号学的な何かに置き換えること。

しかし、異議重みがログに現れたとき、ワークフローは自動的に変化しました。

レビュアーはまず高異議の条項を開き始めました。検証に失敗したからではありません。システムが本当に不確実な部分を示したからです。

クリーンな合意の条項は自動的に二度目のレビューが行われなくなりました。

レビュー待ちのキューは縮小しました。

モデルが賢くなったからではありません。不確実性が隠されなくなったからです。

従来のパイプラインはすべてを平坦化していました。すべての出力は同じくらい自信に満ちているように見え、ヒューマンはすべてをリスクがあるとみなしていました。

今では、グラデーションが存在します。

明らかに堅固な条項もあれば、そうでないものもあります。灰色の領域に属するものもあります。

その灰色の領域は以前は見えませんでした。

Miraは意見の不一致が存在しないふりをしません。それを記録します。証明書には「はい」だけでなく、ネットワークがどれだけ強く合意したかも示されます。

そして、それこそが実際にコンプライアンスが必要としていたものだとわかりました。

もう一つの精度のパーセンテージポイントや、より洗練されたモデルではありません。

モデルが間違っている可能性のある場所を見つける方法です。

それが見えるようになれば、もうすべてを同じやり方でレビューしなくなります。

#MIRA $MIRA