Meta-Harness: モデルのテスト環境全体の最適化

はじめに

大規模言語モデルの動作を調整する「ハーネス（harness）」を変更することで、同じベンチマークにおいて最大6倍の性能差が生じる可能性があります。このハーネスとは、モデルに何が保存され、どのように取得され、どのように表示されるかを決定するコードであり、モデルそのものほど重要である場合もあります。しかし、その重要性にもかかわらず、ハーネスの設計は依然として主に手作業で行われています。専門家は、問題箇所を調査し、ヒューリスティックを調整し、限られた数の設計を繰り返します。

自然な出発点としては、最近の研究されたテキスト最適化手法が挙げられます。なぜなら、テスト自動化エンジニアリングも、過去の試行からのフィードバックを用いて、テキストやコードの構成要素を反復的に改善するプロセスを含むからです。しかし、これらの手法は、テスト自動化エンジニアリングには必ずしも適していません。なぜなら、それらは短期間のフィードバックや、高度に圧縮されたフィードバックに基づいて動作するからです。具体的には、一部は現在の候補のみに基づいており、他のものは主にスカラー値のスコアに依存し、さらに他のものはフィードバックを短いテンプレートやLLMが生成した要約に限定しています。代表的なテキスト最適化手法において、最適化の各ステップで利用可能なコンテキストは、わずか100から30,000トークン（表1）の範囲に留まっており、これはテスト自動化における診断に必要な情報量よりもはるかに少ないのです。

この制限を解決するために、Meta-Harnessという、エンドツーエンドの探索を通じてハーネスを最適化するためのエージェントベースのシステムを開発しました。このシステムの提案者は、コーディングエージェントであり、言語モデルに基づいたシステムで、開発者ツールを呼び出し、コードを修正することができます。その重要な設計上の特徴は、ファイルシステムを通じて完全な履歴を公開することです。これにより、最適化された要約ではなく、生の過去のコードや実行トレースを選択的に診断することができます。実際には、提案者は1回の反復で平均82個のファイルを読み込み、ステップごとに20個以上の過去の候補を参照しています。1回の評価で生成される診断情報は最大で10,000,000トークンに達し、これは従来のテキスト最適化の設定と比較して、およそ3桁大きい数値です。

Meta-Harnessを、オンラインテキスト分類、数学的推論、およびエージェントベースのコーディングの分野で評価しました。これにより、過去の経験へのより詳細なアクセスが、多様な分野にわたる自動的なハーネスエンジニアリングを可能にすることを示しました。

Meta-Harness：ハネスを最適化するためのハネス

検索ループ.

Meta-Harnessは、単一のコーディングエージェント（Claude Code with Opus-4.6）を使用しており、このエージェントは、フィードバックチャネルとして機能する、拡張可能なファイルシステムにアクセスできます。 従来のシステムが、手作業で設計された探索ループに改善ロジックを外部化するのに対し、Meta-Harnessは、診断と提案をコーディングエージェント自体に委ねます。 具体的には、エージェントが、どの既存の成果物を検査するか、どの種類のエラーに対処するか、そして、ローカルな編集を行うか、より大規模な書き換えを行うかを決定します。

評価対象の各ハーネスは、ソースコード、スコア、および実行トレースを含むディレクトリを提供します。ファイルシステムは通常、提案者のコンテキストウィンドウよりもはるかに大きいので、提案者は、単一のプロンプトとして全体を読み込むのではなく、`grep` や `cat` などのターミナルツールを使用してファイルシステムを検索します。最も負荷の高い設定では、提案者は1回の反復で平均82個のファイルを読み込み、各ステップで20件以上の過去の候補を参照しています。

# Input: tasks X', LLM M, proposer P, iterations N
Initialize: population H  # initial set of valid harnesses
Initialize: filesystem D ← ∅  # stores code, scores, traces

for H ∈ H do:
    E_H ← Evaluate(H, M, X')
    D ← D ∪ {(H, E_H)}

for t = 1 ... N do:
    # Proposer P queries filesystem D
    # inspects prior harnesses and scores
    P proposes k new harnesses {H₁, ..., Hₖ}
    for H ∈ {H₁, ..., Hₖ} do:
        if H passes interface validation then:
            D ← D ∪ {(H, Evaluate(H, M, X'))}

return Pareto frontier of harnesses in D

実験2：検索機能強化型数学的推論

我々は、500,000件以上の解答済み問題を含むデータベースからの検索機能と組み合わせた、オリンピックレベルの数学問題の解答方法を研究しています。単純な検索では、数学のベンチマークにおいてほとんどの場合うまくいきません。成功するためには、適切な検索ポリシーを発見する必要があります。我々は、そのポリシーを手作業で設計するのではなく、Meta-Harnessに厳選されたオリンピックの問題セットを与え、検索を通じて検索の振る舞いが自律的に進化するようにしています。

私たちは、250の問題セット（OlympiadBench + Omni-MATH hard）に対して40回の反復を行い、109個の候補となる検索システム（harness）を生成しました。その中から1つのシステムを選択し、IMO-AnswerBench、IMO-ProofBench、およびArXivMathから収集した、これまでに見たことのない200の問題（IMOレベル）で評価します。さらに、検索中に一度も使用されなかった4つのモデルも評価対象とします。

発見されたハーネスの内部構造

Meta-Harnessは、実行可能な推論時プロシージャを発見します。これらは、複雑な制御フローを持つ、構造化された、ドメイン固有のポリシーです。本稿では、パレート最適の極端を表す2つのテキスト分類ハーネスのバリアント、および汎化に関する証拠について検討します。

参考文献