--- arxiv_id: 2604.08570 title: "QuanBench+: LLM（大規模言語モデル）を用いた量子コード生成のための統合型マルチフレームワークベンチマーク" authors: - Ali Slim - Haydar Hamieh - Jawad Kotaich - Yehya Ghosn - Mahdi Chehimi - Ammar Mohanna - Hasan Abed Al Kader Hammoud - Bernard Ghanem difficulty: Intermediate tags: - LLM - Benchmark - Reasoning published_at: 2026-03-25 flecto_url: https://flecto.zer0ai.dev/ja/papers/2604.08570/ lang: ja --- ## Introduction LLM（大規模言語モデル）は、HumanEvalのような従来のコード生成ベンチマークにおいて目覚ましい成果を上げていますが、 量子コード生成は独自の課題を提示します。 従来のプログラムが決定的な出力をもたらすのに対し、量子プログラムは確率的な測定統計をもたらします。量子ビットは重ね合わせの状態 \(|\psi\rangle = \alpha|0\rangle + \beta|1\rangle\) で存在し、正確な値ではなく、出力分布の観点から正しさが定義される必要があります。 いくつかの量子コードのベンチマークが存在します (Qiskit HumanEval, QHackBench, QCircuitBench, QuanBench)。しかし、ほとんどが 単一のフレームワーク内でのみ モデルを評価します。これにより、失敗が量子計算の理解不足によるものなのか、特定のAPIに慣れていないことが原因なのかを判断することができません。 マルチフレームワークのベンチマークは、 2つの異なる種類の失敗モード を明らかにするために不可欠です。(i) 量子計算の概念的な誤り—例えば、誤ったアルゴリズム構造や測定ロジックなど—と、(ii) フレームワーク固有のAPIエラー—例えば、存在しないメソッドの呼び出しや、パラメータの不適切な使用など—です。 ## Methodology Pass@k は、機能的な正しさを評価する指標です。モデルは k 個のコードサンプルを生成し、そのうち少なくとも1つが正しい出力を生成した場合に合格となります。Pass@1 は、単一回の試行での精度をテストし、Pass@5 は、モデルに5回の試行回数を与えます。 KL-Divergence Acceptance は、確率的な量子出力を取り扱います。量子測定は本質的に確率的であるため、正確な出力の一致は機能しません。代わりに、QuanBench+ は、参照分布とモデルの出力分布との間の KL ダイバージェンス \(D_{KL}(P_{\text{ref}} \| P)\) を計算します。ダイバージェンスが閾値 \(\tau = 0.05\) (ヌル分布の 0.997 分位数で調整) を下回る場合、出力は受け入れられます。 なぜ忠実度ではないのか？ 状態忠実度（state fidelity）は、完全な量子状態ベクトルへのアクセスを必要としますが、これは実際の量子ハードウェアでは利用できません。QuanBench+は、意図的に実際の量子デバイスでも機能する、測定に基づく正確性の基準を使用しています。 Qiskit、PennyLane、およびCirqの42個すべてのタスクは、標準化されたプロンプトと出力正規化によって整合性が保たれています。タスクには、Groverの探索アルゴリズム、Shorのアルゴリズム、量子フーリエ変換、VQEなどの古典的なアルゴリズム、ゲート分解の課題、および量子状態準備の問題が含まれます。各タスクは、決定的なシード制御を備えた、隔離されたサンドボックス環境で評価されます。 ## Results モデルが、実行の失敗によるエラーメッセージや、誤った回答に対するフィードバックを受け取ると、コードを最大5回まで修正することができます。この フィードバックループは、すべてのフレームワークにおいてパフォーマンスを大幅に向上させます。