BenchMIRTとは：2026年Ai2によるベンチマーク設問監査
Ai2は9月1日にBenchMIRTを出した。合計点ではなく設問単位の監査。旗艦再録ではなく、二つの軸の話。
2026年9月1日、Allen Institute for AI（Ai2）は Hugging Face で BenchMIRT を公開した。合計点ではなく、各設問が実際に何を測っているかを推定する監査手法である。
旗艦モデルの再録ではない。本稿は Ai2 が書いた方法・標本・限界だけを読む。オープンウェイト 100 モデル、16 ベンチ、3.4 万問超。ラベルを教えなくても、安全と一般推論の二次元が安定して回収された。
手法が実際にしていること
ベンチは通常、安全・推論・指示追従など単一能力を標榜する。一つの項目はそれ以上に依存し得る。BBQ の祖孫が Uber を取る設問は年齢ステレオタイプを探ると同時に、誰が誰かを追い、仮定ではなく証拠から推論することを求める。
IRT から MIRT へ
項目反応理論は心理測定から来る。すべての設問が同じ情報量を持つわけではない。Ai2 は Fluid Benchmarking で一次元 IRT を使っていた。BenchMIRT は多次元 IRT に拡張し、同一項目上の複数能力を分離する。
モデル側と設問側
モデルについては、選んだベンチが映す能力の強さを推定する。設問については難易度と、その能力で強弱をどれだけ分けるかを推定する。
ラベルは与えない
訓練は 100 LLM、16 ベンチ、3.4 万問超。推論側 6 本には MMLU-Pro、GPQA、MATH、BBH。安全側 10 本は Olmo 3 スイートで、HarmBench、StrongReject、WildJailbreak、BBQ、WMDP、XSTest を含む。各ベンチが何を測るかは手法に教えていない。
戻ってきた二つの軸
-
1
まず安定した回収
手法は主導次元として安全と一般推論を独立に回収した。ゼロからやり直しても同じ対が出る。推論ベンチの高得点は推論に、ジェイルブレイクや有害内容ベンチの高得点は安全に沿った。
-
2
次に誤分類された項目
BBQ は安全に分類されがちだが、一般推論により強く乗った。低得点はステレオタイプだけでなく、設問理解の難しさでもあり得る。WMDP は生物・化学・サイバーの危険な両用知識を試し、こちらも推論寄り。一般推論が強いほど WMDP は低くなった。危険知識を拒むか出せないことが望ましい応答だからだ。
-
3
同一ベンチ内の分裂
WildJailbreak は有害ジェイルブレイクと、無害な要求を拒みすぎないかを試す設問を一つの点に平均する。HarmBench では標準・文脈付きの有害依頼が安全に、著作権項目（「What a Wonderful World」の歌詞生成など）が一般推論により乗った。
設問を減らしても図は残るか
情報量で並べたあと、16 ベンチで設問の 10% だけ残しても、下層の安全または推論の強弱の見取りはおおむね保たれた。50% なら全量により近いことが多い。未観測のホールドアウト設問の正誤予測は 79%。ベンチ平均で当てる単純法は 70% だった。
| 知見 | 公開された主張 | 読み方 |
|---|---|---|
| 主導軸 | 安全 / 一般推論 | ラベルなしで回収 |
| BBQ、WMDP | 推論に近い | 安全スイートの点は安全行動ではない |
| 設問削減 | 10% で図はほぼ残る | すべての設問が同じ情報量ではない |
Ai2 は、ベンチが欠陥だとは限らないと書く。一つの合計点が複数の信号を重ね得ること、それを BenchMIRT がほどく、という話だ。
- 順位だけ欲しいときの代償
- ランダムなホールドアウト項目の予測成績で順位を付けるなら、ベンチ平均の方が BenchMIRT よりわずかに良い。後者の強みは設問単位の見取りであり、総合表ではない。
- 有用な設問を削るリスク
- 安全能力を最もよく分ける設問を落とす用途にも使える。不安全なモデルが弱い評価を通りやすくなる。著者は透明性に見合うとしつつ、リスクを明記する。
- 軸はセットに従う
- 別の評価の組み合わせなら別の能力が出る。二次元の話はこの 16 本に縛られる。
チームが一枚の図を欲しいとき
読んだあとに足りないのは、安全軸と推論軸、そして BBQ / WMDP を純安全点にできない理由の一枚だ。会議スイートは不要。tidemeetで短い空間を開くか、空間の作り方を見る。ハーネスが点数をどう変えるかはARC-AGI-3 の二つの点数、評価隔離の破綻はMETR と Hugging Face。
# 軸
safety ↔ general-reasoning
bbq/wmdp ≠ safety-only質問
新しい旗艦モデルの記事か。
違う。BenchMIRT は評価監査の手法であり、モデル発表ではない。標本は 2025年3月以前のオープンウェイトで止まる。
2026 年の Astra や Fable に使えるか。
投稿は、訓練と評価に使ったモデルがすべて 2025年3月までだと書く。新しい世代は対象外。標本に無い旗艦へ二次元を貼ってはいけない。
設問 10% でベンチ全体の代わりになるか。
著者の主張は、この 16 本では情報量の高い 10% が強弱の見取りをおおむね保つ、というものだ。ランダムなホールドアウトの予測順位なら、全量平均の方がわずかに良い。
一時的な会議ツールと何の関係か。
製品の結びつきはない。二つの軸と誤分類ベンチを一枚に描くだけなら、一時会議ツール比較が短いブラウザ空間で足りる場合を示す。