推論モデルの費用を抑える研究は、これまでモデルが書き出す思考の量を短くする方法か、モードを切り替える方法が中心だった。どちらも答え自体はトークンを1つずつ生成して書き出すため、判断のたびに生成コストと遅延がかかる。別の流れとして、Jev(TypeSafe AI)やAnyJev(Nokia Applied Research)のような「System 1」型のモデルがあり、推論時にトークンを一切出さず1回の非自己回帰パスで答える。ただしこれらは推論モデルのバックボーンを判断専用に適応させた別のモデルで、書き出し型の能力は持たない。
HDMはこの二つを単一のモデルにまとめる。バックボーンは凍結したままで、学習するのは軽量な「セルフルーティングブロック」だけだ。高速経路ではプロンプトを1回順伝播し、readout位置の隠れ状態から候補のスコアを取り出す。生成トークンはゼロだが、入力を処理する計算は必要だ。ブロックはこの隠れ状態と候補分布の8つの統計量を読み、逐次推論が高速経路に上乗せする期待効用、つまり「思考の価値」を推定する。価値がリクエストごとに設定した価格λを上回るときだけ、同じバックボーンが最大4,096トークンの予算で鎖状思考を書いてから答える(貪欲デコード)。予算で打ち切られる質問は4Bの36.1%・27Bの14.9%あり、論文はこの条件での精度とトークン数は下限だと明示している。
セルフルーティングブロックの推定思考の価値 v_i
- v_i ≤ λ(価格以下)
即答・生成トークン0
高速経路の候補スコアをそのまま返す。生成トークンはゼロだが、入力1回の順伝播は必要
- v_i > λ(価格超過)
逐次推論・最大4,096トークン
同一の凍結バックボーンが鎖状思考を書いてから答える(貪欲デコード)
arXiv:2611.16961本文2.1。λはベンチマークごとの調整値ではなくリクエストに設定する価格パラメータと論文は位置付ける。対象は候補を列挙できる型付き判断(選択・二値判断・採点型)で、自由文生成全般をゼロトークン化する手法ではない。
学習は課題の型で二通りに分かれる。正解ラベルを取りやすい単発課題では、高速・低速の両経路の結果から自己ラベル付きの教師あり学習でブロックを学ぶ。ALFWorldのようなエピソード型エージェント課題では、1つの意思決定ごとに正解がないため、PPO系の強化学習レシピCDPO(Calibrated Decision Policy Optimisation)を使う。エピソードのリターンを、途中で投入したescalationの回数で割り引いた値を報酬にしてブロックを学習する。
単発の判断課題JevBench(231問)では、λ=0のHDM-4Bが0.857に達し、非自己回帰型のJev(0.851)を+0.7%上回りながら、回答の中央値遅延を0.652秒から0.179秒へ72.5%減らした。スケールの大きいHDM-27Bは0.987で、中央値2.49秒だった。
Jev(System 1型の比較相手)
- 正答率
- 0.851
- 中央値の回答時間
- 0.652秒
HDM-4B
- 正答率
- 0.857
- 中央値の回答時間
- 0.179秒
HDM-27B
- 正答率
- 0.987
- 中央値の回答時間
- 2.49秒
arXiv:2611.16961本文3.3・Table 2(著者報告)。JevBenchは139 choice・74 noul(二値判断)・18 score(採点型)の231問で、学習していない型への転移も試され、λ=0でnoulを0.784・choiceを0.417の頻度でescalateした。Jevは推論時にトークンを出さない別方式の専用モデルで、同一バックボーンの比較ではない。
逐次推論を常時使う場合とのトレードオフも測っている。単発課題では、AGIEvalでHDM-27Bはλ=0.1のとき正答率0.925から0.910へ1.5ポイント下げる代わりに思考トークンを824から519へ37%減らし、1問あたりの時間も18.14秒から11.54秒へ36%短くした。エージェント課題では、134のヘルドアウト課題からなるALFWorldでHDM(λ=0)が報酬0.560を達成し、常時思考の0.642と即答の0.463の中間で、思考トークンを52%削った。27のヘルドアウト課題からなるMiniWoBでは、HDMが報酬0.469で常時思考の0.519に0.05及ばない一方、思考トークンを3,345から664へ80.1%減らし、エピソードあたりの実時間を96.1秒から31.3秒へ67.4%短くした。
ALFWorld 報酬
- 速い経路のみ
- 0.463
- HDM
- 0.560
- 遅い経路のみ
- 0.642
ALFWorld 思考トークン/エピソード
- 速い経路のみ
- 0
- HDM
- 3,015
- 遅い経路のみ
- 6,254
MiniWoB 報酬
- 速い経路のみ
- 0.407
- HDM
- 0.469
- 遅い経路のみ
- 0.519
MiniWoB 思考トークン/エピソード
- 速い経路のみ
- 0
- HDM
- 664
- 遅い経路のみ
- 3,345
arXiv:2611.16961本文3.4・Table 4(著者報告)。ALFWorldは134のヘルドアウト課題でλ=0の1回実行、MiniWoBは27のヘルドアウト課題でHDMの行は3シードのプール。MiniWoBのトークン削減率は80.1%・実時間は67.4%減(96.1秒→31.3秒)。
留意点
結果は著者報告の査読前プレプリント(ICML形式)で、第三者の再現はない。コードと重みは公開されておらず、論文内の公開予定URLはプレースホルダーのまま(Appendix A脚注)。「生成トークンゼロ」は「計算ゼロ」ではない。高速経路でもプロンプト1回の順伝播が必要で、入力が長いほどその費用は増える。対象は候補を列挙できる型付き判断とエージェントの意思決定で、自由文の長い生成をゼロトークン化する手法ではない。Jevとの比較は別方式のSystem 1モデル間の比較であり、HDM-4Bの優位は+0.7%と小さい。実運用の金銭コストやSLAでの検証、多数の判断を走らせる実システムでの効果は論文の範囲外で、編集部の見立てとして区別する。
出典
- arXiv:2611.16961「The Value of Thinking: Learning When to Reason in Hybrid Decision Models」|Zhengxu Yu、Ke Xu、Meng Fang、Haitham Ammar、Weilin Luo、Jun Wang(Huawei Noah's Ark Lab・University of Liverpool・University College London)|投稿2026-11-12タイトル・著者6名・所属・投稿日の根拠
- 同論文HTML版(v1)zero-or-T thinkingの定義、HDMの構成(凍結バックボーン・セルフルーティングブロック・価格λ)、バックボーン2種と思考予算4,096トークン、CDPOの仕組み、JevBench・AGIEval・ALFWorld・MiniWoBの全数値(Table 2・4)、コードURLがプレースホルダーである点、ライセンスCC BY-NC-ND 4.0の根拠
出典の確認日 2026.11.16