Samaya AIは2026年10月28日、公式研究ブログで金融調査向けにポストトレーニングしたモデル「Samaya Sterling」を公開しました。評価には、公開済みの220問・専門家作成ルーブリックからなる自社ベンチマークFrontierFinanceを使っています。58.9%という数値は、専門家の評価基準(ルーブリック)をどれだけ満たしたかの充足率であり、全問の正答率ではありません。
「「ずっと小さなモデルのポストトレーニングでも、Fable 5.1を有意に上回る品質の向上と11分の1のコスト低減が得られるとわかりました」」
We find that post-training even a much smaller model results in a meaningful increase in quality over Fable 5.1 and an 11× decrease in cost.
4段階の学習レシピ
ベースはNVIDIAのNemotron 3.5 Lightningで、総パラメータ30B・トークン当たりのアクティブパラメータ3BのMoE(混合専門家)モデルです。30億パラメータの総量モデルとは異なります。学習はLoRAで、Thinking Machines Labの学習API「Tinker」を使い、教師モデルはKimi K3です。最初の2段階は教師あり学習(SFT)で、段階1は合成した968問の調査トレース(教師が同じ質問に2回回答し、LLM判定者が良い方を選ぶ)で37個のツールの呼び方と報告書作成を学習。段階2は8種類の調査戦略で1,819問の専門家作成質問に回答させ、ルーブリック採点の最良例だけを学習データにしました(長さとツール呼び出し数の下位4分の1を除外して1,157問)。
- 01 段階1 SFT(合成)
968問
教師Kimi K3の2回答からLLM判定者が良い方を選んだ合成トレース。37個のツールの正しい呼び方を学ぶ
- 02 段階2 SFT(8戦略の最良)
1,819問→1,157問
8つの調査戦略の回答をルーブリック採点し、最良例だけを採用。平均で必須ルーブリックの80%を満たす
- 03 段階3 offline GRPO
132ステップ
8問×8回答の教師トレースをグループ内で比較し、平均を上回る回答を強化。生成なしで学べる
- 04 段階4 online GRPO
26ステップ
自分の16問×8試行を採点して学習。変動の大きい質問を優先し、最後の4ステップは予算切れが多い質問
Samaya公式ブログ(2026-10-28)による。LoRA学習はThinking Machines LabのTinker APIで実施。FrontierFinanceの質問は学習に使っておらず、チェックポイント選択は内部の検証用100問。
実行環境(harness)側の工夫も成果の一部です。金融専用のツールを37個に整え、長いツール出力を短くするcondenserと、実行履歴が伸びるにつれ要約するcompactorの2種の補助モデルを置き、調査にかけられる予算を設け、最終レポートは別のモデルが書く構成にしています。ブログは、harnessの小さな変更がスコアを動かすため「提供するharnessの中で学習・評価する」と説明し、追加学習後は質問当たりのツール呼び出しの中央値が3回から17回に増えたと報告しています。
スコアとコストの読み方
Samaya Sterling
- スコア
- 58.9%
- 質問当たりコスト
- 0.61ドル
- 平均所要時間
- 282秒
Samaya Sterling(高負荷)
- スコア
- 60.6%
- 質問当たりコスト
- 1.83ドル
- 平均所要時間
- 372秒
Legacy Samaya System(高負荷)
- スコア
- 56.0%
- 質問当たりコスト
- 1.81ドル
- 平均所要時間
- 278秒
Claude Fable 5.1(Finance Agent v2)
- スコア
- 55.9%
- 質問当たりコスト
- 6.89ドル
- 平均所要時間
- 268秒
ベースのNemotron 3.5 Lightningは42.5%。スコアは公開220問における専門家ルーブリックの充足率。Sterlingのコストは研究モデル(0.04ドル)にツールと補助モデルを加えた同社測定の実行コストで、API価格ではない。高負荷の372秒は2回実行の平均。
コストの内訳は、追加学習済みモデルが支える研究自体が0.04ドルで、残りの0.57ドルはツール呼び出しと補助モデルです。所要時間は282秒対268秒で、Sterlingが高速だとは言えません。学習段階ごとのスコアは、ベース42.5%→合成SFT 51.4%→最良教師SFT 54.8%→offline GRPO 57.5%→online GRPO 58.9%で、最も難しい3分の1の質問は31.8%から45.2%に上がりました。採点はAnthropic・Google・OpenAIの3社の判定モデルの多数決で、判定コードはApache 2.0で公開され、ルーブリックデータセットはCreative Commons Attribution 4.0でHugging Faceから入手できます。
何が新しく、何が未確認か
FrontierFinance自体は2026年8月に研究論文(arXiv:2608.11683、220問・11,543ルーブリック・6ユースケース)とともに公開済みで、今回の新しいのはモデル側の成果です。モデルと実行環境を一体で追加学習すれば、モデル単体の大規模化に頼らず品質と原価を改善できる、という技術的示唆がブログの主張です。一方で、58.9%の比較は同社が指定した評価条件に限られ、第三者が同じ条件で再現した結果はまだありません。Sterling追加学習済みの重みも公開APIも公表されておらず、実際の金融判断の精度や投資収益率への影響は示されていません。同社は今後、多数の小型エージェントによる調査、企業固有のモデルの構築、より大きなモデルへの同じレシピの適用を挙げています。
出典
- Samaya Sterling: A post-trained model for state-of-the-art financial research(Samaya AI公式研究ブログ、2026-10-28公開、2026-11-01全文確認)一次資料。Nemotron 3.5 Lightning(30B MoE・3Bアクティブ)へのLoRA追加学習、4段階(968問の合成SFT・1,819問→1,157問の最良教師SFT・offline GRPO 132ステップ・online GRPO 26ステップ)、Tinker API、37ツールとcondenser/compactor/予算/レポート作成役、42.5%→58.9%、0.61ドル対6.89ドル、282秒対268秒、高負荷60.6%・1.83ドル・372秒、研究モデル部分0.04ドル、ツール呼び出し中央値3→17回
- FrontierFinance benchmark(Samaya公式ベンチマークページ、2026-10-28更新、2026-11-01確認)一次資料。220問・11,543ルーブリック・平均52.5問あたり・6ユースケース、リーダーボード(Sterling 58.9%・282秒・0.61ドル、Legacy高負荷56.0%・1.81ドル、Fable 5.1 55.9%・268秒・6.89ドル)、コスト算出の注意(他社はエージェントモデル本体のみ)
- samaya-ai/frontier-finance(GitHub、2026-11-01確認)一次資料。採点コードの公開(Apache 2.0)、判定モデル3社(Sonnet 4.6・Gemini 3.1 Pro・GPT 5.4)の多数決、ルーブリックデータセットはCC BY 4.0でHugging Faceのsamaya-ai/FrontierFinanceから入手
- FrontierFinance: A Challenging Benchmark for Measuring Frontier Intelligence of Finance Agents(arXiv:2608.11683、2026-08-12公開、2026-11-01アブストラクト確認)一次資料。ベンチマーク自体は2026年8月公開。220問・11,543ルーブリック・6ユースケース、公開当時のトップはSamaya社内システム56.0%
出典の確認日 2026.11.01