SenseNovaの公式モデルカードは2026年10月30日付の告知で、長文コンテキストとエージェント業務向けのマルチモーダルモデル「SenseNova-Loop-9B-Preview」の公開を報せました。モデルの重みはHugging Faceで配布され、実装と推論・学習の手順はGitHubのOpenSenseNova/SenseNova-Loopに置かれています。ライセンスはいずれもApache-2.0です。fine-tuneの手順は、同組織のtorchtitanフォークにある学習例として公開されました。
24層のブロックを重み共有で2回通し、56層分の演算に
モデルは32層のデコーダーで構成されます。入力を層0〜3で処理した後、層4〜27の24層ブロックを同じ重みのまま2回適用し、層28〜31と出力ヘッドが結果を出します。この計算を、モデルカードはB(B(h))と表記します。1回の前方計算が56回の層演算に達する一方、保存する重みは32層分だけです。
「推論時に、モデルは1回の前方計算で56回のデコーダー層計算を実行し、保存するのは32組のデコーダー層重みだけです。」
During inference, the model performs 56 decoder-layer computations per forward pass while storing only 32 sets of decoder-layer weights.
ループ区間では、2本の残差ストリームの情報の流れを2ストリームのmHC(manifold-constrained hyper-connections)が制御します。層がストリームから読み取り、混ぜ合わせ、出力を戻す方法は学習済みマッピングで決まり、ストリーム混合の写像はSinkhorn正規化で拘束されます。文書化された設定は20回の反復です。注意機構は、3層のlinear attentionと1層のfull attentionを4層単位で交互に並べるハイブリッドで、ループ境界は4層グループの区切りに一致します。モデルカードの仕様表は、隠れ次元4,096、FFN次元12,288、語彙数248,320、full attentionは16ヘッドと4つのKVヘッドを挙げています。
保存する重み
- 数値
- 32層分・約9B
- 内容
- テキストと画像を入力する自己回帰型デコーダーの全重み
1回の前方計算
- 数値
- 56回の層演算・約14.6B換算
- 内容
- 24層ブロックを2回通すため。14.6Bは異なる重みを保持する意味ではない
ループの対象
- 数値
- 層4〜27の24層・2回通過
- 内容
- 同じ重みを2回適用するB(B(h))の形
モデルカードのModel specifications表(2026-10-30公開、2026-11-01確認)による。「約14.6B」は開発元が推論時の層演算を換算した表記で、保存パラメータとは別の量です。
モデルカードの概要は、文書化された学習レシピが最長262,144トークンのシーケンスで、テキスト・画像・コード・ツール操作の軌跡を組み合わせたと説明します。この262,144は学習シーケンス長の公表値で、実運用環境での動作保証を示すものではありません。推論加速の方式では、MTPが利用可能、DSparkとDFlash2は学習中と明記され、達できる速度は仕事・ハードウェア・提供構成によって変わると注記されています。
Transformers
- 提供形態
- 公式の検証環境
- 内容
- Transformers 5.18.0・PyTorch 2.11.0・CUDA 13.0。trust_remote_code=Trueでモデル固有コードをロード
SGLang
- 提供形態
- PR版の利用を案内
- 内容
- PR #47281のコードを取得してインストールする手順
vLLM
- 提供形態
- PR版の利用を案内
- 内容
- PR #64832のコードを取得してインストールする手順
LightLLM
- 提供形態
- 4GPUの公式例
- 内容
- 公式イメージでテンソル並列4の起動例
モデルカードのGetting startedとDeploymentの各節(2026-11-01確認)による。標準配布版での動作は保証されておらず、PR版またはカスタム実装を使う手順が示されています。
同じ重みを繰り返し適用する設計は、保存メモリを増やさずに計算経路を深くします。メモリ制約が強い専用モデルで、重み数とは別に計算深度を調整する選択肢です。一方で56回の層演算は推論計算量を増やすため、低レイテンシーや低コストが自動的に得られるわけではありません。モデルカードに載る他モデルとの比較チャートは開発元の測定で、独立した再現はまだ確認できていません。trust_remote_code=Trueでモデル固有コードをロードする構成は、実行前にコードの内容を確認する前提になります。
技術レポートはモデルカードでTBDとされ、未公開です。今後は再現可能な独立ベンチマーク、SGLangとvLLMの標準版対応、量子化やローカルGPUでの実測、エージェント業務での成功率と費用が、この設計の実用性を判断する材料になります。
出典
- SenseNova-Loop-9B-Previewモデルカード(SenseNova、Hugging Face、2026-10-30付告知、2026-11-01全文確認)公開告知(2026.10.30)、Apache-2.0、32層/56回の構成、層4〜27の2回適用、2ストリームmHCとSinkhorn 20回、3線形+1fullの注意パターン、9B/14.6Bなどの仕様、学習長262,144、MTP利用可能、検証環境、SGLang/vLLM/LightLLMの手順、技術レポートTBD、引用文
- SenseNova-Loopリポジトリ(OpenSenseNova、GitHub、2026-11-01確認)実装リポジトリ、Apache-2.0、モデルカードと同一の告知と構成説明
- SenseNova-Loop-9B-Preview学習例(OpenSenseNova/torchtitan、GitHub、2026-11-01確認)fine-tuneとDSpark・DFlash2学習例の公開
- SGLang PR #47281(sgl-project/sglang、GitHub、2026-11-01確認)モデルカードが案内するSGLang対応の実装PR
- vLLM PR #64832(vllm-project/vllm、GitHub、2026-11-01確認)モデルカードが案内するvLLM対応の実装PR
出典の確認日 2026.11.01