NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

SenseNova、同じ層を2回使う9Bマルチモーダルモデル「Loop-9B-Preview」を公開――32種類の層で56層分の演算、Apache-2.0で重み公開

SenseNovaは2026年10月30日、デコーダー層の一部を重み共有で2回通す言語モデル「SenseNova-Loop-9B-Preview」の重みを公開しました。32種類のデコーダー層で、1回の前方計算が56層分の演算に達します。保存パラメータは約9Bです。テキストと画像を入力してテキストを出力するマルチモーダルモデルで、重みはHugging FaceでApache-2.0ライセンスのオープンウェイトとして配布されています。技術レポートは未公開で、性能の独立検証はまだありません。

SenseNovaの公式モデルカードは2026年10月30日付の告知で、長文コンテキストとエージェント業務向けのマルチモーダルモデル「SenseNova-Loop-9B-Preview」の公開を報せました。モデルの重みはHugging Faceで配布され、実装と推論・学習の手順はGitHubのOpenSenseNova/SenseNova-Loopに置かれています。ライセンスはいずれもApache-2.0です。fine-tuneの手順は、同組織のtorchtitanフォークにある学習例として公開されました。

24層のブロックを重み共有で2回通し、56層分の演算に

モデルは32層のデコーダーで構成されます。入力を層0〜3で処理した後、層4〜27の24層ブロックを同じ重みのまま2回適用し、層28〜31と出力ヘッドが結果を出します。この計算を、モデルカードはB(B(h))と表記します。1回の前方計算が56回の層演算に達する一方、保存する重みは32層分だけです。

「推論時に、モデルは1回の前方計算で56回のデコーダー層計算を実行し、保存するのは32組のデコーダー層重みだけです。」

During inference, the model performs 56 decoder-layer computations per forward pass while storing only 32 sets of decoder-layer weights.

SenseNova-Loop-9B-Previewモデルカード(Hugging Face、2026年10月30日付公開、2026年11月1日全文確認)

ループ区間では、2本の残差ストリームの情報の流れを2ストリームのmHC(manifold-constrained hyper-connections)が制御します。層がストリームから読み取り、混ぜ合わせ、出力を戻す方法は学習済みマッピングで決まり、ストリーム混合の写像はSinkhorn正規化で拘束されます。文書化された設定は20回の反復です。注意機構は、3層のlinear attentionと1層のfull attentionを4層単位で交互に並べるハイブリッドで、ループ境界は4層グループの区切りに一致します。モデルカードの仕様表は、隠れ次元4,096、FFN次元12,288、語彙数248,320、full attentionは16ヘッドと4つのKVヘッドを挙げています。

図解保存する重みと推論時の演算
  • 保存する重み

    数値
    32層分・約9B
    内容
    テキストと画像を入力する自己回帰型デコーダーの全重み
  • 1回の前方計算

    数値
    56回の層演算・約14.6B換算
    内容
    24層ブロックを2回通すため。14.6Bは異なる重みを保持する意味ではない
  • ループの対象

    数値
    層4〜27の24層・2回通過
    内容
    同じ重みを2回適用するB(B(h))の形

モデルカードのModel specifications表(2026-10-30公開、2026-11-01確認)による。「約14.6B」は開発元が推論時の層演算を換算した表記で、保存パラメータとは別の量です。

モデルカードの概要は、文書化された学習レシピが最長262,144トークンのシーケンスで、テキスト・画像・コード・ツール操作の軌跡を組み合わせたと説明します。この262,144は学習シーケンス長の公表値で、実運用環境での動作保証を示すものではありません。推論加速の方式では、MTPが利用可能、DSparkとDFlash2は学習中と明記され、達できる速度は仕事・ハードウェア・提供構成によって変わると注記されています。

図解推論バックエンドの提供形態
  • Transformers

    提供形態
    公式の検証環境
    内容
    Transformers 5.18.0・PyTorch 2.11.0・CUDA 13.0。trust_remote_code=Trueでモデル固有コードをロード
  • SGLang

    提供形態
    PR版の利用を案内
    内容
    PR #47281のコードを取得してインストールする手順
  • vLLM

    提供形態
    PR版の利用を案内
    内容
    PR #64832のコードを取得してインストールする手順
  • LightLLM

    提供形態
    4GPUの公式例
    内容
    公式イメージでテンソル並列4の起動例

モデルカードのGetting startedとDeploymentの各節(2026-11-01確認)による。標準配布版での動作は保証されておらず、PR版またはカスタム実装を使う手順が示されています。

同じ重みを繰り返し適用する設計は、保存メモリを増やさずに計算経路を深くします。メモリ制約が強い専用モデルで、重み数とは別に計算深度を調整する選択肢です。一方で56回の層演算は推論計算量を増やすため、低レイテンシーや低コストが自動的に得られるわけではありません。モデルカードに載る他モデルとの比較チャートは開発元の測定で、独立した再現はまだ確認できていません。trust_remote_code=Trueでモデル固有コードをロードする構成は、実行前にコードの内容を確認する前提になります。

技術レポートはモデルカードでTBDとされ、未公開です。今後は再現可能な独立ベンチマーク、SGLangとvLLMの標準版対応、量子化やローカルGPUでの実測、エージェント業務での成功率と費用が、この設計の実用性を判断する材料になります。

出典

  1. SenseNova-Loop-9B-Previewモデルカード(SenseNova、Hugging Face、2026-10-30付告知、2026-11-01全文確認)公開告知(2026.10.30)、Apache-2.0、32層/56回の構成、層4〜27の2回適用、2ストリームmHCとSinkhorn 20回、3線形+1fullの注意パターン、9B/14.6Bなどの仕様、学習長262,144、MTP利用可能、検証環境、SGLang/vLLM/LightLLMの手順、技術レポートTBD、引用文
  2. SenseNova-Loopリポジトリ(OpenSenseNova、GitHub、2026-11-01確認)実装リポジトリ、Apache-2.0、モデルカードと同一の告知と構成説明
  3. SenseNova-Loop-9B-Preview学習例(OpenSenseNova/torchtitan、GitHub、2026-11-01確認)fine-tuneとDSpark・DFlash2学習例の公開
  4. SGLang PR #47281(sgl-project/sglang、GitHub、2026-11-01確認)モデルカードが案内するSGLang対応の実装PR
  5. vLLM PR #64832(vllm-project/vllm、GitHub、2026-11-01確認)モデルカードが案内するvLLM対応の実装PR

出典の確認日 2026.11.01

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む