NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

HeyLemonらのStreaming Dictation ASR、リアルタイム音声入力の失敗を4段階に分類する公開ベンチマーク──静かな英語で7.3%と7.4%の2システムが、ささやきでは8.8%と34.7%に分裂

HeyLemonのHarras Mansoor氏ら4名は2026年11月12日、リアルタイム音声入力(ディクテーション)の失敗を単語誤り率(WER)だけから、発生段階別の4分類に置き換えて測るベンチマーク「Beyond Word Error Rate」をarXivに公開した(プレプリント、arXiv:2611.16919)。単一話者の英語106録音(静かな部屋73・扇風機オン17・ささやき16)、11言語・方言セット各20件、二言語を結合した400件を11の音声認識システムへライブストリーミングし、全誤りを認識・出力整形・言語処理・モデル前段の音声処理の4レベルに固定ルールで分類した。静かな英語のWERはZoom Scribeの7.4%とGPT-Live-Transcribeの7.3%がほぼ同じだが、ささやき英語ではZoomが34.7%、GPT-Liveは8.8%に分裂する。自前構成のWhisperにSilero VADを前置きして無音と判定された音声を破棄すると、ささやきのWERが10.1%から51.4%に上がった。コードはApache 2.0、録音・参照・全トランスクリプトはCC BY 4.0で公開されている。

音声認識システムは通常、録音済みファイルから句読点や大文字、数字の表記を除いたテキストでWERを比べる。しかしディクテーションでは音声がライブでストリーミングされ、出力は書かれたままユーザーのメッセージに入る。このため問題になるのは平均の誤り率ではなく、ユーザーが直すことになる誤りがどの段階で起き、どの程度まとまって失われるかだ。論文はこの4つの違いを共通の枠組みで測るため、送信から確定までを実環境に近い形で再現するテストクライアントを作った。音声は発話速度で小さなチャンクに分割して送り、システムが確定したテキストだけを採点し、音声終了から確定までの時間も測定した。

テストデータは3種類ある。1つ目はチャット・メール・メモ・AIへの指示を想定して新たに書かれた英語106メッセージを、研究チーム メンバー1人が1条件につき1回ずつ読み上げたもの(静かな部屋73・扇風機オン17・ささやき16。条件ごとに文が異なるため比較は条件内)。2つ目は公開データセットから取った11言語・方言セット各20クリップ。3つ目はこれらを2言語ずつ結合した400録音で、言語切替の扱いを試す。加えて10件の無音クリップで、誰も話していないときにテキストを書くかを見る。全誤りは固定ルールで4レベルに分類される。

図解ディクテーションの失敗を4段階に分類する
  1. 01 入力

    ライブ音声ストリーム

    発話速度で小チャンク送信。確定したテキストのみ採点し、音声終了から確定までの時間も測る

  2. 02 モデル前段

    音声処理

    VADなどアプリ側の処理。自前構成のみ計測し、破棄された音声は第4レベルとして数える

  3. 03 レベル1

    認識

    単語の聞き間違い・欠落・幻覚(無音で実在しないテキストを書く)

  4. 04 レベル2

    出力整形

    数字の形式、文字体系(ウルドゥーをデーヴァナーガリーで書くなど)、逆テキスト正規化の癖

  5. 05 レベル3

    言語処理

    二言語録音で片方の言語の欠落、翻訳・ローマ字化

  6. 06 出力

    ユーザーが受け取る文字

    書かれたままメッセージに入り、直す負担が評価対象になる

arXiv:2611.16919本文3節・Table 1(著者の定義)。認識・出力整形・言語処理は全システム、モデル前段は自前構成(Baseten上のWhisper Large V3など9構成)のみ計測。

11システム(表には2つのバリアント構成を加えた13行)の結果で目立つのは、静かな英語のWERが近いシステム同士が、条件が変わると違う失敗をする点だ。Zoom Scribe 7.4%とGPT-Live-Transcribe 7.3%はほぼ同率だが、ささやき英語ではZoomが34.7%、GPT-Liveは8.8%で、ペア差は25.8ポイント(95%信頼区間10.3〜51.7)に達し、その大半が単語の欠落だった。

図解英語のWER: 静かな部屋対ささやき(単一話者)
  • Gemini Smart

    静かな英語
    3.9%
    ささやき
    4.2%
  • GPT-Live-Transcribe

    静かな英語
    7.3%
    ささやき
    8.8%
  • RT Whisper(自前構成)

    静かな英語
    8.2%
    ささやき
    8.9%
  • Zoom Scribe

    静かな英語
    7.4%
    ささやき
    34.7%
  • AssemblyAI 3.6

    静かな英語
    8.2%
    ささやき
    30.5%
  • Whisper SH(自前構成)

    静かな英語
    8.3%
    ささやき
    10.1%
  • Qwen3-ASR(自前構成)

    静かな英語
    13.6%
    ささやき
    46.6%

arXiv:2611.16919本文5・Table 3(著者報告、WERは95%信頼区間付き)。掲載は13行のうち代表的な7行。Gemini Smartの3.9%は静かな英語の最低値。ささやきは16クリップで区間が広い(Zoomは19.2〜60.2%)。RT WhisperとWhisper SH、Qwenは著者らの自前構成(Baseten上で実行)で、Zoom・GPT-Live・AssemblyAI・Geminiは各社のホスト型サービス。

欠落の原因をもう一段掘ると、アプリ側の前段処理の影響が大きい。ZoomとAssemblyAIの2モデルはささやきの単語を26〜28%欠落させるが、発話区切り(end-of-turn)検出を緩めるか切っても21〜26%が残った。Zoomで無音5秒後に区切るよう変えると欠落は27.6%から21.2%へ減るだけで、AssemblyAI 3.6では検出オフでも25.7%から22.7%にとどまる。同じ4システムは、107話者が同じ文を読み上げた公開コーパスEARSのささやきでも単語を7〜31%失い、他の6システムは2%未満だった。自前構成側でも、Silero VADを前置きして無音と判定された音声を破棄するだけささやきWERは10.1%から51.4%に上がり、TEN VADに替えると劣化はずっと小さく、Sileroの閾値を下げても修正しなかった。無音のときにWhisperが実在しないテキストを書く幻覚も、10件の無音クリップで確認されている。音声を破棄するのはモデルの前なので、これはモデル単体の欠陥ではなく、構成を含めて評価すべき失敗というのが論文の位置付けだ。

図解Whisper自前構成の前段処理によるささやきWERの変化(16クリップ)
  • Whisper単体

    ささやきWER
    10.1%
  • Whisper+Silero VAD(無音判定を破棄)

    ささやきWER
    51.4%

arXiv:2611.16919本文・セクション9(著者報告)。TEN VADに替えた構成の劣化は「ずっと小さい」と論文が記載するが具体値は本文の主文にない(付録Gに追加結果)。Sileroの閾値を下げても改善しなかった(Finding 3)。

留意点

結果は著者報告の査読前プレプリントだ。主要な英語データは研究チーム メンバー1人の読み上げで、扇風機オンのセットは騒音耐性のテストではなく別の読み上げ文書である。日本語は11の言語・方言セットに含まれず未評価で、二言語400件は別録音の結合で自然な言語切替ではない。商用APIの内部原因は観察から断定できず、自前構成の結果はモデル単体の欠陥ではない。ささやき条件は16クリップで信頼区間が広い。公開クリップのEARSはCC BY-NC 4.0、VOiCESはCC BY 4.0で非商用の研究評価に限られ、コードはApache 2.0、録音・2種の参照(書き起こし台本と発話参照)・全システムのトランスクリプトはCC BY 4.0で公開されている。介護記録などへの適用が臨床安全性を裏付けるものではない。

出典

  1. arXiv:2611.16919「Beyond Word Error Rate: A Failure Taxonomy of Streaming Dictation ASR」|Harras Mansoor、Muhammad Wisal、Hassan Bhatti、Masood Shakir(heylemon.ai)|投稿2026-11-12タイトル・著者4名・投稿日・要旨の数値(Zoom 7.4%対GPT-Live 7.3%、ささやき34.7%対8.8%、Silero VADで10.1%→51.4%)の根拠
  2. 同論文HTML版(v1)テストセット構成(106=73/17/16・20×11セット・二言語400件・無音10件)、4レベルの分類定義(Table 1)、13行のWER表(Table 3)、発話区切り設定の変化でも欠落が残る詳細、EARS 107話者での再現、Whisper 9構成の事例研究(セクション9)、確定までの時間測定(付録D.1)、ライセンス条件の根拠
  3. GitHub heylemon-ai/streaming-dictation-asr|作成2026-10-08・最終push 2026-11-13・Apache-2.0(GitHub API)テストクライアント・採点・表生成コードの公開とライセンスの根拠
  4. Hugging Faceデータセット hey-lemon/streaming-dictation-asr|ライセンスCC BY 4.0・最終更新2026-11-13(HF API)録音・参照・全トランスクリプトの公開とライセンスの根拠

出典の確認日 2026.11.16

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む