音声認識システムは通常、録音済みファイルから句読点や大文字、数字の表記を除いたテキストでWERを比べる。しかしディクテーションでは音声がライブでストリーミングされ、出力は書かれたままユーザーのメッセージに入る。このため問題になるのは平均の誤り率ではなく、ユーザーが直すことになる誤りがどの段階で起き、どの程度まとまって失われるかだ。論文はこの4つの違いを共通の枠組みで測るため、送信から確定までを実環境に近い形で再現するテストクライアントを作った。音声は発話速度で小さなチャンクに分割して送り、システムが確定したテキストだけを採点し、音声終了から確定までの時間も測定した。
テストデータは3種類ある。1つ目はチャット・メール・メモ・AIへの指示を想定して新たに書かれた英語106メッセージを、研究チーム メンバー1人が1条件につき1回ずつ読み上げたもの(静かな部屋73・扇風機オン17・ささやき16。条件ごとに文が異なるため比較は条件内)。2つ目は公開データセットから取った11言語・方言セット各20クリップ。3つ目はこれらを2言語ずつ結合した400録音で、言語切替の扱いを試す。加えて10件の無音クリップで、誰も話していないときにテキストを書くかを見る。全誤りは固定ルールで4レベルに分類される。
- 01 入力
ライブ音声ストリーム
発話速度で小チャンク送信。確定したテキストのみ採点し、音声終了から確定までの時間も測る
- 02 モデル前段
音声処理
VADなどアプリ側の処理。自前構成のみ計測し、破棄された音声は第4レベルとして数える
- 03 レベル1
認識
単語の聞き間違い・欠落・幻覚(無音で実在しないテキストを書く)
- 04 レベル2
出力整形
数字の形式、文字体系(ウルドゥーをデーヴァナーガリーで書くなど)、逆テキスト正規化の癖
- 05 レベル3
言語処理
二言語録音で片方の言語の欠落、翻訳・ローマ字化
- 06 出力
ユーザーが受け取る文字
書かれたままメッセージに入り、直す負担が評価対象になる
arXiv:2611.16919本文3節・Table 1(著者の定義)。認識・出力整形・言語処理は全システム、モデル前段は自前構成(Baseten上のWhisper Large V3など9構成)のみ計測。
11システム(表には2つのバリアント構成を加えた13行)の結果で目立つのは、静かな英語のWERが近いシステム同士が、条件が変わると違う失敗をする点だ。Zoom Scribe 7.4%とGPT-Live-Transcribe 7.3%はほぼ同率だが、ささやき英語ではZoomが34.7%、GPT-Liveは8.8%で、ペア差は25.8ポイント(95%信頼区間10.3〜51.7)に達し、その大半が単語の欠落だった。
Gemini Smart
- 静かな英語
- 3.9%
- ささやき
- 4.2%
GPT-Live-Transcribe
- 静かな英語
- 7.3%
- ささやき
- 8.8%
RT Whisper(自前構成)
- 静かな英語
- 8.2%
- ささやき
- 8.9%
Zoom Scribe
- 静かな英語
- 7.4%
- ささやき
- 34.7%
AssemblyAI 3.6
- 静かな英語
- 8.2%
- ささやき
- 30.5%
Whisper SH(自前構成)
- 静かな英語
- 8.3%
- ささやき
- 10.1%
Qwen3-ASR(自前構成)
- 静かな英語
- 13.6%
- ささやき
- 46.6%
arXiv:2611.16919本文5・Table 3(著者報告、WERは95%信頼区間付き)。掲載は13行のうち代表的な7行。Gemini Smartの3.9%は静かな英語の最低値。ささやきは16クリップで区間が広い(Zoomは19.2〜60.2%)。RT WhisperとWhisper SH、Qwenは著者らの自前構成(Baseten上で実行)で、Zoom・GPT-Live・AssemblyAI・Geminiは各社のホスト型サービス。
欠落の原因をもう一段掘ると、アプリ側の前段処理の影響が大きい。ZoomとAssemblyAIの2モデルはささやきの単語を26〜28%欠落させるが、発話区切り(end-of-turn)検出を緩めるか切っても21〜26%が残った。Zoomで無音5秒後に区切るよう変えると欠落は27.6%から21.2%へ減るだけで、AssemblyAI 3.6では検出オフでも25.7%から22.7%にとどまる。同じ4システムは、107話者が同じ文を読み上げた公開コーパスEARSのささやきでも単語を7〜31%失い、他の6システムは2%未満だった。自前構成側でも、Silero VADを前置きして無音と判定された音声を破棄するだけささやきWERは10.1%から51.4%に上がり、TEN VADに替えると劣化はずっと小さく、Sileroの閾値を下げても修正しなかった。無音のときにWhisperが実在しないテキストを書く幻覚も、10件の無音クリップで確認されている。音声を破棄するのはモデルの前なので、これはモデル単体の欠陥ではなく、構成を含めて評価すべき失敗というのが論文の位置付けだ。
Whisper単体
- ささやきWER
- 10.1%
Whisper+Silero VAD(無音判定を破棄)
- ささやきWER
- 51.4%
arXiv:2611.16919本文・セクション9(著者報告)。TEN VADに替えた構成の劣化は「ずっと小さい」と論文が記載するが具体値は本文の主文にない(付録Gに追加結果)。Sileroの閾値を下げても改善しなかった(Finding 3)。
留意点
結果は著者報告の査読前プレプリントだ。主要な英語データは研究チーム メンバー1人の読み上げで、扇風機オンのセットは騒音耐性のテストではなく別の読み上げ文書である。日本語は11の言語・方言セットに含まれず未評価で、二言語400件は別録音の結合で自然な言語切替ではない。商用APIの内部原因は観察から断定できず、自前構成の結果はモデル単体の欠陥ではない。ささやき条件は16クリップで信頼区間が広い。公開クリップのEARSはCC BY-NC 4.0、VOiCESはCC BY 4.0で非商用の研究評価に限られ、コードはApache 2.0、録音・2種の参照(書き起こし台本と発話参照)・全システムのトランスクリプトはCC BY 4.0で公開されている。介護記録などへの適用が臨床安全性を裏付けるものではない。
出典
- arXiv:2611.16919「Beyond Word Error Rate: A Failure Taxonomy of Streaming Dictation ASR」|Harras Mansoor、Muhammad Wisal、Hassan Bhatti、Masood Shakir(heylemon.ai)|投稿2026-11-12タイトル・著者4名・投稿日・要旨の数値(Zoom 7.4%対GPT-Live 7.3%、ささやき34.7%対8.8%、Silero VADで10.1%→51.4%)の根拠
- 同論文HTML版(v1)テストセット構成(106=73/17/16・20×11セット・二言語400件・無音10件)、4レベルの分類定義(Table 1)、13行のWER表(Table 3)、発話区切り設定の変化でも欠落が残る詳細、EARS 107話者での再現、Whisper 9構成の事例研究(セクション9)、確定までの時間測定(付録D.1)、ライセンス条件の根拠
- GitHub heylemon-ai/streaming-dictation-asr|作成2026-10-08・最終push 2026-11-13・Apache-2.0(GitHub API)テストクライアント・採点・表生成コードの公開とライセンスの根拠
- Hugging Faceデータセット hey-lemon/streaming-dictation-asr|ライセンスCC BY 4.0・最終更新2026-11-13(HF API)録音・参照・全トランスクリプトの公開とライセンスの根拠
出典の確認日 2026.11.16