業務特化のLLMを作るとき、壁になるのが知識の定着だ。モデル全体を再学習させて知識を与える方法が一般的だが、NTTのリリースによれば、A4用紙1ページが数キロバイトのテキストであるのに対し、知識の付与には数十ギガバイト(1千万倍)を超えるデータを使う。実際の業務現場でこの量のマニュアルをそろえるのは難しく、インターネットから集めると業務と無関係な情報が混入しやすい。
「本技術では、LLM自身がLLM向けの学習教材を作成するかのように業務マニュアルから学習データを生成し、それを通して学ぶことで知識を高い精度で定着させます。」
本技術では、LLM自身がLLM向けの学習教材を作成するかのように業務マニュアルから学習データを生成し、それを通して学ぶことで知識を高い精度で定着させます。
マニュアルから複数の形式の教材を生成する
着想は学校の授業にある。国語の授業では文章を読むだけでなく、著者の意図を確かめる設問や感想を述べ合う活動で学びを深める。この技術はそれにならって、LLM自身に業務マニュアルを学ぶための教材を多角的に構築させ、自分の学びに使わせる。マニュアルから仕様書やFAQといった多様な表現形式のデータを生成し、それで学習することで、従来より高精度にマニュアルに書かれた知識を獲得できたという。技術はtsuzumiをはじめ他のLLMにも適用可能だとしている。
- 01 入力
業務マニュアル
問い合わせ対応マニュアルなど、業務知識を記載したドキュメントを用意する。
- 02 教材生成(LLM自身)
仕様書・FAQなど多形式
LLMがマニュアルの内容を複数の表現形式の学習データに変換する。
- 03 チューニング
生成データで学習
生成した学習データでLLMを学習させ、マニュアルの知識を定着させる。
- 04 評価
マニュアル範囲内の問題で正答率を計測
記載範囲内から作った問題をLLMに解かせ、知識の定着度を測る。
NTTプレスリリース(2026-11-12)の「2.技術のポイント」「3.実験の概要」に基づく。生成するデータの量や形式の詳細は公表資料には記載がない。
tsuzumi 2では65.3%→83.1%
実験ではNTTの実業務マニュアルを与え、マニュアルの記載範囲内から作った問題をLLMに解かせて正答率を測った。tsuzumi 2の学習前の正答率は65.3%。比較した先行研究では最大73.3%まで向上したのに対し、本技術では83.1%に達した。先行研究の最大値との差は+9.8ポイント、学習前との差は+17.8ポイントになる(リリースの表現は「さらに10%近く正答率を向上」)。比較した先行研究は、数学問題・FAQ・表問題・手順書形式に言い換えるFinePhrase(Niklaus+, 2026)と、Nemotron-Personas-Japanなどのデータセットから選んだペルソナに応じて言い換える手法で、従来手法はオリジナルデータの繰り返し利用だ。
学習前チューニングなし
- データ
- —
- 正答率
- 65.3%
- 提案法との差
- +17.8
先行研究FinePhrase・ペルソナ言い換え
- データ
- 最大
- 正答率
- 73.3%
- 提案法との差
- +9.8
提案法今回の技術
- データ
- —
- 正答率
- 83.1%
- 提案法との差
- —
NTTプレスリリース(2026-11-12)「3.実験の概要」。問題はNTTの実業務マニュアルの記載範囲内から作成。「提案法との差」は本記事の計算値。
tsuzumi 2より軽量なLlama 3(3B)でも同様の評価を行い、特化モデルは基本的な性能が低くなりがちで実施の必要性が高いとして、先行研究より優れることを確認したとしている。ただしLlama 3の数値はリリース本文に掲載されていない。リリースの図2は横軸にチューニング時に与えたデータ量を取るが、データ量ごとの具体値も記載がない。
グループ導入は計画、11月のR&D FORUMで展示
本技術はNTTグループ各社に導入される予定だ。チューニングには複数の観点があるため様々な手法を組み合わせることになり、本技術はその1つになるとする。2026年11月18〜25日に開催されるNTT R&D FORUM 2026で展示予定で、tsuzumiの用途拡大の軌跡や、AIエージェントが能動的に業務を覚えるための技術開発も紹介する予定だ。tsuzumi 2は2025年10月20日に提供が始まり、2026年5月19日には図表入り日本語ビジネス文書処理の性能を上げるアップデートが発表されており、今回の技術は業務固有の知識を持った個社オリジナルのtsuzumiを容易に提供するための位置づけとされる。
数字の読み方には注意が要る。評価問題をマニュアルの記載範囲内から作っているため、83.1%は「そのマニュアルの知識に関する正答率」であり、一般の業務精度やモデルの全般的な能力を示す数値ではない。評価サンプル数、生成した学習データの量、評価問題が学習データと重複しないための仕組み、コストはいずれも公表資料では確認できない。公開実装や提供時期の記載もない。発表は単一企業の自己評価で、独立した検証はまだない。更新頻度の高い情報の扱いやRAG(外部検索)との使い分けについても言及がない。
出典
- NTTプレスリリース「少量データから特定の専門性を有したLLMにチューニングする技術を確立」(PR Times配信)2026-11-12 10:00配信。発表のポイント、技術のポイント、実験の概要の数値65.3/73.3/83.1、比較手法(FinePhrase・ペルソナ言い換え)、今後の展開、用語解説。
- NTT R&D FORUM 2026開催日の確認(2026年11月18日〜20日、11月24日〜25日の5日間)。
- NTT「NTT版LLM tsuzumi 2アップデート」2026-05-19付。tsuzumi 2のアップデート履歴(図表入り日本語ビジネス文書処理性能)。
出典の確認日 2026.11.13