Googleの研究チームは、音声のみで学習する音声言語モデル（SLM）に連続拡散モデルを適用し、163億パラメータ規模へのスケーリングに成功した。従来の離散的な音声トークン化が性能のボトルネックとなっていた問題に対し、連続的な信号処理で対抗するアプローチで、感情や韻律を含む多様な音声生成を実証。一方で、長い文章の一貫性維持が依然として大きな壁であることも明らかになった。

離散トークン化が生む「音声の壁」

これまでの音声言語モデルの主流は、音声を離散的なトークンに変換し、テキストと同様に自己回帰（AR）モデルで処理する手法だった。しかし、この離散化プロセスが情報の損失を招き、テキストモデルに匹敵する性能を得るには膨大な計算資源とデータが必要になる構造的な非効率を抱えていた。本研究では、このボトルネックを解消するため、音声を連続信号として扱う拡散モデルの適用可能性を検証している。研究チームが導入した新たな指標「音素Jensen-Shannonダイバージェンス（pJSD）」は、モデルの言語的品質を定量化する新しい物差しとなる。

連続拡散モデルが示したスケーリング則

検証の結果、連続拡散型SLMは自己回帰モデルと同様に、検証損失とpJSDにおいて明確なスケーリング則を示した。興味深いのは、計算資源が増加するにつれて、最適なトークン数とパラメータ数の比率が低下していく点だ。さらに、大規模な計算領域では、モデルサイズとデータサイズの広範な組み合わせで損失がほぼ横ばいになる「平坦化」現象が確認された。これは、計算資源が潤沢な環境では、モデル設計の自由度が高まり、推論速度を優先したアーキテクチャ選択が可能になることを示唆している。

163億パラメータが獲得した「韻律」と「感情」

研究チームは連続拡散SLMを163億パラメータまでスケールアップし、数千万時間規模の自然会話データで学習させた。その結果、複数話者の声質や多言語対応に加え、これまでの音声合成では難しかった自然な韻律や感情表現を伴う音声を生成できるようになった。これは、離散トークンでは捨象されがちだった音声の連続的な特性を、モデルが直接捉えられるようになった成果といえる。しかし、生成される音声の品質が向上した一方で、長尺の音声にわたる文脈の一貫性を保つことは依然として解決すべき技術課題として残されている。

計算資源の増加がもたらす設計の自由

本論文の重要な発見の一つは、計算資源とモデル設計の関係性だ。等しい計算量で比較した場合（isoFLOP解析）、計算量が増えるほど、最適点付近の損失曲面の曲率が小さくなる。具体的には、最適な損失から一定範囲内に収まるモデルサイズとデータセットサイズの組み合わせが約2桁も拡大する。これは、クラウド上の大規模学習環境において、単に高性能なモデルを追い求めるだけでなく、多様な推論コストやレイテンシ要件に応じて、最適に近い性能を持つモデルを選択できる「効率的な推論のフロンティア」が広がることを示している。