アップルとテルアビブ大学の研究者グループは、AIを活用したテキストから音声への変換を効率化する手法を発表しました。これは、音声生成の速度を向上させつつ、明瞭さを損なわない方法です。
新しい研究論文「音声における投機的デコーディングのための原理に基づく粗粒度受容」において、アップルの研究者はテキストから音声を生成する興味深いアプローチを詳述しています。現在、テキストから音声を生成する方法は複数ありますが、研究者たちはオートレグレッシブ（自己回帰型）のモデルに焦点を当てました。これらのモデルは、音声トークンを一度に1つずつ生成します。
オートレグレッシブ音声生成は、一般的に効率的な方法ですが、処理のボトルネックを生む可能性があります。アップルの研究者は、音響トークンの正確な一致が過度に厳格であるため、多くのトークンが音響的または意味的に交換可能であるにもかかわらず、受け入れ率が低下し速度向上が制限されるとしています。
アップルの解決策は、音声トークンを音響的に類似するグループに分けることに基づいています。これにより、モデルは同じ「音響的類似性」グループに属するトークンを受け入れることができます。この手法は、音声トークンを迅速に提案する小型モデルと、それらが適切な音響グループに属するかを確認する大型モデルの2つから構成されています。
この結果、音声生成の速度が約40%向上し、標準的な投機的デコーディングを適用した場合よりも大幅な改善が見られました。同時に、PCGは単語誤り率を低く抑え、話者の類似性を保持し、以前の速度重視の手法を上回る成果を達成しました。
この研究の実用的な応用については言及されていませんが、将来的にスピード、品質、効率を重視する音声機能に関連する可能性があります。重要なのは、この手法がターゲットモデルのトレーニングを必要とせず、推論時に適用できる点です。また、PCGは約37MBのメモリのみを追加で必要とし、限られたメモリのデバイスでも実用的です。
PCGについての詳細や技術的な情報、評価方法の追加コンテキストについては、リンクを参照してください。
