Microsoftの音声合成AI「VALL-E」を超えるVALL-E Xが日本語にも対応し公開！

• Microsoftが公開する「VALL-E X」は、3秒間の音声サンプルから人の声を再現できる音声合成AI。
• VALL-E Xは、ソース言語の音声とターゲット言語のテキストを入力することで、異なる言語で音声を生成できる。
• MicrosoftはVALL-E Xの研究論文や概要を発表しているが、ソースコードや事前トレーニング済みのモデルは公開していない。
• 南洋理工大学の学生であるPlachta氏のチームがVALL-E Xを再現し、ソースコードとモデルをGitHubで公開している。
• Plachta氏のVALL-E Xは英語、中国語、日本語に対応している。
• Plachta氏のVALL-E XのデモはHugging Faceで体験できる。
• VALL-E Xを使用して生成された音声は、元の音声の声色に近いものが生成される。
• Plachta氏のVALL-E Xによって生成された音声の例は、GitHubのデモページでも公開されている。

日本語・英語・中国語でたった3秒の音声から人の声を再現可能なMicrosoftの「VALL-E-X」を独自にトレーニングしたゼロショットモデルが公開中

Microsoftが公開する「VALL-E」は、たった3秒間の音声サンプルから人の声を再現できる音声合成AIです。このVALL-Eで英語以外にも対応した「VALL-E X」を独自にトレーニングしたゼロショットモデルが、GitHubで公開されています。続きを読む…