ジャック・ドーシー氏が率いるBlockは、同社の研究部門から新しい音声モデル「Dessa」を公開しました。このモデルはローカル環境で動作し、笑いや間、泣き声などの表現を交えて、驚くほど人間らしく聞こえるのが特徴です。Blockによると、Dessaは人間の音声のみで学習され、単一のNVIDIA GPUで動作するということです。
ポイント
- Blockが音声モデル「Dessa」を発表
- 笑いや泣き声などの感情表現を再現
- フルデュプレックス方式で同時に会話と聞き取りが可能
- 単一のNVIDIA GPUで動作し、MacBook M4 Maxなどでローカル実行可能
- 現在は一般公開されておらず、安全研究者向けにテストを呼びかけ
フルデュプレックスで自然な会話
Dessaはフルデュプレックスモデルです。これは、OpenAIが今年初めに公開したGPT-Liveモデルと同様に、話しながら同時に聞くことができる方式です。一般的に、音声モデルは知識検索のために大規模言語モデルと組み合わせて使われます。Blockは、Dessaの知識は学習した会話データに由来すると説明しています。
感情をモデルに内蔵
Blockは、現在のモデルが不自然で不快に感じられることがあるのは、音声生成を駆動するテキストがパイプラインに含まれているためだと指摘します。ElevenLabs v4やFish Audio Drama 3など多くのモデルは、音声生成の感情を制御するために音声タグを使用しています。ドーシー氏の会社は、感情がモデルに組み込まれていると主張しています。ただし、その感情が何らかのタグによって制御されているかは明らかではありません。
Blockはブログ投稿で次のように述べています。「現在の音声AIとのやり取りは、単純にひどい場合がある。音声をテキストに変換し、テキストだけでは伝えられない膨大な情報を捨ててしまう。世界で最も強力なAIでも、あなたの感情を聞き取ることはできない。それは不合理であり、より悪い体験につながり、潜在的に危険だと私たちは考えている」。
会話例で感情表現を披露
同社の研究者は、Dessaとの会話例を複数公開しました。エージェントはさまざまな声、抑揚、感情を持っています。例えば、会話の中でボットが仕事で疲れたと話すと、その時点で疲れた声で話しました。別の例では、ボットが相手を快適にしようと話しながら、感情的に、今にも泣き出しそうな声で話しています。さらに別の例では、Blockのチームメンバーが音声アシスタントとゲームをしています。
ローカル実行と今後の展開
同社によると、このモデルはMacBook M4 Max以上の消費者向けコンピュータでローカル実行できます。ただし、現時点でDessaへの一般公開はなく、Blockは安全研究者にモデルのテストを呼びかけています。これは、音声エージェントが通話の相手を騙すようなケースをテストするためと考えられます。
Blockは金融事業を営み、中小企業向けにソリューションを販売しています。Squareはすでに注文処理に音声AIを利用しています。しかし、オンデバイスで動作する独自の音声モデルにより、より多くのビジネスや消費者向け体験を低コストで実現できる可能性があります。
