アップルは、自然言語処理（NLP）に関する最新の研究成果を紹介するワークショップを開催し、その内容を発表しました。このワークショップは、2025年5月15日から16日にかけて開催され、研究者たちがNLPに関連する三つの主要な研究領域に焦点を当てました。
ワークショップには、AIアレン研究所、インペリアル・カレッジ・ロンドン、MIT、ハーバード大学、スタンフォード大学、プリンストン大学などの大学や研究機関から多くの研究者が参加しました。これらの研究者の中には、マイクロソフト、アマゾン、ソニー、グーグル、テンセント、コヒア、アップルなどの企業で働く者も含まれています。
以下に、発表されたトークのハイライトを紹介します。詳細なビデオや論文の一覧は、リンクからご覧いただけます。
1) AIモデルの崩壊と大規模言語モデル（LLM）の幻覚検出
オックスフォード大学の准教授であり、英国AIセキュリティ研究所の研究ディレクターであるヤリン・ガル氏が、AIモデルの崩壊について発表しました。ウェブがLLMのトレーニングデータとして利用可能な期間には限界があると指摘し、AI生成コンテンツの増加がリスクをもたらすとしています。この問題に対処するためには、新しいツールの開発や規制の強化が必要だということです。
また、ガル氏の「LLMの幻覚検出」研究では、モデルが生成する回答の信頼度を特定する新しいアプローチを提案しました。複数の回答を生成し、それらを意味的にクラスタリングすることで、回答の確実性と正確性をより正確に判断できるとしています。
2) 長期インタラクティブLLMエージェントの強化学習
アップルの機械学習研究者であるケビン・チェン氏は、LOOPと呼ばれる方法で訓練されたエージェントを紹介しました。このエージェントは、複数ステップのタスクを実行するように訓練されており、自己の過去の行動から学習し、報酬を最大化するように設計されています。
チェン氏は、このモデルが24の異なるシナリオで訓練されているが、マルチターンのユーザーインタラクションをサポートしていないという制限があると説明しました。
3) 補助モデルなしでの高速LLM推論
アップルのエンジニアリングマネージャーであるイリーナ・ベロウソバ氏は、投機的デコーディングの利点を紹介しました。これは、小型モデルが生成した回答を大型モデルが確認することで、高品質な回答を効率的に生成できる手法です。この方法は、メモリ使用量を削減し、性能を向上させるとしています。
この研究は、技術的な詳細が多く、8分以上のプレゼンテーションで興味深い洞察を提供しています。アップルが注目したビデオやイベントの全研究一覧は、リンクからご覧いただけます。