Appleは、WWDC25で発表した新しいオンデバイスおよびクラウドベースの基盤モデルのトレーニング方法に関する技術報告書を公開したと発表しました。この報告書には、モデルの構造、データソース、事前トレーニング、事後トレーニング、ツールの開発、最適化、ベンチマークについて詳述されています。
Appleのオンデバイスモデルは、3億のパラメータを持つことが既に知られていますが、今回の報告書では、このモデルが2つのブロックに分割されていることが明らかになりました。ブロック1は全体の62.5%のトランスフォーマーレイヤーを含み、ブロック2は残りの37.5%を含んでいますが、キーとバリュープロジェクションが削除されています。これにより、ローカルモデルはキャッシュに必要なメモリを37.5%削減し、最初のトークンを出力する時間も同程度短縮されています。
クラウドベースのモデルについては、Appleはプライベートクラウドコンピュートプラットフォームに特化したカスタムアーキテクチャを構築しました。これは「Parallel-Track Mixture-of-Experts（PT-MoE）」と呼ばれ、専門家ネットワークを用いることで、特定のタスクに関連する専門家のみが活性化され、応答速度と精度が向上するということです。
Appleは多言語対応を275%増加させたとしています。新しいモデルでは、トレーニングに使用される多言語データの割合を8%から30%に増やし、トークンの語彙を50%増加させました。これにより、非英語ベンチマークでの性能が大幅に向上したということです。
データのソースについては、Appleはウェブクロールを通じてデータを収集したとしていますが、Applebotクローラーはrobots.txtの除外を尊重する方針です。これにより、ウェブサイトがAppleのスクレイピングを拒否できるということです。
AppleのAI分野での競争力が不足していると見られることが多い中、今回の報告書は、プライバシーを重視したアプローチを含む、最新モデルの改善点と課題を示す貴重な情報を提供しています。
