アップルがグーグルと年1,000億円（約1,550億円）規模の契約を結び、新しい「Siri」にジェミニモデルを導入する方針を発表しました。
ブルームバーグの報道によると、グーグルはアップルに1.2兆のパラメーターを持つモデルを提供する予定で、このモデルはアップルのプライベートクラウドコンピュートサーバーで運用されるということです。これにより、グーグルがこのモデルにアクセスすることはできないとしています。
このモデルのアーキテクチャについては、専門家の混合（MoE）という手法が用いられる可能性が高いとされています。MoEは、複数の専門的なサブネットワーク「エキスパート」を持つ構造で、入力ごとに関連するエキスパートのみが活性化されるため、計算効率が高くなるということです。
具体的には、1.2兆パラメーターのモデルは32のエキスパートを持ち、1つのトークンあたり2〜4のエキスパートが活性化される可能性があるとされています。これにより、実際に計算を行うのは750億から1,500億パラメーターに限られ、大規模なモデルの能力を持ちながら、計算コストを抑えることができるということです。
この契約が成立した場合、ジェミニモデルがSiriの競争力を維持できるかどうかは、来年の導入時の他のモデルとの比較によるということです。