Appleの研究者は、AI生成の関連性ラベルがApp Storeの検索ランキングやアプリのダウンロードにどのような影響を与えるかを測定するため、A/Bテストを実施したと発表しました。研究の結果、AI生成の関連性ラベルにより、App Storeの検索コンバージョンがわずかに改善されたということです。
この研究は「Scaling Search Relevance: Augmenting App Store Ranking with LLM-Generated Judgments」と題され、LLM（大規模言語モデル）がApp Storeの検索結果を向上させるかどうかを探求しました。研究者たちは、ランキングシステムの訓練に使用される関連性ラベルを生成するためにLLMを活用しました。
研究によれば、関連性はユーザーが探しているアプリを見つけるための重要な要素です。しかし、行動関連性に関するデータは豊富にあるものの、テキスト関連性に関するデータは限られているとしています。高品質のテキスト関連性ラベルは希少で生産コストが高く、スケーラビリティに問題があるということです。
この問題に対処するため、研究者たちは3億パラメータのLLMを既存の人間の判断に基づいて微調整し、ユーザーの検索クエリとアプリのメタデータに基づいて関連性ラベルを付与できるようにしました。その後、このモデルを用いて数百万の新しい関連性ラベルを生成し、元のデータとLLM生成のラベルを用いてApp Storeのランキングシステムを再訓練しました。
その結果、オフライン評価を行った後、世界中のApp StoreトラフィックでA/Bテストを実施しました。研究では、「LLMを活用したモデルは、主な指標であるコンバージョン率が統計的に有意な0.24%増加を示しました。これは、少なくとも1つのアプリをダウンロードした検索セッションの割合を示しています。この増加は、89%のストアフロントで観測されました」としています。
つまり、LLMを活用したモデルでランク付けされた検索結果を見たユーザーは、従来のランキングモデルで提示された検索結果を見たユーザーよりも0.24%多くアプリをダウンロードしたということです。この0.24%の増加は小さいものの、2025年にApp Storeのダウンロード総数が約380億と予測されていることを考えると、実際には数千万の追加ダウンロードに相当する可能性があり、開発者にとっては大きな利益となるでしょう。