今月初め、ChatGPT HealthはApple Healthや他のデータプロバイダーとの統合を発表しました。しかし、The Washington Postの技術コラムニストが自身のApple WatchデータをChatGPTに提供したところ、問題が発生したということです。
ChatGPT HealthはApple Healthデータの解釈において一貫性がなく、不正確な結果を示したとしています。
ワシントン・ポストのジェフリー・A・ファウラー氏によりますと、彼はApple Watchを毎日装着する多くの人々のように、10年間のデータが自身について何を明らかにするのかを長い間疑問に思っていたと述べています。そこで彼は短期間の待機リストに参加し、Apple Healthアプリに保存された2900万歩と600万回の心拍測定データをChatGPTに提供しました。その結果、ChatGPTは彼の心臓の健康を「F」と評価しました。
ファウラー氏は驚いて走りに出かけ、その報告書を実際の医師に送ったところ、医師は「Fではない」と回答しました。実際には心臓発作のリスクが非常に低いため、保険会社はAIの評価を覆すための追加の心肺フィットネステストの費用を負担しないだろうとのことです。
ファウラー氏は、ChatGPTの評価が彼のApple Watch健康データのいくつかの誤解に基づいているようだと説明しています。例えば、ChatGPT Healthは「VO2 max」に基づいて否定的な評価を多く行ったと述べていますが、AppleによればVO2 maxの測定値は単なる推定値であり、傾向を追跡するのには役立ちますが、正確なデータを得るには別の機器が必要です。
さらに、ファウラー氏が新しいApple Watchを取得した際の安静時心拍数の変化は、実際の変化ではなく、センサーと測定ツールの更新の結果であったとしていますが、これもChatGPTの評価には反映されていなかったということです。
また、回答の一貫性の欠如も問題となりました。同じ心臓の長寿命評価を再度尋ねると、突然スコアが「C」に上がり、さらに尋ね続けると「F」から「B」までスコアが変動しました。会話の中で、ChatGPTは性別、年齢、最近のバイタルサインなどの重要な情報を忘れることが多く、最近の血液検査結果にもアクセスできたにもかかわらず、それを分析に使用しないことがあったとしています。
AIチャットボットを使用したことがある人にとって、これらの問題は驚くべきことではないかもしれませんが、健康に関する知識の源として意図された製品においては特に懸念されるということです。
9to5Macの見解
Appleは今年後半にAIを活用した「Health+」サービスを開発中と噂されています。そして、ChatGPT Healthに関するこの初期報告は、以下の2点を明らかにしています。
Apple HealthデータをChatGPT Healthに提供したことがありますか？どのような結果になりましたか？コメントでお知らせください。