アンソロピックは、AIツールによる不正を防ぐため、技術面接試験を再設計したと発表しました。2024年から、アンソロピックのパフォーマンス最適化チームは応募者に対して自宅で行う試験を実施しています。しかし、AIコーディングツールの進化に伴い、この試験はAIを利用した不正を防ぐために大幅な変更を余儀なくされているということです。
チームリーダーのトリスタン・ヒューム氏は水曜日にブログで試験の歴史を説明しました。「新しいクロードモデルが登場するたびに試験を再設計せざるを得ませんでした」とヒューム氏は述べています。「同じ時間制限の下で、クロード・オーパス4はほとんどの人間の応募者を上回りました。それでも最も優れた候補者を見分けることができましたが、その後、クロード・オーパス4.5はそれらと同等になりました」としています。
この結果、候補者の評価に重大な問題が生じています。対面での監督がない限り、誰かがAIを使って不正をしていないことを確認する方法がなく、もし不正があればすぐに上位に立つことになります。「自宅での試験の制約下では、最優秀候補者の成果と最も有能なモデルの出力を区別する方法がなくなりました」とヒューム氏は述べています。
AIによる不正の問題は、すでに世界中の学校や大学で混乱を引き起こしており、AIラボもこの問題に直面しているのは皮肉なことです。しかし、アンソロピックはこの問題に対処するための独自の設備を備えているということです。
最終的に、ヒューム氏はハードウェアの最適化とは異なる新しい試験を設計し、現代のAIツールを困惑させることを目指しました。しかし、ブログの一部として、元の試験を共有し、読者からより良い解決策を募っています。「オーパス4.5を上回ることができるなら、ぜひご連絡ください」と投稿には記されています。
