シンキングマシンズラボは、元OpenAI研究者たちと共に、20億ドル（約3100億円）のシード資金を受けて、AIモデルの一貫性を高める研究を進めていると発表しました。
この研究は、AIモデルの応答におけるランダム性を解消し、再現性のある応答を目指すものです。研究ブログ「Defeating Nondeterminism in LLM Inference」によれば、AIモデルのランダム性の根本原因は、NvidiaのGPUチップ内で動作するカーネルの組み合わせ方にあるということです。
シンキングマシンズラボの研究者ホレス・ヒ氏は、この層の制御を適切に行うことで、AIモデルをより決定論的にすることが可能だとしています。これにより、企業や科学者向けに信頼性の高い応答を提供するだけでなく、強化学習（RL）のトレーニングを改善することができると述べています。
強化学習は、AIモデルが正しい答えを出すことで報酬を与えるプロセスですが、もし答えが毎回異なる場合、データがノイズを含むことになります。より一貫したAIモデルの応答を実現することで、RLプロセスが「スムーズ」になるということです。シンキングマシンズラボは、RLを活用して企業向けにAIモデルをカスタマイズする方針です。
元OpenAIの最高技術責任者であるミラ・ムラティ氏は、シンキングマシンズラボの最初の製品を数ヶ月以内に発表する予定であり、研究者やスタートアップがカスタムモデルを開発する際に役立つものになるとしています。
また、シンキングマシンズラボは、研究ブログ「Connectionism」を通じて、研究内容を公開し続ける方針です。これは、公共の利益に貢献し、自社の研究文化を向上させることを目的としています。これに対し、OpenAIは設立当初はオープンな研究を掲げていましたが、規模が拡大するにつれて閉鎖的になっていると指摘されています。
シリコンバレーの秘密主義的なAIスタートアップの一つであるシンキングマシンズラボの内部を垣間見ることができるこの研究ブログは、AI研究の最前線にある大きな課題に取り組んでいることを示しています。シンキングマシンズラボがこれらの問題を解決し、研究に基づく製品を開発して、120億ドル（約1兆8600億円）の評価額を正当化できるかが試されることになります。
