Guide Labsは、ディープラーニングモデルの理解を容易にするため、新たなアプローチを発表しました。同社は8億パラメータを持つLLM「Steerling-8B」を公開し、その動作を容易に解釈できる新しいアーキテクチャを採用したということです。このモデルは、生成される各トークンがトレーニングデータに由来することを追跡可能にしています。
Guide Labsはサンフランシスコに拠点を置くスタートアップで、CEOのジュリアス・アデバヨ氏とチーフサイエンスオフィサーのアヤ・アブデルサラム・イスマイル氏によって設立されました。アデバヨ氏は、MITで博士号を取得する過程で、ディープラーニングモデルの理解が現行の方法では信頼できないことを示した2018年の論文を共同執筆しました。この研究が、新しいLLMの構築方法の開発につながったとしています。
この新たなアーキテクチャは、データを追跡可能なカテゴリに分類する概念レイヤーをモデルに挿入するという方針です。これにより事前のデータ注釈が必要ですが、他のAIモデルを活用することで、これまでで最大の概念実証モデルを訓練することができたとしています。
また、消費者向けLLMにおいて、著作権保護された資料の使用をブロックしたり、暴力や薬物乱用に関する出力をより制御することが可能になるとしています。金融業界などの規制産業では、より制御可能なLLMが必要とされる方針です。
Guide Labsは、Steerling-8Bが既存モデルの90％の能力を発揮しながら、少ないトレーニングデータで済むとしています。今後は、より大きなモデルの構築とAPIやエージェントアクセスの提供を目指す方針です。なお、2024年11月には、Initialized Capitalから9百万ドル（約14億円）の資金調達を行ったということです。