AI(人工知能)9分で読めます

クロードの自社推論エンジン、初回トークン遅延を12秒から0.48秒に短縮

AI要約複数の情報源を統合して作成しています

アンソロピックのClaudeが自社開発した推論エンジンで、初回トークン遅延をSGLangの約12秒から0.48秒へ短縮。Singularity-Benchでも6課題中5勝1分の成績を収めました。

クロードの自社推論エンジン、初回トークン遅延を12秒から0.48秒に短縮

アンソロピックのAI「Claude(クロード)」が自社開発した推論エンジンで、AIが最初の応答を返すまでの時間(初回トークン遅延)を大幅に短縮したことがわかりました。カーネギーメロン大学などの研究機関が発表したベンチマーク「Singularity-Bench」の結果で示されたもので、Claude Opus5.5とClaude Codeの組み合わせが、AI研究開発に関わる6つの課題で5勝1分という成績を収めています。

ポイント

  • Claudeが自社開発した推論エンジンは、P90の初回トークン遅延を約12秒から0.48秒に短縮した
  • 比較対象は成熟した推論エンジン「SGLang」で、同じハードウェア条件下での結果
  • スケジューリングの最適化により、全体の処理効率とGPUの出力性能も向上した
  • Singularity-Benchの6課題でClaude Opus5.5とClaude Codeの組み合わせは5勝1分
  • 人間のベースラインを総合スコアで上回った唯一の参加組み合わせとなった

推論エンジンとは何か

推論エンジンは、学習済みのAIモデルを実際に動かして回答を生成するためのソフトウェアです。モデルそのものとは別に、限られたGPU資源をどう配分するか、複数のリクエストをどう順番に処理するかといった制御を担います。同じモデルでも、エンジンの出来によって応答速度や処理効率は大きく変わります。

今回Claudeが自社開発したエンジンは、この制御部分を最適化したものです。P90とは、応答時間を短い順に並べたときに90%のケースが収まる値を指します。平均値ではなく、遅い側のケースを含めた指標で、12秒から0.48秒への短縮は、利用者が待たされる時間が大きく減ることを意味します。

Singularity-Benchの内容

Singularity-Benchは、AIエージェントが自らAI研究開発の基盤を構築・強化できるかを測るベンチマークです。AI研究開発に関連する6つの課題を設け、エージェントが自律的に能力を高められる水準を評価します。AIエージェントとは、指示に従って複数の作業を自律的に進めるAIのことです。

このテストで、Claude Opus5.5とClaude Codeの組み合わせは5勝1分となり、総合スコアで人間のベースラインを上回った唯一の参加組み合わせとなりました。

自己改善はなお初期段階

研究者は現在のテストの限界も指摘しています。現段階のタスク範囲は依然として人間が設定しており、真の意味でのAIの再帰的自己改善には、今後の継続的な模索と検証が必要だということです。再帰的自己改善とは、AIが自分自身の能力や開発環境を繰り返し改善していくことを指します。

背景

Claudeはアンソロピックが開発する対話型AIです。Claude Codeは、プログラミング作業を支援する同社のツールで、コードの生成や修正をAIが担います。大規模言語モデル(LLM)の分野では、モデルの性能だけでなく、推論時の速度やコストをいかに抑えるかが実用上の競争軸になっています。応答が速ければ、それだけ多くの利用者が同時に使え、開発現場での待ち時間も減るためです。

解説

初回トークン遅延は、利用者が質問を送ってから最初の文字が返ってくるまでの時間です。トークンはAIが文章を処理する単位で、日本語では1文字前後から数文字に相当します。長い文章を生成する場合でも、最初の応答が速ければ体感速度は大きく変わります。

推論エンジンの最適化では、複数のリクエストをどの順番でGPUに割り当てるかのスケジューリングが重要になります。今回の結果は、モデル自体の変更ではなく、この制御部分の改善によって遅延を抑えられたことを示しています。

日本のユーザーへの影響

日本での提供時期や料金については、現時点で明らかにされていません。推論エンジンの高速化は、ClaudeをAPI経由で利用する日本企業の開発者にとっても、応答待ち時間の短縮につながる可能性があります。

出典元記事を読む(AI(人工知能))
LINEX
NihonTechHub

NihonTechHub

技術系ジャーナリスト

日本の最新テクノロジーやスタートアップ情報を発信するプラットフォームです。国内外のイノベーションをつなぎ、未来を切り開くための知識とインスピレーションを提供します。

Tools

NihonTechHub ソフトウェア · 私たちが開発した便利なツールとソフトウェア

Google Drive ダウンローダー

閲覧専用ファイルの簡単ダウンロード

Google DriveのView-only(閲覧専用)ファイルを簡単にダウンロードできるツールです。PDF、Docxファイルに対応しています。

PDF 対応済みDocx 対応済み無料で利用可能

この機能はNihonTechHubアプリでもご利用いただけます(Android・iOS対応)

App

無料

外出先でも最新のテクノロジーニュースをチェック!リアルタイム通知とパーソナライズされたニュースフィードを受け取るにはアプリをダウンロードしてください。

  • ・リアルタイム更新
  • ・プッシュ通知
  • ・カスタマイズ可能