Anthropicは11月12日、ClaudeのAPIにベータ機能を追加したと発表しました。同じ会話の中で、モデルが回答にどれだけ力を注ぐかを示す「effort」をメッセージごとに切り替えられるようになります。回答の充実度、応答速度、利用コストのバランスを、会話を途切れさせずに調整できるのが特徴です。
ポイント
- Anthropicが11月12日にClaude APIへ追加したベータ機能
- 会話の途中でeffort(推論の強さ)を変更できる
- メッセージ列に空のsystemメッセージを挿入し、output_config.effortでレベルを指定する
- トップレベルの設定とプロンプトキャッシュは維持される
- 変更は次の新しいユーザーメッセージから有効になり、過去の内容には影響しない
設定の方法とキャッシュの扱い
これまで1つの会話には固定のパラメータしか適用できませんでした。新機能では、メッセージ列に空のsystemメッセージを1件挿入し、output_config.effortで目標のレベルを指定します。会話全体の設定や、すでに利用されているプロンプトキャッシュ(同じ入力の処理結果を再利用する仕組み)はそのまま維持されるということです。
ただし、この指示は過去にさかのぼって適用されません。次に新しい入力が来るユーザーメッセージから初めて有効になり、すでに生成済みの内容は変わりません。そのため、どこに挿入するかを見極める必要があります。
effortが変えるもの
effortが調整するのは、最終的な文章量だけではありません。思考の深さ、ツールを呼び出す回数、回答を組み立てるための処理量にも影響します。
典型的な使い方としては、会話の前半は軽いやり取りをし、複雑な分析に移る場面でレベルを上げる方法が挙げられます。長い処理の連なりを持つAIエージェントでは特に有効で、前半の検索は低いレベルでトークン(AIが文章を処理する単位)を節約し、推論が必要な場面でレベルを上げられます。会話全体のために前もってコストを払う必要がなくなります。