Module limits 

OOM 防壁・リソース制限モジュール

リクエストの質問数、文字数、および推定トークン数を推論前に事前検証し、 メモリ枯渇 (OOM) や GPU/CPU リソースの過負荷を未然に遮断する Fast-Fail 機構を提供する。

Structs

LimitsConfig

リソース制限ガードレールの設定構造体。

Constants

DEFAULT_MAX_BODY_BYTES

デフォルトのリクエストボディ最大許容バイト数 (2MB)。

DEFAULT_MAX_ESTIMATED_TOKENS

デフォルトの推定総トークン数上限 (約 16,384 トークン)。

DEFAULT_MAX_QUESTIONS

デフォルトのリクエストあたり最大質問数。

DEFAULT_MAX_QUESTION_CHARS

デフォルトの質問あたり最大許容文字数 (約 8KB)。

DEFAULT_MAX_STATE_CHARS

デフォルトの State 最大許容文字数 (約 64KB)。

Functions

estimate_tokens_fast

文字列からトークン数を高速に安全側 (過大評価) で事前見積もりする。

validate_limits

リクエスト全体の文字数および質問数を検証する。