Expand description
§投機的ストリーミング検証モジュール (SSE Realtime Interceptor)
System 2 (上位 LLM) からの SSE (Server-Sent Events) ストリーミングレスポンスに対し、 句読点 (「。」「\n」「！」「？」) 単位でリアルタイムに文境界をバッファリングし、 投機的 NLI ハルシネーション検証を並行して実行する。 不整合を検知した瞬間、ダウンストリームへの送信を即時切断し、安全なエラー・置換メッセージを 注入して安全にコネクションをクローズする。
Structs§
- Sentence
Chunk Buffer - 文境界バッファ。
- Speculative
Stream Interceptor - 投機的ストリーム検証インターセプター。
- Streaming
Verifier Config - ストリーミング検証設定。
Constants§
- SENTENCE_
DELIMITERS - 文境界区切り文字。
- TERMINATION_
REPLACEMENT_ MESSAGE - ストリーミング遮断時の置換メッセージ。
Functions§
- extract_
content_ from_ sse_ line - SSE の data ペイロードからテキスト本文を抽出する簡易ヘルパー。
- intercept_
sse_ stream - SSE ストリームをインターセプトし、文境界ごとの投機的ハルシネーション検証とサーキットブレークを行う。