pub fn sanitize_text<'a>(
text: &'a str,
config: &SanitizerConfig,
) -> Cow<'a, str>Expand description
入力テキスト中の特殊トークンおよびプロンプト境界偽装を安全にサニタイズする。
§処理方針
- 該当文字を含まない正常ケースでは
Cow::Borrowedのまま早期脱出し、ヒープ確保を回避する。 [OP]などの予約トークンは[ OP ]のようにスペースを挿入して無害化し、Fast Tokenizer による誤解釈を防ぐ。- 行頭の
State:やInstructions:はState:のようにスペースを付加してデリミタ誤認を防止する。