pub fn estimate_tokens_fast(text: &str) -> usize
文字列からトークン数を高速に安全側 (過大評価) で事前見積もりする。
UTF-8 バイト数および文字種に基づき、ゼロアロケーションで上限トークン数を算出する。 英語 (1 語 1〜2 トークン) および日本語 (1 文字 1〜2 トークン) の双対特性を吸収し、 最悪ケースとして chars.len() をベースとした安全側概算を行う。
chars.len()