Skip to main content

estimate_tokens_fast

Function estimate_tokens_fast 

Source
pub fn estimate_tokens_fast(text: &str) -> usize
Expand description

文字列からトークン数を高速に安全側 (過大評価) で事前見積もりする。

UTF-8 バイト数および文字種に基づき、ゼロアロケーションで上限トークン数を算出する。 英語 (1 語 1〜2 トークン) および日本語 (1 文字 1〜2 トークン) の双対特性を吸収し、 最悪ケースとして chars.len() をベースとした安全側概算を行う。