Skip to main content

estimate_tokens

Function estimate_tokens 

Source
pub fn estimate_tokens(text: &str, chars_per_token: usize) -> usize
Expand description

文字列からトークン数を簡易見積もりする。