Skip to main content
estimate_tokens
sokuto_
server
0.4.0-alpha
In sokuto_
server::
guardrails::
window
sokuto_server
::
guardrails
::
window
Function
estimate_
tokens
Copy item path
Source
pub fn estimate_tokens(text: &
str
, chars_per_token:
usize
) ->
usize
Expand description
文字列からトークン数を簡易見積もりする。