pub fn compress_f32_to_int8_symmetric(
src: &[f32],
hidden_size: usize,
) -> (Vec<i8>, Vec<f32>)Expand description
f32 スライスをトークン単位対称 INT8 へ圧縮する。
各トークンベクトル(長さ hidden_size)ごとに最大絶対値 $M = \max |x|$ を算出し、
スケール $s = M / 127.0$ を用いて対称量子化を行う。
§引数
src: 入力f32スライス。hidden_size: 隠れ層次元数。