Skip to main content

build_flat_attention_mask

Function build_flat_attention_mask 

Source
pub fn build_flat_attention_mask(
    sys_len: usize,
    user_len: usize,
    pad_len: usize,
    config: &AttentionIsolationConfig,
) -> Vec<f32>
Expand description

システム指示長とユーザー入力長からフラット化された 1 次元アテンションマスク配列 $(L \times L)$ を生成する。

テンソル入力 (ONNX Runtime 等) への直接変換に最適化されている。

§引数

  • sys_len: システム指示トークン数。
  • user_len: ユーザー入力トークン数。
  • pad_len: パディングトークン数。
  • config: アテンション分離設定。