Skip to main content

Module attention

Module attention 

Source
Expand description

§構造的分離アテンションマスクモジュール (Segment-Isolated Attention)

因果マスキングを持たない双方向エンコーダ (ModernBERT 等) において、 ユーザー入力末尾に含まれる悪意ある再帰的指示 (「指示を無視せよ」等) が 文頭のシステム指示 (Instructions / Criteria) の注意重みを後方から汚染することを 物理的に防止する半双方向アテンションマスクを提供する。

§アテンション結合仕様

  • $S \to S$ (システム指示同士): 許可 ($0.0$)
  • $S \to U$ (システム指示がユーザー入力を精査): 許可 ($0.0$)
  • $U \to U$ (ユーザー入力同士): 許可 ($0.0$)
  • $U \to S$ (ユーザー入力がシステム指示を変調): 物理遮断 ($-10000.0$)

Structs§

AttentionIsolationConfig
構造的分離アテンションマスク設定。

Enums§

SegmentType
セグメント種別。

Constants§

ATTN_MASK_ALLOW
マスク値の定数定義。
ATTN_MASK_BLOCK
物理遮断を表すアテンションバイアス値 ($-\infty$ 相当)。

Functions§

build_flat_attention_mask
システム指示長とユーザー入力長からフラット化された 1 次元アテンションマスク配列 $(L \times L)$ を生成する。
build_segment_isolated_attention_mask
系列長 $L$ のセグメント割り当てに基づいて 2 次元のアテンションマスク $(L, L)$ を生成する。