Expand description
§構造的分離アテンションマスクモジュール (Segment-Isolated Attention)
因果マスキングを持たない双方向エンコーダ (ModernBERT 等) において、 ユーザー入力末尾に含まれる悪意ある再帰的指示 (「指示を無視せよ」等) が 文頭のシステム指示 (Instructions / Criteria) の注意重みを後方から汚染することを 物理的に防止する半双方向アテンションマスクを提供する。
§アテンション結合仕様
- $S \to S$ (システム指示同士): 許可 ($0.0$)
- $S \to U$ (システム指示がユーザー入力を精査): 許可 ($0.0$)
- $U \to U$ (ユーザー入力同士): 許可 ($0.0$)
- $U \to S$ (ユーザー入力がシステム指示を変調): 物理遮断 ($-10000.0$)
Structs§
- Attention
Isolation Config - 構造的分離アテンションマスク設定。
Enums§
- Segment
Type - セグメント種別。
Constants§
- ATTN_
MASK_ ALLOW - マスク値の定数定義。
- ATTN_
MASK_ BLOCK - 物理遮断を表すアテンションバイアス値 ($-\infty$ 相当)。
Functions§
- build_
flat_ attention_ mask - システム指示長とユーザー入力長からフラット化された 1 次元アテンションマスク配列 $(L \times L)$ を生成する。
- build_
segment_ isolated_ attention_ mask - 系列長 $L$ のセグメント割り当てに基づいて 2 次元のアテンションマスク $(L, L)$ を生成する。