Struct BatchTokenizedQuestions 

pub struct BatchTokenizedQuestions {
    pub input_ids: Vec<i64>,
    pub attention_mask: Vec<i64>,
    pub op_indices: Vec<i64>,
    pub dims: ModelInputDimensions,
    pub question_keys: Vec<String>,
    pub candidate_counts: Vec<usize>,
    pub option_keys_per_q: Vec<Vec<String>>,
}

複数質問を一括パッキングしたバッチトークナイズ結果構造体。

Fields

input_ids: Vec<i64>

平坦化された入力トークン列テンソル用データ ([batch_size * sequence_length])。

attention_mask: Vec<i64>

平坦化されたアテンションマスクテンソル用データ ([batch_size * sequence_length])。

op_indices: Vec<i64>

平坦化された候補出現位置インデックステンソル用データ ([batch_size * num_options])。 パディング領域には Gather 層の境界外アクセスを防ぐためダミー値 0 が設定される。

dims: ModelInputDimensions

バッチテンソルの次元情報 (batch_size, sequence_length, num_options)。

question_keys: Vec<String>

バッチ内に含まれる質問識別子キーの整列リスト。

candidate_counts: Vec<usize>

各質問の本来の有効候補数 $K_i$ のリスト。

option_keys_per_q: Vec<Vec<String>>

各質問のプロンプト出現順候補識別子キー列のリスト。

Trait Implementations

impl Clone for BatchTokenizedQuestions

fn clone(&self) -> BatchTokenizedQuestions

Returns a duplicate of the value.

fn clone_from(&mut self, source: &Self)

Performs copy-assignment from source.

impl Debug for BatchTokenizedQuestions

fn fmt(&self, f: &mut Formatter<'_>) -> Result

Formats the value using the given formatter.

impl Eq for BatchTokenizedQuestions

impl PartialEq for BatchTokenizedQuestions

fn eq(&self, other: &BatchTokenizedQuestions) -> bool

Equality operator ==.

fn ne(&self, other: &Rhs) -> bool

Inequality operator !=.

impl StructuralPartialEq for BatchTokenizedQuestions