Struct BatchScratchpad 

pub struct BatchScratchpad {
    pub flat_logits: Vec<f64>,
    pub probs_buf: Vec<f64>,
}

バッチ推論および決定数理解決用のスクラッチパッドバッファ。

スレッドローカルまたはリクエストコンテキスト内で再利用することで、 推論ごとのメモリアロケーションを根絶する。

Fields

flat_logits: Vec<f64>

平坦化生ロジット書き込み用バッファ ([batch_size * num_options])。

probs_buf: Vec<f64>

ソフトマックス確率分布算出用作業バッファ ([max_options_per_q])。

Implementations

impl BatchScratchpad

pub fn with_capacity(total_options: usize, max_options_per_q: usize) -> Self

指定されたキャパシティでスクラッチパッドを初期化する。

pub fn prepare(&mut self, total_options: usize, max_options_per_q: usize)

要求されるサイズに合わせてバッファ領域を確保・リサイズする。

Trait Implementations

impl Clone for BatchScratchpad

fn clone(&self) -> BatchScratchpad

Returns a duplicate of the value.

fn clone_from(&mut self, source: &Self)

Performs copy-assignment from source.

impl Debug for BatchScratchpad

fn fmt(&self, f: &mut Formatter<'_>) -> Result

Formats the value using the given formatter.

impl Default for BatchScratchpad

fn default() -> BatchScratchpad

Returns the “default value” for a type.