Module batch 

複数質問一括バッチ推論モジュール

トークンレベルのプレフィックス共有と動的バッチ Collate により、 単一フォワードパスでの並列推論および決定プリミティブ解決を実現する。

Structs

BatchScratchpad

バッチ推論および決定数理解決用のスクラッチパッドバッファ。

Constants

DEFAULT_MAX_BATCH_CHUNK_SIZE

サーバー層との連携において推奨されるデフォルトの最大バッチチャンクサイズ。