Expand description
§中間特徴量キャッシュおよびゼロコピー連携モジュール
長文 State の中間特徴量キャッシュ、
xxHash3 高速キー生成、moka 並行キャッシュストレージ、
ort の IoBinding によるゼロコピーバインド、
L3キャッシュ局所性最適化（FP16/INT8 圧縮）、
64バイトメモリアライメント、および Tokio ワーカースレッド競合隔離を提供する。
Structs§
- Aligned
Buffer64 - 64バイト境界にアライメントされた連続ヒープメモリバッファ。
- Cached
State Features - キャッシュに格納される
State中間特徴量エントリ。 - Dual
Session Engine - 2セッション分割型推論エンジン (
DualSessionEngine)。 - State
Cache Manager - 並行
State特徴量キャッシュマネージャー。
Enums§
- Cache
Compression Mode - 中間特徴量キャッシュのメモリ圧縮モード。
- Cached
Tensor Payload - キャッシュ内に保持されるテンソル実体ペイロード。
Constants§
- DEFAULT_
DUAL_ MAX_ BATCH_ CHUNK_ SIZE - デュアルセッション推論における推奨デフォルト最大チャンクサイズ。
Functions§
- compress_
f32_ to_ fp16 f32スライスをhalf::f16へ圧縮する。- compress_
f32_ to_ int8_ symmetric f32スライスをトークン単位対称INT8へ圧縮する。- decompress_
fp16_ to_ f32 half::f16スライスをf32スライスへ展開する。- decompress_
int8_ symmetric_ to_ f32 - トークン単位対称
INT8スライスをf32スライスへ展開する。 - is_
aligned_ 64 - 64バイト境界メモリアライメント判定関数。