Enum HierarchicalEngine 

pub enum HierarchicalEngine<'a> {
    Single(&'a InferenceEngine),
    Dual {
        engine: &'a DualSessionEngine,
        cached_state: &'a CachedStateFeatures,
    },
}

粗密階層ルーティングで使用する推論エンジンバックエンド。

Variants

Single(&'a InferenceEngine)

単一 ONNX モデルによる通常推論エンジン。

Dual

中間特徴量キャッシュを活用するデュアルセッションエンジン。

Fields

engine: &'a DualSessionEngine

デュアルセッションエンジンへの参照。

cached_state: &'a CachedStateFeatures

キャッシュ済みの中間特徴量への参照。