Struct InferenceService 

pub struct InferenceService { /* private fields */ }

共通推論ディスパッチおよび実行制御サービス。

Implementations

impl InferenceService

pub fn new(state: Arc<AppState>) -> Self

新規推論サービスを生成する。

pub async fn execute( &self, req: SystemOneRequest, client_hash_str: Option<String>, ) -> Result<InferenceOutput, ServerError>

推論リクエストを実行し、結果およびキャッシュ・ゲーティングメタデータを返却する。

処理フロー

1. ガードレールパイプラインによる前処理 (無毒化、特殊トークン除去等)。
2. 質問プリミティブ種別ごとのメトリクス集計。
3. State テキスト展開とキャッシュキー (ハッシュ) の検証および解決。
4. tokio::task::spawn_blocking による非同期ワーカースレッド分離。
5. デュアルエンジン中間特徴量キャッシュまたは通常粗密エンジンの透過的ディスパッチ。
6. 後処理ガードレール (二峰性分布補正、キー復元等) の適用。
7. 確信度ゲーティング判定と集約サマリーの算出。
8. 推論遅延、確信度分布、ゲーティングルーティングメトリクスの一括記録。

Trait Implementations

impl Clone for InferenceService

fn clone(&self) -> InferenceService

Returns a duplicate of the value.

fn clone_from(&mut self, source: &Self)

Performs copy-assignment from source.