Module inference 

共通推論サービスモジュール

単一リクエストおよび一括バッチリクエスト双方から利用される コア推論ディスパッチ、粗密 2 段階ルーティング、キャッシュ制御、 ガードレール適用、およびメトリクス収集を集約する。

Structs

InferenceOutput

コア推論パイプラインの実行結果サマリー。

InferenceService

共通推論ディスパッチおよび実行制御サービス。