Enum Commands 

pub enum Commands {
    ExportOpenapi {
        output: Option<PathBuf>,
    },
    Serve {
        host: String,
        port: u16,
        model_dir: PathBuf,
        pool_size: usize,
        provider: Option<String>,
        intra_threads: Option<usize>,
        inter_threads: Option<usize>,
    },
    Healthcheck {
        url: String,
        timeout_secs: u64,
    },
    Benchmark {
        model_dir: PathBuf,
        iterations: usize,
        warmup: usize,
        provider: Option<String>,
        scenario: String,
        pool_size: usize,
        intra_threads: Option<usize>,
        inter_threads: Option<usize>,
        no_mem_arena: bool,
        json: bool,
    },
    Quantize {
        model_dir: PathBuf,
        output_dir: PathBuf,
        per_channel: bool,
        verify: bool,
    },
}

利用可能なサブコマンド一覧。

Variants

ExportOpenapi

OpenAPI 3.1 仕様書を JSON 形式で出力する。

Fields

output: Option<PathBuf>

出力先ファイルパス (省略時は標準出力)。

Serve

Jev 互換 HTTP API サーバーを起動する。

Fields

host: String

バインド先ホストアドレス。

port: u16

バインド先ポート番号。

model_dir: PathBuf

モデルファイル格納ディレクトリ。

pool_size: usize

セッションプールサイズ。

provider: Option<String>

優先 Execution Provider (auto, coreml, cuda, tensorrt, cpu)。

intra_threads: Option<usize>

単一オペレータ内の並列スレッド数 (intra-op)。

inter_threads: Option<usize>

複数オペレータ間の並列スレッド数 (inter-op)。

Healthcheck

サーバーエンドポイントの死活監視・準備状態確認を実行する。

Fields

url: String

監視対象 URL。

timeout_secs: u64

応答タイムアウト秒数。

Benchmark

インプロセスでの推論レイテンシおよびスループットを計測する。

Fields

model_dir: PathBuf

モデルファイル格納ディレクトリ。

iterations: usize

測定反復回数。

warmup: usize

ウォームアップ反復回数。

provider: Option<String>

優先 Execution Provider (auto, coreml, cuda, tensorrt, cpu)。

scenario: String

実行対象シナリオ (all, single, batch, coarse, scratchpad)。

pool_size: usize

セッションプールサイズ。

intra_threads: Option<usize>

単一オペレータ内の並列スレッド数 (intra-op)。

inter_threads: Option<usize>

複数オペレータ間の並列スレッド数 (inter-op)。

no_mem_arena: bool

CPU メモリアリーナを無効化する (OS アロケータ mimalloc に都度返却)。

json: bool

CI 連携用 JSON 形式出力フラグ。

Quantize

FP32 ONNX モデルに対して動的 INT8 PTQ 量子化を実行する。

Fields

model_dir: PathBuf

元モデルファイル群が存在するディレクトリパス。

output_dir: PathBuf

量子化後成果物バンドルの出力先ディレクトリパス。

per_channel: bool

チャンネル単位で重みを量子化する (デフォルト: 有効)。

verify: bool

FP32 モデルとのパリティ検証を実行する (デフォルト: 有効)。

Trait Implementations

impl Debug for Commands

fn fmt(&self, f: &mut Formatter<'_>) -> Result

Formats the value using the given formatter.

impl Eq for Commands

impl FromArgMatches for Commands

fn from_arg_matches(__clap_arg_matches: &ArgMatches) -> Result<Self, Error>

Instantiate Self from [ArgMatches], parsing the arguments as needed.

fn from_arg_matches_mut( __clap_arg_matches: &mut ArgMatches, ) -> Result<Self, Error>

Instantiate Self from [ArgMatches], parsing the arguments as needed.

fn update_from_arg_matches( &mut self, __clap_arg_matches: &ArgMatches, ) -> Result<(), Error>

Assign values from ArgMatches to self.

fn update_from_arg_matches_mut<'b>( &mut self, __clap_arg_matches: &mut ArgMatches, ) -> Result<(), Error>

Assign values from ArgMatches to self.

impl PartialEq for Commands

fn eq(&self, other: &Commands) -> bool

Equality operator ==.

fn ne(&self, other: &Rhs) -> bool

Inequality operator !=.

impl StructuralPartialEq for Commands

impl Subcommand for Commands

fn augment_subcommands<'b>(__clap_app: Command) -> Command

Append to [Command] so it can instantiate Self via [FromArgMatches::from_arg_matches_mut]

fn augment_subcommands_for_update<'b>(__clap_app: Command) -> Command

Append to [Command] so it can instantiate self via [FromArgMatches::update_from_arg_matches_mut]

fn has_subcommand(__clap_name: &str) -> bool

Test whether Self can parse a specific subcommand