Module quantize 

ONNX INT8 PTQ 量子化コマンド

FP32 ONNX モデルに対して動的 INT8 量子化 (Post-Training Quantization) を適用し、 デシジョンヘッド (OptionGatherLayer, out_proj) の FP32 精度を維持しつつ モデルサイズ半減と低メモリ推論を実現する。

Structs

QuantizeArgs

量子化実行オプション構造体。

QuantizeMetadata

量子化結果メタデータ。

QuantizeResultDetails

量子化結果の詳細サマリー。

Functions

run_quantize

ONNX INT8 PTQ 量子化コマンドを実行する。