NVIDIA Model Optimizer 模型量化实战：将 CLIP 模型压缩为 FP8 格式 NEWS DETAIL

模型量化是降低显存使用量并提升推理性能的有效方法。NVIDIA Model Optimizer 库集成了最先进的模型优化技术，支持 FP4、FP8、INT8、INT4 等多种量化格式，以及 SmoothQuant、AWQ、SVDQuant 等先进算法。

ModelOpt 接受 Hugging Face、PyTorch 或 ONNX 格式的模型作为输入，提供 Python API，开发者可轻松组合不同优化技术来生成优化检查点。它同时支持训练后量化和量化感知训练两种方式。

NVIDIA 发布的技术文章以 CLIP 模型为例，详细展示了使用 ModelOpt 进行 FP8 训练后量化的完整流程。CLIP 模型的文本编码器广泛用于文本到图像和文本到视频生成的调节模块，其视觉编码器则作为多模态大模型的视觉骨干。量化后的模型可在保持质量的同时显著降低资源需求。