最佳
Optimum 库支持针对 Intel、Furiosa、ONNX Runtime、GPTQ 以及更低级别的 PyTorch 量化函数进行量化。如果您正在使用特定且优化的硬件,如 Intel CPU、Furiosa NPU 或像 ONNX Runtime 这样的模型加速器,请考虑使用 Optimum 进行量化。
< > Update on GitHubOptimum 库支持针对 Intel、Furiosa、ONNX Runtime、GPTQ 以及更低级别的 PyTorch 量化函数进行量化。如果您正在使用特定且优化的硬件,如 Intel CPU、Furiosa NPU 或像 ONNX Runtime 这样的模型加速器,请考虑使用 Optimum 进行量化。
< > Update on GitHub