使用fastsafetensors加载模型权重¶

使用fastsafetensors库能够通过利用GPU直接存储技术将模型权重加载到GPU内存中。详情请参阅他们的GitHub仓库。要启用此功能，请将环境变量USE_FASTSAFETENSOR设置为true