CTranslate2

CTranslate2 是一个用于高效推理Transformer模型的C++和Python库。

该项目实现了一个自定义运行时，应用了许多性能优化技术，如权重量化、层融合、批次重排序等，以加速并减少Transformer模型在CPU和GPU上的内存使用。

功能和支持模型的完整列表包含在 项目的仓库中。 要开始使用，请查看官方的快速入门指南。

安装与设置​

安装Python包：

pip install ctranslate2

大型语言模型​

查看一个使用示例。

from langchain_community.llms import CTranslate2