C Transformers
本页面介绍了如何在LangChain中使用C Transformers库。 它分为两部分：安装和设置，然后是对特定C Transformers包装器的引用。
安装与设置
包装器
LLM
存在一个CTransformers LLM包装器，您可以通过以下方式访问：
from langchain_community.llms import CTransformers
API Reference:CTransformers
它为所有模型提供了一个统一的接口：
llm = CTransformers(model='/path/to/ggml-gpt-2.bin', model_type='gpt2')
print(llm.invoke('AI is going to'))
如果你遇到illegal instruction错误，尝试使用lib='avx'或lib='basic'：
llm = CTransformers(model='/path/to/ggml-gpt-2.bin', model_type='gpt2', lib='avx')
它可以与托管在Hugging Face Hub上的模型一起使用：
llm = CTransformers(model='marella/gpt-2-ggml')
如果模型仓库有多个模型文件（.bin 文件），请使用以下方式指定一个模型文件：
llm = CTransformers(model='marella/gpt-2-ggml', model_file='ggml-model.bin')
可以使用config参数传递额外的参数：
config = {'max_new_tokens': 256, 'repetition_penalty': 1.1}
llm = CTransformers(model='marella/gpt-2-ggml', config=config)
查看文档以获取可用参数的列表。
有关此内容的更详细演练，请参见此笔记本。