dspy.HFClientTGI

用法

lm = dspy.HFClientTGI(model="meta-llama/Llama-2-7b-hf", port=8080, url="http://localhost")

先决条件

请参考使用本地模型文档中的文本生成-推理服务器部分。

构造函数

构造函数初始化HFModel基类，并配置客户端以与TGI服务器通信。它需要一个model实例，用于服务器通信的port，以及服务器托管生成请求的url。可以通过**kwargs中的关键字参数提供额外的配置。

class HFClientTGI(HFModel):
    def __init__(self, model, port, url="http://future-hgx-1", **kwargs):

参数:

• model (HFModel): 连接到TGI服务器的Hugging Face模型实例。
• port (int): TGI服务器的端口。
• url (str): 托管TGI服务器的基本URL。
• **kwargs: 用于配置客户端的额外关键字参数。

方法

请参考dspy.OpenAI文档。