ReaderConfig

class langchain_community.llms.titan_takeoff.ReaderConfig

基础类：BaseModel

在Titan Takeoff API中部署的读取器配置。

通过解析和验证来自关键字参数的输入数据来创建一个新模型。

如果输入数据无法验证以形成有效模型，则引发 [ValidationError][pydantic_core.ValidationError]。

self 被显式地设为仅位置参数，以允许 self 作为字段名称。

param consumer_group: str = 'primary'

将读取器放入的消费者组

param device: Device = Device.cuda

用于推理的设备，cuda或cpu

param max_batch_size: int = 4

请求连续批处理的最大批量大小

param max_seq_length: int = 512

用于推理的最大序列长度，默认为512

param model_name: str [Required]

使用的模型名称

param tensor_parallel: int | None = None

您希望模型在多少个GPU上进行分割