顶点字符串评估器

class langchain_google_vertexai.evaluators.evaluation.VertexStringEvaluator(metric: str, **kwargs)

评估预测字符串的困惑度。

属性

evaluation_name	评估的名称。
requires_input	此评估器是否需要输入字符串。
requires_reference	此评估器是否需要参考标签。

方法

__init__(metric, **kwargs)
aevaluate_strings(*, prediction[, ...])	基于可选的输入和标签，异步评估Chain或LLM的输出。
evaluate(examples, predictions, *[, ...])
evaluate_strings(*, prediction[, reference, ...])	评估链或LLM输出，基于可选的输入和标签。

Parameters:

metric (str)

__init__(metric: str, **kwargs)

Parameters:

metric (str)

async aevaluate_strings(*, prediction: str, reference: str | None = None, input: str | None = None, **kwargs: Any) → dict

基于可选的输入和标签，异步评估Chain或LLM的输出。

Parameters:

• prediction (str) – 要评估的LLM或链预测。

• reference (可选[str], 可选) – 用于评估的参考标签。

• input (可选[str], 可选) – 评估期间考虑的输入。

• **kwargs – 额外的关键字参数，包括回调函数、标签等。

Returns:

包含分数或值的评估结果。

Return type:

字典

evaluate(examples: Sequence[Dict[str, str]], predictions: Sequence[Dict[str, str]], *, question_key: str = 'context', answer_key: str = 'reference', prediction_key: str = 'prediction', instruction_key: str = 'instruction', **kwargs: Any) → List[dict]

Parameters:

• 示例 (序列[字典[str, str]])

• predictions (Sequence[Dict[str, str]])

• question_key (str)

• answer_key (str)

• prediction_key (str)

• instruction_key (str)

• kwargs (Any)

Return type:

列表[字典]

evaluate_strings(*, prediction: str, reference: str | None = None, input: str | None = None, **kwargs: Any) → dict

根据可选的输入和标签评估Chain或LLM的输出。

Parameters:

• prediction (str) – 要评估的LLM或链预测。

• reference (可选[str], 可选) – 用于评估的参考标签。

• input (可选[str], 可选) – 评估期间考虑的输入。

• **kwargs – 额外的关键字参数，包括回调函数、标签等。

Returns:

包含分数或值的评估结果。

Return type:

字典