顶点对字符串评估器

class langchain_google_vertexai.evaluators.evaluation.VertexPairWiseStringEvaluator(metric: str, **kwargs)

评估预测字符串的困惑度。

属性

requires_input	此评估器是否需要输入字符串。
requires_reference	此评估器是否需要参考标签。

方法

__init__(metric, **kwargs)
aevaluate_string_pairs(*, prediction, ...[, ...])	异步评估输出字符串对。
evaluate_string_pairs(*, prediction, ...[, ...])	评估输出字符串对。

Parameters:

metric (str)

__init__(metric: str, **kwargs)

Parameters:

metric (str)

async aevaluate_string_pairs(*, prediction: str, prediction_b: str, reference: str | None = None, input: str | None = None, **kwargs: Any) → dict

异步评估输出字符串对。

Parameters:

• prediction (str) – 第一个模型的输出字符串。

• prediction_b (str) – 第二个模型的输出字符串。

• reference (可选[str], 可选) – 预期的输出 / 参考字符串。

• input (可选[str], 可选) – 输入字符串。

• **kwargs – 额外的关键字参数，例如回调和可选的参考字符串。

Returns:

包含偏好、分数和/或其他信息的字典。

Return type:

字典

evaluate_string_pairs(*, prediction: str, prediction_b: str, reference: str | None = None, input: str | None = None, **kwargs: Any) → dict

评估输出字符串对。

Parameters:

• prediction (str) – 第一个模型的输出字符串。

• prediction_b (str) – 第二个模型的输出字符串。

• reference (可选[str], 可选) – 预期的输出 / 参考字符串。

• input (可选[str], 可选) – 输入字符串。

• **kwargs – 额外的关键字参数，例如回调和可选的参考字符串。

Returns:

包含偏好、分数和/或其他信息的字典。

Return type:

字典