langchain.evaluation.schema.PairwiseStringEvaluator

class langchain.evaluation.schema.PairwiseStringEvaluator

比较两个模型的输出（或同一模型的两个输出）。

Attributes

requires_input	评估器是否需要输入字符串。
requires_reference	评估器是否需要参考标签。

Methods

__init__()
aevaluate_string_pairs(*, prediction, ...[, ...])	异步评估输出字符串对。
evaluate_string_pairs(*, prediction, ...[, ...])	评估输出字符串对。

__init__()

async aevaluate_string_pairs(*, prediction: str, prediction_b: str, reference: Optional[str] = None, input: Optional[str] = None, **kwargs: Any) → dict

异步评估输出字符串对。

参数:

prediction (str): 第一个模型的输出字符串。 prediction_b (str): 第二个模型的输出字符串。 reference (Optional[str], optional): 期望的输出/参考字符串。 input (Optional[str], optional): 输入字符串。 **kwargs: 其他关键字参数，如回调和可选的参考字符串。

返回:

dict: 包含偏好、分数和/或其他信息的字典。

Parameters

• prediction (str) –

• prediction_b (str) –

• reference (Optional[str]) –

• input (Optional[str]) –

• kwargs (Any) –

Return type

dict

evaluate_string_pairs(*, prediction: str, prediction_b: str, reference: Optional[str] = None, input: Optional[str] = None, **kwargs: Any) → dict

评估输出字符串对。

参数:

prediction (str): 第一个模型的输出字符串。 prediction_b (str): 第二个模型的输出字符串。 reference (Optional[str], optional): 期望的输出/参考字符串。 input (Optional[str], optional): 输入字符串。 **kwargs: 其他关键字参数，如回调和可选的参考字符串。

返回:

dict: 包含偏好、分数和/或其他信息的字典。

Parameters

• prediction (str) –

• prediction_b (str) –

• reference (Optional[str]) –

• input (Optional[str]) –

• kwargs (Any) –

Return type

dict

Examples using PairwiseStringEvaluator

• %env ANTHROPIC_API_KEY=YOUR_API_KEY