langchain.evaluation.parsing.base.JsonEqualityEvaluator

class langchain.evaluation.parsing.base.JsonEqualityEvaluator(operator: Optional[Callable] = None, **kwargs: Any)

评估是否在将预测和参考解析为JSON之后相等。

此评估器检查预测是否在解析为JSON后等于参考， 参考也被解析为JSON。它不需要输入字符串。

属性:

requires_input (bool): 此评估器是否需要输入字符串。始终为False。 requires_reference (bool): 此评估器是否需要参考字符串。始终为True。 evaluation_name (str): 评估指标的名称。始终为”parsed_equality”。

示例:

>>> evaluator = JsonEqualityEvaluator()
>>> evaluator.evaluate_strings('{"a": 1}', reference='{"a": 1}')
{'score': True}
>>> evaluator.evaluate_strings('{"a": 1}', reference='{"a": 2}')
{'score': False}

>>> evaluator = JsonEqualityEvaluator(operator=lambda x, y: x['a'] == y['a'])
>>> evaluator.evaluate_strings('{"a": 1}', reference='{"a": 1}')
{'score': True}
>>> evaluator.evaluate_strings('{"a": 1}', reference='{"a": 2}')
{'score': False}

Attributes

evaluation_name	评估的名称。
requires_input	评估器是否需要输入字符串。
requires_reference	评估器是否需要参考标签。

Methods

__init__([operator])
aevaluate_strings(*, prediction[, ...])	异步评估Chain或LLM输出，基于可选的输入和标签。
evaluate_strings(*, prediction[, reference, ...])	评估链式或LLM输出，基于可选输入和标签。

Parameters

• operator (Optional[Callable]) –

• kwargs (Any) –

Return type

None

__init__(operator: Optional[Callable] = None, **kwargs: Any) → None

Parameters

• operator (Optional[Callable]) –

• kwargs (Any) –

Return type

None

async aevaluate_strings(*, prediction: str, reference: Optional[str] = None, input: Optional[str] = None, **kwargs: Any) → dict

异步评估Chain或LLM输出，基于可选的输入和标签。

参数:

prediction (str): 要评估的LLM或chain预测。 reference (Optional[str], optional): 要评估的参考标签。 input (Optional[str], optional): 评估过程中要考虑的输入。 **kwargs: 其他关键字参数，包括回调函数、标签等。

返回:

dict: 包含得分或值的评估结果。

Parameters

• prediction (str) –

• reference (Optional[str]) –

• input (Optional[str]) –

• kwargs (Any) –

Return type

dict

evaluate_strings(*, prediction: str, reference: Optional[str] = None, input: Optional[str] = None, **kwargs: Any) → dict

评估链式或LLM输出，基于可选输入和标签。

参数:

prediction (str): 要评估的LLM或链预测。 reference (Optional[str], optional): 要评估的参考标签。 input (Optional[str], optional): 在评估过程中要考虑的输入。 **kwargs: 其他关键字参数，包括回调函数、标签等。

返回:

dict: 包含得分或值的评估结果。

Parameters

• prediction (str) –

• reference (Optional[str]) –

• input (Optional[str]) –

• kwargs (Any) –

Return type

dict

Examples using JsonEqualityEvaluator

• Equivalently