langchain.evaluation.parsing.base.JsonValidityEvaluator

class langchain.evaluation.parsing.base.JsonValidityEvaluator(**kwargs: Any)

评估预测是否为有效的JSON。

此评估器检查预测是否为有效的JSON字符串。不需要任何输入或参考。

属性:

requires_input (bool): 此评估器是否需要输入字符串。始终为False。 requires_reference (bool): 此评估器是否需要参考字符串。始终为False。 evaluation_name (str): 评估指标的名称。始终为”json”。

示例:

>>> evaluator = JsonValidityEvaluator()
>>> prediction = '{"name": "John", "age": 30, "city": "New York"}'
>>> evaluator.evaluate(prediction)
{'score': 1}

>>> prediction = '{"name": "John", "age": 30, "city": "New York",}'
>>> evaluator.evaluate(prediction)
{'score': 0, 'reasoning': 'Expecting property name enclosed in double quotes'}

Attributes

evaluation_name	评估的名称。
requires_input	评估器是否需要输入字符串。
requires_reference	评估器是否需要参考标签。

Methods

__init__(**kwargs)
aevaluate_strings(*, prediction[, ...])	异步评估Chain或LLM输出，基于可选的输入和标签。
evaluate_strings(*, prediction[, reference, ...])	评估链式或LLM输出，基于可选输入和标签。

Parameters

kwargs (Any) –

Return type

None

__init__(**kwargs: Any) → None

Parameters

kwargs (Any) –

Return type

None

async aevaluate_strings(*, prediction: str, reference: Optional[str] = None, input: Optional[str] = None, **kwargs: Any) → dict

异步评估Chain或LLM输出，基于可选的输入和标签。

参数:

prediction (str): 要评估的LLM或chain预测。 reference (Optional[str], optional): 要评估的参考标签。 input (Optional[str], optional): 评估过程中要考虑的输入。 **kwargs: 其他关键字参数，包括回调函数、标签等。

返回:

dict: 包含得分或值的评估结果。

Parameters

• prediction (str) –

• reference (Optional[str]) –

• input (Optional[str]) –

• kwargs (Any) –

Return type

dict

evaluate_strings(*, prediction: str, reference: Optional[str] = None, input: Optional[str] = None, **kwargs: Any) → dict

评估链式或LLM输出，基于可选输入和标签。

参数:

prediction (str): 要评估的LLM或链预测。 reference (Optional[str], optional): 要评估的参考标签。 input (Optional[str], optional): 在评估过程中要考虑的输入。 **kwargs: 其他关键字参数，包括回调函数、标签等。

返回:

dict: 包含得分或值的评估结果。

Parameters

• prediction (str) –

• reference (Optional[str]) –

• input (Optional[str]) –

• kwargs (Any) –

Return type

dict

Examples using JsonValidityEvaluator

• Equivalently