langchain.evaluation.parsing.json_schema.JsonSchemaEvaluator¶
- class langchain.evaluation.parsing.json_schema.JsonSchemaEvaluator(**kwargs: Any)[source]¶
一个验证JSON预测与JSON模式引用的评估器。
该评估器检查给定的JSON预测是否符合提供的JSON模式。 如果预测有效，则得分为True（无错误）。否则，得分为False（发生错误）。
- 属性：
requires_input（bool）：评估器是否需要输入。 requires_reference（bool）：评估器是否需要引用。 evaluation_name（str）：评估的名称。
- 示例：
evaluator = JsonSchemaEvaluator() result = evaluator.evaluate_strings(
prediction=’{“name”: “John”, “age”: 30}’, reference={
“type”: “object”, “properties”: {
“name”: {“type”: “string”}, “age”: {“type”: “integer”}
}
}
) assert result[“score”] is not None
初始化JsonSchemaEvaluator。
- 参数：
**kwargs: 附加的关键字参数。
- 抛出：
ImportError: 如果jsonschema包未安装。
Attributes
evaluation_name返回评估的名称。
requires_input返回评估器是否需要输入。
requires_reference返回评估器是否需要引用。
Methods
__init__(**kwargs)初始化JsonSchemaEvaluator。
aevaluate_strings(*, prediction[, ...])异步评估Chain或LLM输出，基于可选的输入和标签。
evaluate_strings(*, prediction[, reference, ...])评估链式或LLM输出，基于可选输入和标签。
- Parameters
kwargs (Any) –
- Return type
None
- __init__(**kwargs: Any) None[source]¶
初始化JsonSchemaEvaluator。
- 参数：
**kwargs: 附加的关键字参数。
- 抛出：
ImportError: 如果jsonschema包未安装。
- Parameters
kwargs (Any) –
- Return type
None
- async aevaluate_strings(*, prediction: str, reference: Optional[str] = None, input: Optional[str] = None, **kwargs: Any) dict¶
异步评估Chain或LLM输出，基于可选的输入和标签。
- 参数:
prediction (str): 要评估的LLM或chain预测。 reference (Optional[str], optional): 要评估的参考标签。 input (Optional[str], optional): 评估过程中要考虑的输入。 **kwargs: 其他关键字参数，包括回调函数、标签等。
- 返回:
dict: 包含得分或值的评估结果。
- Parameters
prediction (str) –
reference (Optional[str]) –
input (Optional[str]) –
kwargs (Any) –
- Return type
dict
- evaluate_strings(*, prediction: str, reference: Optional[str] = None, input: Optional[str] = None, **kwargs: Any) dict¶
评估链式或LLM输出，基于可选输入和标签。
- 参数:
prediction (str): 要评估的LLM或链预测。 reference (Optional[str], optional): 要评估的参考标签。 input (Optional[str], optional): 在评估过程中要考虑的输入。 **kwargs: 其他关键字参数，包括回调函数、标签等。
- 返回:
dict: 包含得分或值的评估结果。
- Parameters
prediction (str) –
reference (Optional[str]) –
input (Optional[str]) –
kwargs (Any) –
- Return type
dict