langchain.evaluation.schema.EvaluatorType¶
- class langchain.evaluation.schema.EvaluatorType(value, names=None, *, module=None, qualname=None, type=None, start=1, boundary=None)[source]¶
评估者的类型。
- QA = 'qa'¶
问题回答评估器，直接使用LLM对问题的答案进行评分。
- COT_QA = 'cot_qa'¶
链式思维问答评估器，用于评分问题的答案，使用链式思维“推理”。
- CONTEXT_QA = 'context_qa'¶
在回答中包含“上下文”的问答评估器。
- PAIRWISE_STRING = 'pairwise_string'¶
一对一字符串评估器，用于预测在两个模型之间的首选预测。
- SCORE_STRING = 'score_string'¶
评分字符串评估器，为预测结果给出1到10之间的分数。
- LABELED_PAIRWISE_STRING = 'labeled_pairwise_string'¶
标记的成对字符串评估器，根据地面真实参考标签，预测两个模型之间的首选预测。
- LABELED_SCORE_STRING = 'labeled_score_string'¶
标记的得分字符串评估器，根据基于真实标签的预测给出1到10的分数。
- AGENT_TRAJECTORY = 'trajectory'¶
代理轨迹评估器，用于评分代理的中间步骤。
- CRITERIA = 'criteria'¶
评估器，根据自定义一组标准评估模型，而不需要任何参考标签。
- LABELED_CRITERIA = 'labeled_criteria'¶
标记的标准评估器，根据一组自定义标准以及一个参考标签来评估模型。
- STRING_DISTANCE = 'string_distance'¶
使用字符串编辑距离比较预测结果和参考答案。
- EXACT_MATCH = 'exact_match'¶
使用精确匹配方法将预测结果与参考答案进行比较。
- REGEX_MATCH = 'regex_match'¶
使用正则表达式将预测结果与参考答案进行比较。
- PAIRWISE_STRING_DISTANCE = 'pairwise_string_distance'¶
基于字符串编辑距离的预测进行比较。
- EMBEDDING_DISTANCE = 'embedding_distance'¶
使用嵌入距离比较预测和参考标签。
- PAIRWISE_EMBEDDING_DISTANCE = 'pairwise_embedding_distance'¶
使用嵌入距离比较两个预测。
- JSON_VALIDITY = 'json_validity'¶
检查预测是否为有效的JSON。
- JSON_EQUALITY = 'json_equality'¶
检查预测是否等于参考JSON。
- JSON_EDIT_DISTANCE = 'json_edit_distance'¶
计算规范化后的两个JSON字符串之间的编辑距离。
- JSON_SCHEMA_VALIDATION = 'json_schema_validation'¶
检查预测是否符合JSON模式。