原创

如何处理agent输出的内容质量问题?

Agent 输出内容质量管理规范

Agent 输出内容质量管理通常分为硬代码断言处理、Agent 评测和人工审核。硬代码断言负责确定性底线,Agent 评测负责语义和业务质量,人工审核负责高风险场景和抽样兜底。

一、硬代码断言处理

  1. JSON 输出类型解析失败
    通常需要分析是提示词原因、参数原因还是模型幻觉。检查提示词里的 JSON 格式要求是否明确、是否矛盾、是否过载;检查 temperature,温度过高会提升输出随机性,更容易出现格式异常;如果是幻觉,则检查提示词是否过载。
    处理上可同模型重试 1 次,仍失败切备用模型再试 1 次;连续失败 2—3 次终止调用并记录日志。日志需记录 request_id、prompt 版本、模型版本、temperature、重试次数、失败类型、耗时、token,后续可查看是代码 bug、提示词问题还是模型提供方问题。

  2. JSON 输出类型的字段内容不符合要求
    比如某个状态字段不能为空,但实际输出为空;或者某个字段不满足实际业务要求。需要做 Schema 校验和业务断言,包括必填、类型、枚举、范围、字段间一致性。
    只读类内容通常断言后重试 1 次,再次失败切模型再试 1 次,再次失败直接中断。
    有写操作、状态变更的 Agent,重试必须保证幂等,不能无脑重试。落库表通常用临时表,实际数据放快照层,一轮对话一个快照,天然适配重回和撤回;重试前校验幂等键/业务唯一键,失败时保留快照,支持人工恢复。

  3. 非 JSON 正文
    可根据具体提示词要求决定是否进行断言处理。例如要求至少输出 1500 字,但实际只有 500 字,可通过断言和具体业务要求决定重写还是中断。
    断言项包括字数、结构完整性、必填段落、关键词/禁词、引用来源、敏感词、业务必填项等。字数只是最低门槛,不能替代质量评测;重写次数纳入统一重试预算。

二、重试与终止原则

单次请求总重试不超过 2—3 次,顺序为:同模型重试 → 切备用模型 → 终止或降级。重试需有退避和熔断;同一模型或提供方连续失败达到阈值时熔断并告警。写操作在幂等无法保证时不得重试。每次失败都要记录失败类型、重试次数、切模型记录、最终处置、耗时、token 和成本。

三、Agent 评测

建立离线评测集,覆盖正常样本、边界样本、bad case 和对抗样本;提示词、模型、参数变更必须跑回归。评测方式包括规则评分、LLM-as-judge 和人工抽检校准,覆盖格式、字段、事实一致性、任务完成度、语气合规、引用完整性等。关键场景评测通过率达标后才可上线,bad case 回流到评测集和提示词优化闭环。

四、人工审核

高风险、写操作、金额、权限、合规相关输出建议全量审核;低风险场景按比例抽样审核。审核队列记录待审、通过、驳回、修正原因;驳回样本进入 bad case 库和评测集。明确审核 SLA,超时升级。

五、日志与告警

每次调用至少记录:request_id、会话 ID、Agent 名称、场景、prompt 版本、模型版本、temperature、重试次数、失败类型、断言/评测/审核结果、耗时、token、成本、最终处置。
核心监控指标包括:JSON 解析失败率、字段校验失败率、重试成功率、切模型成功率、中断率、人工驳回率、bad case 回流数、P95 延迟、单次成本。连续失败、解析失败率突增、切模型率突增、人工驳回率突增、提供方熔断时告警。

六、安全与合规

输出前做敏感词、合规词、PII 泄露检查;高风险输出必须人工审核或强制拦截。日志脱敏,不记录完整敏感原文。写操作记录操作人、快照 ID、幂等键和回滚路径。

七、职责与迭代

Agent 开发负责断言、重试、幂等、快照和日志;提示词工程负责格式约束、减少过载和维护 prompt 版本;评测/算法负责评测集、judge 规则和回归测试;业务/运营负责业务断言、审核标准和抽样比例;平台/SRE 负责熔断、告警、可观测和提供方稳定性。上线流程为:开发 → 评测 → 灰度 → 全量 → 监控 → bad case 回流迭代。

一句话总结:代码断言保底线,Agent 评测保质量,人工审核保高风险,重试幂等保安全,日志指标保可追溯。

正文到此结束
该篇文章的评论功能已被站长关闭
本文目录