Agent 可靠性保障
一句话定位:Agent 可靠性不是靠单一手段解决的,而是”幻觉控制 + 异常处理 + 人工介入 + 可观测”四条防线组合,其中人工介入关键节点是金融等高风险场景不可省略的最后一道防线。
1. 幻觉控制
- 检索接地(Grounding):让回答基于检索到的真实文档而非模型的内部记忆生成,是 RAG(8.4)最直接的幻觉控制手段。
- 结构化输出约束:用 JSON Schema / 正则等强制模型输出符合格式规范的结果,减少模型”自由发挥”编造字段的空间。
- 自校验(Self-check):让模型(或另一个 Agent)对自己的输出做二次校验,或要求模型给出引用来源以便交叉核对。
2. 异常处理
- 超时:工具调用/模型推理设置合理超时,避免任务无限挂起。
- 重试:区分”可重试错误”(网络抖动)与”不可重试错误”(参数错误、权限不足),只对前者做有限次重试。
- 降级:多次失败后走降级路径(返回明确的”暂不可用”提示,而不是硬凑一个错误答案)。
3. Human-in-the-loop(人工介入)
- 在关键节点(如涉及资金操作、不可逆动作)设置人工确认检查点,Agent 执行到该节点时暂停并等待人工审核后才继续(对应 7.3 LangGraph 的 Checkpoint 机制)。
- 金融场景尤其要强调可审计:每一步 Thought/Action/Observation 都要留痕,方便事后追溯”Agent 为什么做出了这个决策”。
4. 全链路可观测与回放
- 记录每次 Agent 运行的完整轨迹(输入、每一步推理、工具调用参数与结果、最终输出),支持事后回放定位问题根因。
- 这和大数据/线上系统的全链路日志追踪(Trace)是同一套工程思路,只是记录对象从”请求链路”变成了”Agent 推理链路”。
5. 面试落点
- 能针对”金融场景 Agent 如何控制风险”给出体系化答案,而不是只说”加个 prompt 让它别瞎说”。
- 可迁移话术:这四条防线本质上和传统系统可靠性工程(熔断/降级/重试/可观测)是同构的,只是多了”幻觉”这个 LLM 特有的新问题类型,其余方法论完全可以从工程可靠性经验迁移过来。
参考:论文《Survey of Hallucination in Natural Language Generation》;LangChain 官方文档《Human-in-the-loop》章节