← 全部文章

Agent 自动化里的人工审核:以内容生产流程为例

内容生产里哪些环节可以交给 Agent,哪些必须由人审核;审核怎样做到「审的就是发的」,运行记录和失败重试又该怎么设计。

发布

用 Agent 做内容生产,选题、找资料、起草、出图、生成各渠道版本,大部分步骤都能自动完成。难的不是让 Agent 多做一点,而是想清楚:哪些步骤交给它,哪些必须由人把关,以及人的把关怎样不被流程绕过去。

这篇以我们自己的内容生产流程为例,讲讲这几个问题。

先分清:哪些环节交给 Agent

我们的判断标准很简单:出了错能不能撤回。能撤回、能重来的步骤交给 Agent;一旦做了就收不回来的,留给人。

环节 谁来做 为什么
选题与资料 Agent 定时运行,人看结果 选错了题,不采用就是
写稿 Agent 起草,人「采用」或写修改意见 稿子是否可用,要人判断
成图、渠道版本、检查 按我们的设计,稿子采用后自动生成 都还在内部,可以重做
审阅 人 这是发出去之前的最后一道关
发布 人 对外可见,发出去就收不回
复盘 Agent 汇总,人决定采纳哪些 复盘结论会影响以后的规则

所以整条流程里,系统不会自动把内容推送到外部渠道。它能做到的最远一步,是把待发布的内容准备好,交给人。

审的就是发的

人工审核最常见的漏洞是:审的是一版,发的是另一版。比如审核通过之后又有人改了一个字,或者审核时看的是旧的预览。

我们的做法是把「候选稿」冻结起来:

  1. 送审前,系统把这一版内容固定下来,并算出一个内容摘要(哈希值)。
  2. 审核人做决定时,提交的是这个摘要。摘要和当前候选稿对不上,决定就不生效。
  3. 通过以后,这一版不能再改。要改,就生成一个新的候选稿,重新审核。
  4. 旧的候选稿不能被批准,避免有人翻出一版过期的稿子点通过。

这样,「通过」这个动作永远绑定在一个确定的版本上。

审核只有两个选项

审核结果只有两种:通过,或者要求修改。没有「先这样吧」「基本可以」之类的中间状态。

中间状态的问题在于,后面的流程不知道该怎么处理它:该发,还是不该发?两个选项逼着审核人给出明确的结论,也让后面的步骤只需要处理两种情况。

另外两条规则:

  • 通过前再检查一遍。 送审时跑过的检查,在点「通过」的那一刻还会重新跑。检查有警告时,审核人要写下怎么处理,才能通过。
  • 每次决定都留记录。 谁审的、意见是什么、审的是哪一版、什么时候通过的,都写进记录。

发布也留在人手里

审核通过不等于发布。通过以后,内容还要经过几个状态:确认发到哪个渠道、准备好发布包、等待人工发布、人工确认已发布。

其中「已发布」只能由人来确认。即使系统帮忙在渠道后台建好了草稿,最后点发布的仍然是人,发完回来填一下结果,这条内容才算走完。

运行记录和失败重试

Agent 每跑一次,都要留下记录:这次在做什么、用了哪个模型和哪一版提示词、输入是什么、输出是什么、用了多少 token、成功还是失败。出了问题,靠这些记录才能查清楚是哪一步、哪一次出的错。

重试要分清两种失败:

  • 确定没发出去的失败,比如本地校验没通过、网络连接没建立。这种可以放心重试,但要限定次数和间隔,不能无限重来。
  • 不确定有没有发出去的失败,比如请求发出后超时。这种不能直接重试,否则可能重复执行。我们会把它标成「可能已发出」,先对账,再决定下一步。

定时任务也一样:任务被取走后,要等它真正执行完才算完成。执行到一半机器出了问题,任务会回到队列里,不会悄悄丢掉。

复盘也要人拍板

内容发出去以后,Agent 会把数据和反馈整理成「可以学到的东西」,比如某类标题效果更好。但这些结论不会自动写进规则:它们先进入待审状态,由人决定采纳、拒绝还是先放着。

原因和前面一样:复盘结论会影响以后所有的内容,属于收不回来的那一类。

常见问题

用了 Agent,是不是就不需要人审核了?

不是。Agent 适合做可以撤回、可以重来的步骤;对外可见的动作,比如发布,应该由人确认。

审核通过以后还能改稿吗?

可以改,但改动会生成一个新的候选稿,需要重新审核。已经通过的那一版不会被改写。

相关文章