Agent 自动化里的人工审核:以内容生产流程为例
内容生产里哪些环节可以交给 Agent,哪些必须由人审核;审核怎样做到「审的就是发的」,运行记录和失败重试又该怎么设计。
- 发布
用 Agent 做内容生产,选题、找资料、起草、出图、生成各渠道版本,大部分步骤都能自动完成。难的不是让 Agent 多做一点,而是想清楚:哪些步骤交给它,哪些必须由人把关,以及人的把关怎样不被流程绕过去。
这篇以我们自己的内容生产流程为例,讲讲这几个问题。
先分清:哪些环节交给 Agent
我们的判断标准很简单:出了错能不能撤回。能撤回、能重来的步骤交给 Agent;一旦做了就收不回来的,留给人。
| 环节 | 谁来做 | 为什么 |
|---|---|---|
| 选题与资料 | Agent 定时运行,人看结果 | 选错了题,不采用就是 |
| 写稿 | Agent 起草,人「采用」或写修改意见 | 稿子是否可用,要人判断 |
| 成图、渠道版本、检查 | 按我们的设计,稿子采用后自动生成 | 都还在内部,可以重做 |
| 审阅 | 人 | 这是发出去之前的最后一道关 |
| 发布 | 人 | 对外可见,发出去就收不回 |
| 复盘 | Agent 汇总,人决定采纳哪些 | 复盘结论会影响以后的规则 |
所以整条流程里,系统不会自动把内容推送到外部渠道。它能做到的最远一步,是把待发布的内容准备好,交给人。
审的就是发的
人工审核最常见的漏洞是:审的是一版,发的是另一版。比如审核通过之后又有人改了一个字,或者审核时看的是旧的预览。
我们的做法是把「候选稿」冻结起来:
- 送审前,系统把这一版内容固定下来,并算出一个内容摘要(哈希值)。
- 审核人做决定时,提交的是这个摘要。摘要和当前候选稿对不上,决定就不生效。
- 通过以后,这一版不能再改。要改,就生成一个新的候选稿,重新审核。
- 旧的候选稿不能被批准,避免有人翻出一版过期的稿子点通过。
这样,「通过」这个动作永远绑定在一个确定的版本上。
审核只有两个选项
审核结果只有两种:通过,或者要求修改。没有「先这样吧」「基本可以」之类的中间状态。
中间状态的问题在于,后面的流程不知道该怎么处理它:该发,还是不该发?两个选项逼着审核人给出明确的结论,也让后面的步骤只需要处理两种情况。
另外两条规则:
- 通过前再检查一遍。 送审时跑过的检查,在点「通过」的那一刻还会重新跑。检查有警告时,审核人要写下怎么处理,才能通过。
- 每次决定都留记录。 谁审的、意见是什么、审的是哪一版、什么时候通过的,都写进记录。
发布也留在人手里
审核通过不等于发布。通过以后,内容还要经过几个状态:确认发到哪个渠道、准备好发布包、等待人工发布、人工确认已发布。
其中「已发布」只能由人来确认。即使系统帮忙在渠道后台建好了草稿,最后点发布的仍然是人,发完回来填一下结果,这条内容才算走完。
运行记录和失败重试
Agent 每跑一次,都要留下记录:这次在做什么、用了哪个模型和哪一版提示词、输入是什么、输出是什么、用了多少 token、成功还是失败。出了问题,靠这些记录才能查清楚是哪一步、哪一次出的错。
重试要分清两种失败:
- 确定没发出去的失败,比如本地校验没通过、网络连接没建立。这种可以放心重试,但要限定次数和间隔,不能无限重来。
- 不确定有没有发出去的失败,比如请求发出后超时。这种不能直接重试,否则可能重复执行。我们会把它标成「可能已发出」,先对账,再决定下一步。
定时任务也一样:任务被取走后,要等它真正执行完才算完成。执行到一半机器出了问题,任务会回到队列里,不会悄悄丢掉。
复盘也要人拍板
内容发出去以后,Agent 会把数据和反馈整理成「可以学到的东西」,比如某类标题效果更好。但这些结论不会自动写进规则:它们先进入待审状态,由人决定采纳、拒绝还是先放着。
原因和前面一样:复盘结论会影响以后所有的内容,属于收不回来的那一类。
常见问题
用了 Agent,是不是就不需要人审核了?
不是。Agent 适合做可以撤回、可以重来的步骤;对外可见的动作,比如发布,应该由人确认。
审核通过以后还能改稿吗?
可以改,但改动会生成一个新的候选稿,需要重新审核。已经通过的那一版不会被改写。