10 人在回路中不是按钮，是责任机制

10 人在回路中不是按钮，是责任机制

图 R10-F07｜责任闭环，不是五个人轮流签字。报价助手的假设流程。本例选择复核，其他获准流程可以采用不同控制路径。验收面向一段运行产生的业务结果，不是每张草稿多签一次。裁决处理越权与冲突，可以停止相关动作；处置结果回流不代表必然获准。规则更新须在权限内核验，图中的路径不是效果保证。

一家公司的报价单出了错，客户投诉到老板这里。老板调流程记录，系统里清清楚楚：某月某日某时某分，某某已确认。

老板问那个人：你当时看了吗？他说看了。老板又问：你看的时候，觉得这个数对不对？他说，我不知道对不对。系统就给我一个数，别的什么也没给我，我不点，这单就卡在我这儿。

这就是今天大多数公司嘴里的人在回路中。AI 输出。人点确认。系统留痕。流程继续。

看起来很稳。直到第一次出错。出错以后才发现，那个点确认的人没有足够信息，没有复核时间，没有否决权限，也没有纠偏通道。他不是在回路里。

他只是站在责任链末端，被迫盖章。

人不是按钮。

如果一个人只能点确认，不能看依据，不能退回，不能暂停，不能升级，不能把错误写回规则，那么这个人不叫人在回路中。

他叫人工确认章。

这件事最危险的地方，是它会制造安全幻觉。老板以为有人审。系统以为流程合规。业务以为责任有人接。

一线员工以为自己只是按流程操作。但真正的问题没有被回答：

这个人到底有没有能力、权限和责任去改变 AI 输出？

如果没有，所谓 HITL（Human in the Loop，人在回路中）只是把风险往人身上推。

不是有没有人，是人有没有条件

人在回路中的核心，不是“有没有人”。

是这个人有没有判断条件。至少四个条件。第一，信息。复核人要看得见输入、依据、边界和风险。只给一个 AI 结论，不给上下文，本质上是在要求人相信机器。

第二，时间。如果流程设计成几秒钟必须点完，复核就会变成姿势。一个人手里一天过两百单，每单给他十秒，他能做的只有一件事：点。人不是不负责，是组织没有给他负责的条件。

第三，权限。复核人必须能退回、否决、暂停、升级。没有否决权，就没有复核。只有确认权，没有否决权，那叫盖章。

第四，纠偏通道。复核发现问题以后，不能只在当前单子上改一下。错误要能写回规则、知识库、权限和流程。

否则下一次还会错。很多 HITL 设计只做了最表层的一步：AI 输出之后，让人点确认。这看起来有人工控制，实际上没有人工判断。

因为人没有足够信息判断，没有足够时间判断，没有足够权限改变，也没有通道让系统下次变好。

你可以拿这四条当四道题，去问你们公司那个天天点确认的人：你看得见依据吗？你有多少时间看？你能不能退回去？你上次发现的错，现在写进规则了吗？四个答案听完，你就知道这条回路是真的还是摆设。这种回路不是安全机制。它只是把系统偏差盖上一个人工确认章。

AI 出建议，人背后果

最糟糕的机制，是 AI 出建议，人背后果。AI 给一个结论。系统要求人确认。出了问题，追那个确认的人。

这不是责任机制。这是把风险包装成流程。

很多组织会在这里自我安慰：我们有人工复核，所以风险可控。这句话在会议室里说出来很顺，但它经不起一个追问：出事那天，被叫去写情况说明的是谁？

如果答案永远是那个点确认的人，那么所谓风险可控，控的不是风险，是背锅的顺序。

真正要问的是：这个人有没有能力改变结果？

如果他看不到完整信息，只看到 AI 的最终建议，他怎么复核？如果他没有权限退回，只能选择通过或拖延，他怎么负责？如果他提出异议会影响自己的绩效，他为什么要认真挑战 AI？如果他发现错误以后没有写回通道，下一次系统还会把同类错误推给另一个人。

这就变成了单边赌局。AI 提供速度，组织拿走效率，一线承担后果。这种机制短期看很顺，长期会伤信任。员工会学会保护自己。他会形式上配合，真实判断后退。他会少写复盘，少贡献经验，少挑战流程。

不是因为他不负责任。是因为组织给他的信号很清楚：

你的判断不值钱，你的签字很值钱。

理性的人在这种信号下会调整行为。

他学会的不是怎么做更好的判断，是怎么做一个留痕更干净的确认动作。这对组织的伤害，不只是一个员工的判断力在退化。旁边的人看到同事怎么做，会跟着学。

时间长了，团队在 AI 流程里的真实状态，是一排签字盖章的人，但没有人真正在看。

系统继续输出。错误继续积累。审计记录显示一切正常。这比没有人审更危险。

因为“有人审”给了组织一个不该有的放心。

回路里至少有五个角色

真正的回路里，至少有五个角色。

使用人、复核人、验收人、裁决人、维护人。这五个角色不能混成一句“有人负责”。

先拿一个具体的东西套一下。假设你们上了一个 AI 报价助手。

业务员拿它出报价，这是使用人。主管签字放行，这是复核人。季度末有人回头看这批报价的成交率和毛利有没有变好，这是验收人。客户压价压到红线以下，AI 建议和风控规则打架，有人拍板，这是裁决人。把这次的教训改进到报价规则和话术库里，这是维护人。

五个角色摆完你会发现，大多数公司只坐了前两个位置，后面三个是空的。

使用人，是把 AI 输出放进日常动作的人。他关心的是：这个输出能不能帮我完成当前任务。他离输出最近，也最容易被当成兜底人。但使用人的责任边界是执行，不是系统风险兜底。

复核人，是判断 AI 输出是否可用的人。他要看 AI 有没有越界，有没有遗漏，有没有把风险包装成确定性。复核人需要独立视角，必须拿得到完整输入，看得见依据和边界。验收人，是判断这个 AI 节点是否真的改变业务结果的人。他不只看输出像不像样，还要看流程是否变快，错误是否变少，返工是否下降，客户等待是否缩短。很多组织缺的正是这个角色。AI 上线以后，没有人在固定时间问：这个节点到底改善了什么？

裁决人，是处理例外和冲突的人。当 AI 建议、业务目标、风险边界发生冲突时，必须有人拍板。很多冲突不是技术问题，是优先级问题：速度还是安全，效率还是合规，客户体验还是成本边界。维护人，是更新规则、知识、权限和提示词的人。

他决定这次错误会不会在下一次继续出现。没有维护人，回路会在某一天悄悄走样，而组织不知道。很多公司失败，不是没人碰 AI。是五个角色被压成一个人。一线员工使用、复核、验收、兜底、承担后果。主管只看结果，系统只留记录，老板只问效率。

没有人的职责是问：这套回路还在正常工作吗？这不是人在回路中。这是把一条责任链塞给一个人。

低风险动作可以自动化

不是所有 AI 流程都必须塞一个人。

这句话也要说清楚。有些动作低风险、可逆、重复、可监控，就应该尽量自动化。比如格式整理、资料归类、初步摘要、重复提醒、低风险信息检索、标准化表格填充。这些地方如果每一步都要人点一下，组织只会得到一个更慢的流程。

人类判断力是稀缺资源。不应该浪费在低价值重复确认上。很多公司一听人在回路中，就开始到处加审批节点。AI 生成一次，人看一次。AI 推荐一次，人签一次。AI 更新一次，人确认一次。最后系统没有更安全，只是更慢。

真正的设计，是把人放在高价值判断节点，不是把人铺在所有动作后面。

低风险动作要问四件事。错了能不能快速发现？发现后能不能快速回滚？影响范围是否可控？有没有监控和抽检？

会议纪要只作草稿，也得先核清数据权限、错误影响和检查办法，不能凭“只在内部”就放行。报价发出去难以收回，更要在发送前定清授权和控制；但不能只凭收不回来，就断言每一单都必须有人审批。

这四问是检查入口，不是自动放行公式。是否逐次确认，还要看具体用途、权限和控制证据。低风险自动化不是把人移出组织。

是让人从低价值确认里出来，回到真正需要判断的地方。

高后果动作，先把控制与承接做实

低风险动作可以自动化。

高后果动作，不能只看模型输出漂不漂亮。钱、法、客户、雇佣、品牌、合规、伦理都是重点核查领域，但不是统一的人审档位。要拆到具体动作，看权限、影响和控制能否成立，出了事怎样承接；有人签字，也不能替这些条件过关。

比如客户承诺能不能发出去。内容是否准确、是否在履约能力和授权范围内，都要查。超出预授权、需要新取舍的承诺，交给有权者决定；规则内的固定动作能否自动执行，另看适用要求和控制证据。合同条款也一样：起草措辞，不等于取得承诺权限。

比如招聘筛选和员工评价。整理信息与作出影响员工的决定，不是同一用途。哪些判断可以交给系统，哪些必须由有权者决定，要按具体要求和证据划清，不能从“AI 会比较”直接跳到“AI 可以决定”。

组织判断必须有人负责。但这里的人，也不是随便找一个人。他必须有专业能力看清边界，有足够上下文理解具体情况，有明确权限可以改变结果，也有升级通道在超出权限时把决策推给有权限的人。缺少任何一条，高风险场景里的 HITL 依然会变成假动作。

人站在流程里，不等于判断站在流程里。

人留在前台，AI 接走后台

前面讲的是怎样把控制和承接做实。但留人这件事很容易被理解成一种成本，好像人是被迫留下来挡在流程里的。有一个反过来的例子，值得管理者看一眼。

一个高端消费品牌的客服场景。这类品牌的客户单价高，客户对沟通体验的敏感度也高，所以它上 AI 的时候面临一个很典型的选择：要不要用 AI 把人类客服替掉。

它没有替。

它的做法是把 AI 放到客服背后。客户电话进来的那一刻，AI 负责把这个客户的订单记录、历史沟通、过往异常和推荐话术快速推到客服面前。前台还是人在说话，后台变聪明了。

这里最能说明问题的是一个细节。客户打电话来说一件商品坏了想退换，按传统客服流程，这通常会被当成一次常规质量问题处理掉。但系统在匹配历史订单时会发现，这件商品上刻了客户本人的名字——它是一件定制品。

定制品的退换处理方式和常规商品完全不是一回事。这个信息如果没有被及时推到客服面前，客服大概率会按标准话术往下走，然后在某个环节才发现不对，再回头补救。

这就是 AI 在这个场景里真正的价值：它不是替客服说话，是让客服在开口之前就知道自己面对的是什么。

这个项目花了不少钱，但没有裁掉人类客服。它拿到的结果是接听比例上去了，客户满意度上去了，处理效率也上去了。

这家公司选择把人与客户的沟通留在前台，让 AI 帮忙查订单、翻记录、找规则。值得借鉴的是拆节点的方法，不是把这套分工原样搬到每家公司。

下一章会把风险、可逆性、判断要求和责任外溢四条线展开。先借这个案例看清一件事：与客户形成承诺、调取订单资料，是不同节点。前者要核承诺边界，后者也要核数据权限，不能只因它是后台动作就直接放开。

同一条流程，不同节点可以配不同控制。这才是拆开判断的意义。

如果组织在这个场景里只问一句”客服能不能被 AI 替掉”，那么无论答案是能还是不能，都会错过这个更有价值的拆法。

回路不是审批链

很多公司把回路做成审批链。

AI 输出。人审批。流程结束。这不叫回路。

这叫单向流程。真正的回路，必须让下一次变好。AI 输出之后，人类判断不是终点。结果要被验收，错误要被复盘，规则要被更新，知识要被写回，权限要被调整。否则组织只是在重复确认。

上面那五件事都是要求。问题是，你怎么知道它们真的发生了。有一个地方能看出来，而且不用查系统——去看你们公司那个天天点确认的人，他每一次要动多大的手。

刚上线的时候，AI 生成一版，他基本得重做。这个重做的过程本身就是在教它：你为什么把这条改掉，你凭什么判断那个数不对，这些理由被喂回去，就沉淀成了它下一次的依据。教到一定程度，它给出来的东西越来越接近能直接用，他的动作会跟着变——从重做变成确认，从每一份都看变成抽检。人还在回路里，但介入的密度降下来了。这就是回路在收缩。

这件事的管理含义，比它听上去要重要。

前期密集纠偏的成本，不能当作往后每个月都要付的固定账单。这里说的是把经验教进系统的那笔投入，不包括长期保留的判断与复核。前面讲留人的时候我说过，留人很容易被理解成一种成本，好像人是被迫挡在流程里的。这笔账我不建议只按第一个月去算，那时还在密集磨合。要看这三个月里，在任务量和难度相近、质量没有下降的前提下，他要动手的次数有没有减少。少改了，还得看是不是旧经验被复用了，而不是少查了、漏检了。一直没减少，也要分清是系统没学会，还是任务变难了。

我看过一些 AI 辅助决策场景。真正难的不是让 AI 给建议，是把建议放进流程：谁看、谁改、谁复核、谁升级、谁把复盘写回知识库。这件事一旦做不清，AI 就会变成旁边的工具。建议看起来有用，但流程没有变。异常出现了，还是靠人临时处理。

复盘做完了，还是留在聊天记录里。下一轮再遇到同类问题，组织重新犯错。

所以，回路必须有写回。写回规则。写回知识。写回权限。写回流程。没有写回，人在回路中只是审批链。有写回，人在回路中才开始变成组织学习机制。

这里有一个很实用的检查，你今天下班前就能做。打开你们那个跑得最久的 AI 流程，看它的规则、知识库、权限设置、提示词、检查表，最近一次改动是什么时候。如果一个月过去了，这些东西一个字没动，再去看这一个月有没有出现值得改规则的新错误。没有新情况，不必为更新而更新；同类错误反复出现却没有回写，才是回路该查的地方。

这里要防一个误读。听说介入会变少，有的老板下一句就是：那我等它自己学会不就行了。先问一句：它从哪里得到你们的经验，谁来确认它学对了？

通用模型可以带着公开资料中的知识进来，但这不等于它掌握了你公司的具体门道。这家公司为什么是这么做，不是那么做。还有你那个老工程师下判断时脑子里过的那几条线——那几条线他自己都没写下来过。没有记录、没有接入、没有使用授权，模型不会仅凭等待就获得这些信息。

所以介入变少，不能只靠换一个更强的模型来许愿。前面那个点确认的人每改一次、每退回一次、每写一次这条为什么不行，都是在给组织留下可用的经验。系统也可以自动收集反馈、提出规则修改，但谁验证修改、谁批准它进入下一轮，不能省掉。经验接进去了，还得用后续结果检查有没有学对。

通过记录只能证明有人点过。不能证明组织变聪明。真正有价值的回路，应该让错误越来越少，让例外处理越来越清楚，让新人越来越容易接住，让同类问题不再反复靠老员工临场判断。这才是回路的价值：它要的不是把人放进去，是让人的判断留下来。

一号位要定责任协议

人在回路中不是技术配置。

是组织协议。一号位要定的不是“是否有人审 AI”，是五个更硬的问题。谁在什么条件下有权改？谁在什么条件下有权停？谁在什么条件下有权退回？谁在什么条件下有权升级？谁在什么条件下负责把错误写回规则？

这些问题不定清楚，HITL 就会变成一个漂亮但空的词。

不定清楚会出现什么？技术团队会说流程里有人。业务团队会说自己按要求确认。管理层会说风险已经有人兜底。出了问题以后，每个人都能证明自己按流程做了，但组织没人能证明流程本身是对的。这就是责任机制缺失最典型的表现：过程可追溯，结果无人担。

真正的一号位，要把人在回路中写成责任协议，不是一句表态。协议要明确五件事。哪些场景必须有人进入判断节点。哪些场景可以自动化。哪些角色有复核权。哪类错误触发升级。哪类经验必须写回知识库或流程。协议不需要很长。

但必须有具体条件。不能只有原则。原则负责表态。条件负责落地。

没有条件，责任协议就是口号。

为什么这不是我拍脑袋

外部研究和监管，其实已经把这件事说得越来越清楚。人类学家 Elish（伊利什）专门研究自动化系统出事以后责任落到谁头上，她提出的 moral crumple zone，直译是道德溃缩区，用人话说，就是自动化系统出了问题以后，责任很容易被压到那个离事故最近、但实际控制权有限的人身上¹。汽车的溃缩区是撞车时替驾驶员吸收冲击力，而道德溃缩区吸收的那一下，保的是系统，赔进去的是人。这正好解释了为什么“人工确认章”危险。

他看起来在控制系统，实际上只是替系统吸收责任冲击。荷兰代尔夫特理工的两位技术哲学学者 Santoni de Sio 和 van den Hoven，做的事是给“机器自己干活的时候人该管到什么程度”找一个说得清的标准，他们讲的 meaningful human control，有意义的人类控制，核心不是“有人在场”，是系统要能回应现场理由，结果要能追溯到真实的人和组织链条²。

这也说明：有意义的人类控制，不是站岗，不是点按钮，是要有理由、有权力、有追溯。

EU AI Act 第 14 条对高风险 AI 系统的人类监督也不是一句空话³。它要求人类监督要能防止或减少风险。它要求监督者能理解系统的能力和局限，能对自动化偏差保持警觉，能正确解释输出。它还要求监督者在必要的时候，可以决定不使用、推翻、逆转或者中止系统输出。这几条摆在一起看，说的是同一件事：监督者手里得有权，不是只有一支笔。

还有一层，比上面几条更容易被老板忽略：AI 系统不是装好了就一直是装好时那个样子。Davis 等人 2025 年发在《美国医学信息学会杂志》（JAMIA）上的一项研究，用了 11 年的季度数据，追踪三个预测手术后再入院和死亡风险的模型。结论是三个模型都出现了跨指标的时间性漂移；其中肺炎模型的准确率在不同族群里都在下降，但下降的坡度不一样陡。研究者的判断很直接：算法公平性没法靠开发阶段的一次性评估来保证⁴。

这是医疗场景的研究，不能直接搬到你公司的报价或招聘上。但它戳破的那个幻觉是通用的：上线时评过一次，不等于半年后还在准线里。所以复核人真正要盯的不只是”这一单对不对”，还有”这套东西最近是不是整体在往下走”。没有验收人和维护人，这种慢慢发生的走样，公司要等到客户投诉才知道。

这些外部讨论指向同一个方向：人类监督不是“有人在场”。人类监督是“有人有权改变结果”。这不是反 AI。

恰恰相反。只有把责任机制设计清楚，AI 才敢进更深的业务流程。否则组织越想规模化，越会把风险堆到一线确认人身上。这不是先进。

这是把旧组织的问题，用 AI 放大了一遍。

老板会上先问七个问题

责任机制最后要落到老板会上。

老板不要问：“我们有没有人在回路中？”这个问题太粗。下次开会，把它换成七个问题，一个一个问下去。

第一，这个 AI 输出错了，影响范围有多大？

第二，错了能不能在约定时间和成本内回到事前约定的可接受状态，还会留下什么影响？需要谁配合，依据在哪？按第十一章的三档恢复条件分别看，不和第一问的风险大小捆在一起。

第三，谁是使用人、复核人、验收人、裁决人、维护人？

第四，复核人有没有信息、时间、权限和纠偏通道？

第五，复核人有没有否决、退回、暂停、升级的权力？

第六，错误发生以后，会写回规则、知识、权限和流程吗？写回之后，这三个月人要动手的次数变少了没有？

第七，最终结果由谁负责？

这七问问完，很多所谓人在回路中会露出底。人是有的，权没有；流程是有的，责任没有；审计也是有的，可它只能证明有人点过，不能证明有人判断过。

这周先做三件事

第一，选一个正在使用 AI 的高风险场景。不要从全公司开始。选一个会影响客户承诺、钱、合同、招聘、员工评价或品牌风险的场景。第二，画出五个角色。使用人、复核人、验收人、裁决人、维护人。每个角色对应哪个岗位？有没有写进职责？有没有信息和权限？

第三，写一张责任协议。不是长制度。就写五句话：什么情况必须有人判断？谁能否决？谁能升级？谁来验收结果？谁负责写回？这三件事做完，你再说公司真的有人在回路中。否则，不要把一个确认按钮叫人在回路中。

人可以参与工作。AI 可以参与工作。但组织责任不能外包给按钮。