11 AI 该配什么控制,先看四条线
图
R10-F08|恢复档位,不替你选控制。恢复档位描述在事前约定条件下能否恢复,不直接选择控制方式。应核清原状态、恢复权限、目标、时间、成本与剩余影响。使用权限、限制和控制效果另行评估;必要条件满足不等于已经获准。获准范围内选取彼此兼容的控制,同一用途不得一边禁止一边放行。
AI 流程上线前,团队常问老板:“这一步要不要人审?”
光答“要”或“不要”,还没回答真正的问题:这一步获准做什么,出错会影响谁,现有控制能否把后果限制在约定范围内。人工确认可能挡住错误,也可能只是多了一次点击。要看它实际检查了什么、能改变什么。
先把节点拆清楚
同一份赔付方案,留在沙盒里供讨论,和发给客户形成承诺,是两个节点。内部摘要供人参考,和摘要被直接用于员工评价,也不是同一用途。先写清输出从哪里来、送到哪里、何时会被下游依赖,再谈分级。
本章看四条线:风险、可逆性、判断要求和责任外溢。它们帮助选择控制,不是四个分数相加,就能算出该不该人审。
四条线各自怎么判
风险,先问可能损害什么、影响多少对象、持续多久,以及多次发生后会累积到什么程度。钱、雇佣、合同、客户承诺是重点核查领域,不能只因出现一个“钱”字,就把所有动作判成同一档。适用限制和禁止条件先查;有权承担相应后果的主体再明确可接受边界,不能由操作人临时决定。
可逆性,问的不是“需不需要解释”,而是错误发生后,能否回到事前约定的可接受状态。上线前先固定恢复目标、时间窗口、可用成本和允许留下的影响,再按同一把尺判断。可接受状态不是事后为了过关而改写的目标,也不能越过适用限制、权利边界或已经确定的禁区。
第一档,直接恢复。有可核查的原状态和经过验证的恢复路径,执行者有权操作,不依赖其他主体配合,能在约定时间和成本内完成,剩余影响也不越界。
第二档,协调恢复。恢复需要下游或其他主体配合,但配合机制和恢复路径已经确认,同样能在约定窗口内完成,剩余影响也在界线内。发过通知、需要解释,不会自动把它踢到第三档。
第三档,不能证明能恢复。没有足够证据,或者已知无法在约定条件内恢复,都放在这里。它既包括已经确认不可撤回的动作,也包括“也许能修,但还没核实”的情况;这两种原因要分别记下来。
判定顺序很简单:先问能否证明按约定恢复,不能就归第三档;能,再问是否依赖其他主体配合,依赖就是协调恢复,不依赖就是直接恢复。不要一边按能否解释分类,一边又按能否撤回分类。
这条线我自己在产品上守过一次,代价是让用户多点一下。
我写过一个整理文件的小工具,主要是给自己用的。它要干的事情听起来很简单:把堆在那里的文件自动归好类。真做起来,很快就撞上一个我绕不过去的问题——有些文件夹是垃圾堆,有些文件夹是档案。前者是随手往里扔的一堆东西,应该拆开、逐个归类;后者是已经有内部秩序的整体,项目文件夹、客户交付物、历史归档,拆开反而把它的价值毁了。
麻烦在于,这两种文件夹从外面看长得一模一样。
AI可以去猜,但如果它把应当完整保留的文件夹拆开,就可能破坏已有结构。这里说的是设计要防的后果,不是记录了一次已经发生的事故。
到这一步,常规的思路是把识别做得更准:多加几条规则,多训一轮,把准确率再往上顶几个百分点。我做的决定不是让它猜得更准,是不让它猜。用户选中一个文件夹的时候,自己说清楚这是要整体搬走,还是要拆开分类。选择权交回给人。这条我在决策记录里标成了核心产品哲学,在产品宣言里写的是:这个区分不可谈判;哪天它被拿掉了,这个工具就失去意义了。
为什么宁可让用户多点一下,也不肯让 AI 替他决定?因为这里的账不是按准确率算的。
在这个工具上,我选择让用户明确整理意图,并把可撤销当作产品约束。识别更准有价值,但不能代替用户授权,也不能独自兑现保留文件结构的承诺。
拿这段经历去看组织权限,要带走的是那个问题:我们究竟承诺保住什么,靠什么保住?不能从一个产品的选择推出“凡不可逆就必须人审”。反过来也一样:能撤销,不等于有权先做。
顺着这条线,那个工具还有一条更硬的规矩:所有操作必须可撤销。不是把它当一个功能做,是当一条底线守着。它早期有一段产品文案,比我后来任何一句总结都直白——我们发现 AI 会犯错,所以你可以撤销。这句话的诚实之处在于,它不承诺 AI 不犯错,它承诺犯错之后有退路。
于是整个工具的分工就这么定下来了:AI 提建议,我来决定,系统透明地执行。
我给这个工具立的红线,是不能撤销的事就不该自动发生。这是它的产品承诺,不是所有业务自动化的通用禁令。
判断要求,看目标是否明确、规则是否覆盖当前情况,冲突和例外是否需要在授权之外重新取舍。整理和归类也可能需要判断;赔付在充分明确、已经验证的规则内,也可能是固定动作。换两个人答案一样,不证明答案正确;答案不同,也不证明这一步只能由人来做。
责任外溢,看后果沿着哪条真实路径传播。输出会进入谁的输入,在哪一步改变承诺或影响他人,哪些约束能够拦住,约束失效又会怎样。存在一条传播路径,需要检查,不等于已经证明后果最大;“只在内部”也不能替代对员工权益、敏感信息或累积损害的核查。
四条线不是加权评分表。本书没有给出经过验证的通用权重,也不让低分冲掉一项禁止条件。恢复条件尤其不能直接替你选控制:难恢复的固定动作可能在严格约束下获准自动执行,容易恢复的动作也可能因为无权访问数据而不得使用。
最后还得比较控制本身。人工复核有没有足够时间和信息,能否退回或叫停?抽检漏过一次错误的代价能否承受,反馈是否来得及?自动规则的覆盖范围、限制和阻断是否经过验证?把这些写清,比笼统增加一道审批更接近问题。
用几组假设,检查判据会不会打架
下面是为比较条件而设的演算,不是企业实测案例,也不证明读者已经能一致分类。
先看会议摘要。假定原始记录完整、恢复路径已测,摘要只作草稿,不触发人员评价或对外承诺,输入使用获准,并有足够校验。在这些条件下,它可以归直接恢复,在预授权范围内选择不逐单复核、辅以必要监测或抽检。若摘要直接进入绩效决定,且已经影响员工、无法确认影响能消除,就不能沿用同一判断。
再把赔付拆成两步。同一文案只在沙盒中起草,没有发给客户,也不触发财务动作,且原状态及恢复路径符合事前约定,可以归直接恢复。对外发送若超出预授权,撤销又需要客户尚未确认的同意,就归不能证明能恢复。发送前须由有权者决定;必要的控制和后果承接未具备,即使有人签字也不能发。
还有一个容易判错的例子:假定一类小额退款发出后不能撤回,已经通过该场景的完整放行评估,获准在限定范围内自动执行。评估包括明确的预授权、适用限制,以及规则、单笔和累计限额、监测、异常阻断、损失承接的验证;这里列出的并非所有场景完整要求的替代清单。对这个已经获准的固定动作,不能仅因不可撤回,就断言还必须逐单审批。不能恢复,不等于不能承担;承担得起,也不等于自动取得使用权限。
若调用量突然上升,累计损失越过事前界线,监测又跟不上,同一动作就应暂停或限流,重新评估权限和控制,不能等下个抽检周期。前后可逆性都没变,变的是自动执行的条件。
这几组假设说明的是分类与控制不应一一对应。真正使用时,假设里的每项条件都得换成可检查的依据;缺证据就保留缺口,不能照着例子的结论填表。
从这些节点转看整条流程,还有一个问题:如果把沿途的节点都按这四条线检查一遍,控制方式该怎样搭配?
这个问题我真答过一次。在我自己做的一个投放协作系统上,我和一家做内容投放的客户专门开会讨论过要不要做全自主,结论是不做。客户认可这个结论。
当时选择不做全自主,就需要把保留人工部分的成本算进去。它和第十章讲的前期训练投入是两笔账:一笔看密集纠偏能否随知识沉淀减少,一笔看在当时的业务和授权条件下,哪些判断与协商仍由人承担。条件变了,这个安排也应重审。
我当时的判断是,技术上可以继续探索全自主,但现实成本太高。这是方案判断,不是全自主流程已经经过完整验证。
我对自家产品的估算,是用两成的代价拿回八成的结果,余下部分保留人在回路里。这不是实测比例,也不是行业规律。要拿去判断另一条流程,还得重算它自己的质量、成本和后果。
界线在哪,看这条流程里的动作是哪一类就知道了。
在这套系统里,我交给 AI 的是执行连接层——按已定规则发出去、收回来、记下来、跟进度。谁符合候选条件、初稿怎么写、材料按哪条规则发给谁、现在走到哪一步了,这些适合让 AI 先做,再按风险设检查。
我没有交给它独立拍板的是决策协商层——谈、判、修、变。具体说,是这么六件事。对方要还价,让多少牵涉利润和后续合作,不只是算个数。对方提额外要求,要权衡这个口子开了以后,下一次怎么办。东西寄丢了,得有人出面,出面这件事本身就是态度。双方对内容方向有分歧,这是创意争议,要做取舍。内容被驳回之后关系要修复,不是把文件重发一遍。最后结算的时候甲方说效果不达标,这是商务谈判,谈的是下一次还合不合作。
这六件事都包含信息处理,AI 可以给方案、算代价、协助沟通。但我和客户没有把作出这些承诺的权限一并交出去。能提建议,和有权替双方作承诺,是两件事。
所以那条界线不是按环节重要程度画的,也不是按技术难度画的。它是按这件事出问题时的代价由谁承担、有多大画的。
你手上那条流程,不妨也照这个问法过一遍:哪些环节是发、收、记、跟,哪些环节是谈、判、修、变。前者也要有权限和复核边界;后者若要交出去,先把可承诺的范围、例外升级和谁来收场写清。否则,省下的时间可能连本带利还回去。
下面讨论五种控制方式。自由使用、人工抽检、人工复核与人工审批不构成单一升级阶梯,应在获准范围内选取彼此兼容的方式;同一用途若命中禁止条件,应停止该用途,不能再把禁止使用与放行方式并列组合。
五种控制方式,不是五档恢复条件
自由使用,是在预授权用途和边界内不逐次审批,不是没有规则。要确认后果可容忍、输出不会越界被依赖,最低监测也确实有效。换了用途、对象或规模,就得重新判断。
人工抽检,前提是漏过一个错误仍可承受,抽样能覆盖需要检查的情形,反馈来得及影响后续运行。发现重大损害路径,就暂停或限制相关动作,不等同类偏差凑够次数。
人工复核,是让有能力的人在结果被依赖之前检查。信息、时间、专业能力、退回与叫停权限、处置资源缺一项,都要追问复核是否还能成立。有人看过,不等于检查有效。
人工审批,处理的是需要有权者事前决定的具体例外或承诺。谁批、依据什么、批准到哪一层边界、后果怎样承接,要能对照。批准不会让不可恢复的东西变得可恢复,也不豁免运行中的监测和处置。
禁止使用,是禁止条件命中,或者必要权限、控制及承接条件无法满足时的选择。要重新开放,就说明哪些条件已经改变、由谁依据什么证据重评;不能用一次签字跨过去。
高后果、难恢复的动作尤其不能只检查许可。权限、适用限制、有效控制和后果承接,分别是必要检查项,不是合在一起就保证适用于所有场景的充分条件。是否逐单由人确认,要看具体要求和控制证据,不能只看“三档”中的一个标签。
条件变了,机制就要重评
模型、规则、输入、下游用途、业务规模和可用资源发生变化,都应触发相应检查。复检周期可以事前约定,但明显越界不能等例会。该限流就限流,该停就停,该补能力就补能力,不是每次只往上加一道审批。
核查要沿实际流转走。把对外发送环节另起一个流程名字,不会切断已经存在的后果路径;给自动流程配一个只点确认的人,也不会凭空增加有效判断。控制需要检查实际行为,不能只检查流程图。
出了错,还要分别回答四个问题。能否停止进一步扩大损害;必要服务怎样继续或有序停止;受影响结果怎样找到、复核和处置;谁有权限和资源修正规则,并验证修正有没有生效。
必要服务可以由经过验证的人工路径、规则系统、备份系统或它们的组合承接,不能预设人总能补上所有能力。也有动作来不及中途叫停,或者后果无法收回,这时更要在事前限制作用范围,并安排事后处置。补偿和接替不等于恢复原状。
组织不该为保留一个人审按钮而保留按钮,也不该因为自动化表现稳定,就未经验证地撤掉已有控制。要保住的是具体的承接能力,不是固定不变的控制形式。
把判定带进治理会
先挑一个具体节点,固定它的输入、动作、输出去向和被依赖的时刻。再由业务、技术、治理及相关岗位一起核四条线,确定授权边界、控制方式和后果承接安排。负责风险决策的人要有相应权限,受到影响的人和实际执行者提供必要信息。
会上留下的不能只有五个勾。恢复目标、窗口、成本与剩余影响界线是什么;依据在哪里;谁能停止或限制动作;异常由谁在多久内处理;哪些变化触发重评,都要落到运行安排。
工具:AI节点控制表
| 控制方式 | 上线前要核的关键条件 | 什么变化需要行动 |
|---|---|---|
| 自由使用 | 预授权用途、可容忍后果、最低监测、输出依赖边界 | 用途/对象/规模变化时重评,越界则先限制 |
| 人工抽检 | 漏检后果可承受、样本覆盖有效、反馈及时 | 出现重大损害路径即暂停相关动作,不等待凑次数 |
| 人工复核 | 被依赖前检查;信息、时间、能力、退回/叫停及资源到位 | 复核者无法实际动作时补能力或限制使用 |
| 人工审批 | 有权者、明确依据、授权范围、承接安排 | 授权过期或条件改变时重新决定;签字不免除监测 |
| 禁止使用 | 禁止条件或未满足的必要条件有据可查 | 解除须重新核验条件,不以签字代替能力 |
填写时,另外记下风险对象与规模、三档恢复条件及其证据、规则覆盖与例外、后果传播路径。不要把这四项统一写成“低中高”,也不要从恢复档位直接抄出控制方式。
这张表是本书提出的设计工具,尚未通过真实读者分类实验或业务效果验证。先在限定场景试用,记录分歧和失败,再修判据。表格填满,不是验证完成。