案例一 · 2026.08 起 · 发起人(产品设计与 AI 辅助实现)

群聊业务协作 Agent

把一个公开身份的 AI 分身放进公司的真实业务群。它回答业务问题、读截图和文档、只读地排查生产问题、准备修复方案,但不替人拍板。

数据截至 2026-11-13,来自线上库只读统计。人名、群名、系统名、单号均已替换或删除。

背景

我负责一条网络货运产品线。一线的问题一直不少:客服、仓网、实施几个业务群里,每天都有人问"这张单为什么卡住""这个司机为什么接不了单"。每个问题都要有人去翻代码、查日志、看变更工单,再回到群里解释。

这些问题有两个特点。一是重复,同一类问题换个单号再来一次。二是散,答案留在某次聊天里,下次没人找得到。我想验证一件事:能不能让一个 Agent 进到群里,把"查清楚发生了什么"这一段接过去。

难点

  • 它在别人的地盘上说话。群不是它的会话窗口,大多数消息不是说给它听的。说错一句,全群都看得见。
  • 它要碰生产。不读真实数据,结论只是猜测;读了真实数据,权限、脱敏和留痕就都成了问题。
  • 它会出错。模型会误判、工具会超时、证据会不够。关键不在于它错不错,而在于它错的时候停在哪里。

关键决策与取舍

任务编排:不在模型外面再造一个更弱的判断层

最初我让代码来判断每句话的意图,为此写了意图分类器、置信阈值和一套评测基准,约 1300 行。项目开始没几天,我把它们全部删掉,改为由对话模型自己判断,排查工具只是它可以调用的一个工具。

代价很明确:分流判断不再能离线评测,判错时只能改提示词,不能改代码。换来的是少维护一整层必然比模型弱的逻辑。安全边界因此必须前移到工具调用那一刻,而不能留在模型内部。决策记录 0009

上下文与知识:听完再说,读不到就说读不到

一个人在群里说一件事,往往是几条文字加一张截图再加一个链接。分身等这次表达说完再回复,而不是每条消息回一次。决策记录 0041

附件打不开、图片看不全时,它进入明确的失败状态并如实说明,不拿一段空文本去猜。决策记录 0013

业务知识库只收我确认过的口径。线上现在有 69 条自动提取的候选问答,一条都还没批准,所以一条都没有用于代答。

工具与权限:两级只读,按群准入

生产读取分两级。一级只读变更工单和代码,看不到业务数据本身。二级才能拿业务标识去查真实状态和日志。哪个群能发起二级排查,由我逐群授权,可以随时撤销。

截至目前,1,635 次意图判断里只有 78 次放行了工具路径。写操作从不放行:分身可以把修复工单填好,提交和执行是人的事。

人机协同:什么时候该闭嘴

分身公开自己是 AI。决策记录 0001

有人点名找我本人而没有叫它时,它让位,并且不设超时:我回不回、多久回,它都不插话。起因是真机上出过一次"同一个人连发两条"的尴尬。代价是我在开会时,业务要多等一会儿。决策记录 0017

8 月它的回复占群消息的 26.5%,9 月起保持在 5% 以下。

评测与观测:新业务域先跑影子模式

进入一个新的业务群,分身先只看不说,把"如果让它答,它会答什么"记下来,由我对照真实消息回放后再决定放不放开。决策记录 0022

每个排查任务都留有逐步轨迹和状态流转记录。到现在 69 个任务共 470 步,平均每个任务 6.8 步。

有一件事目前算不出来:意图判断的准确率。库里只有分身自己的判断,没有人工标注的正确答案。这是下一步要补的。

失败兜底:失败要停在安全的地方

排查任务只有三种收场:完成、人工叫停、安全失败。超时、工具报错、修复后无法验证时,任务停下来并记下原因,不带着半截结论往下走。

结果

月份任务数完成安全失败人工叫停
9 月6024
10 月18945
11 月(至 13 日)523958

累计接入 19,212 条业务群消息,发起 76 个线上排查任务,其中 48 个完成。"完成"指工具给出了结论或修复验证通过,不代表结论被采纳。普通回复的时延中位数是 13.4 秒。

10 月底之后,分身开始在缺外部确认时自己去对方群里问,也开始接群里点名的小需求:改代码、开合并请求,上不上线由人决定。

一次排查的回放

下面是 11 月 13 日一个已完成任务的真实轨迹,共 6 步。业务在群里问的是:某一类订单被接单后,会不会触发一项与外部系统的同步。内容已脱敏并做了抽象,步骤和顺序未改。

第 1 步:启动排查后端

后端已启动,等待核查结果。

第 2 步:核对接单链路的服务端实现和两端 App 代码

安卓和 iOS 的接单动作只做证件与合同校验、生成运单、写入轨迹节点,都没有直接调用同步组件。

第 3 步:枚举 App 端同步组件的调用入口和判断条件

两端都只按一项主体级配置来决定是否开启,没有按订单类型区分。

第 4 步:比对线上分支

本地代码与线上最新分支一致。唯一相关的过滤条件是今年 6 月加的,同样只看那项主体级配置。

第 5 步:用生产日志核对一笔真实订单的接单和发车

接单日志里标明了订单类型;发车的同一秒,App 端请求了同步配置,运单进入运输中。

第 6 步:核对后台同步的排除范围

这一类运单在生产库里有同步记录,且部分已同步成功;另一类订单为 0 条。结论:后台只排除了另一类,这一类会触发同步。

这条轨迹的走法是:先读代码确定"应该怎样",再对线上分支确认"部署的是不是这份代码",最后用日志和数据确认"实际怎样"。三者对上才下结论。

失败与修正

三道闸门是怎么来的

修数这件事有一个常见的风险形状:修复语句按业务值而不是主键来定位记录,一条语句命中的行数可能远超预期。平台会给出警告,但警告拦不住执行。

分身试点修数方案时,我把这个风险当成了设计输入,定了三条:

  1. 修复语句必须按主键定位,并带上当前值和业务状态作为守卫。
  2. 平台扫描出的影响行数,必须与分身声明的行数逐条完全相等,工单才算填成。闸门设在比对上,而不是设在人愿不愿意多看一眼上。
  3. 工单草稿从"一个总行数"改成"逐条语句声明"。求和会让"改错了表"看起来和"改对了"一样。

按这三条,分身填出了第一张真实工单:27 条语句全部按主键定位,逐条行数与预计相等。它停在提交之前。

闸门也有拦不住的事。同一个问题跑两趟,分身给出过两个不同的表集合,两趟都通过了扫描,因为行数闸门只验证"你说几行、平台数几行"是否一致,验证不了"表选对了没有"。所以"停在提交前由人检查"不是流程客套,报告把每条语句的表和行数摊开,就是为了让人这一眼看得成。

第二张真实工单跑完之后,我又发现两个洞。一是执行后的"实际影响行数"读错了字段,等于这项复核从未生效,已修。二是分身的范围比同类先例宽,多改了三处无害但没必要的字段,原因是它没有先查历史上同类工单怎么做,这一条已写进它的排查方法。

一次试点停住了:证据不闭合,就不生成删除语句

另一个试点是清理一批资金账户:这批司机在外部机构那边已经注销,平台这边账户还在,重新注册进不去。这类删除不可逆,证据不足时风险很高。

分身跑了两次,两次都停在"需要补证据",没有生成任何修改语句。它自己找到了牵连面:哪张表是主表,哪张只是派生快照,哪张必须同批处理,哪两张是历史凭证不该动。然后它列出三件自己无法用只读查询证明的事,全部在外部机构那一侧。

值得记的是,它第一次跑时因为权限问题一行生产数据都没读到,纯靠代码判断,给出的牵连面是错的;读到数据之后它改了结论。同一个 Agent、同一个问题,有没有真实证据,答案不一样。

这次也暴露了两个提示词层面的问题:批准的资源名称从没告诉过它;放行规则是命令前缀匹配,前面多一个字符就会被误报成"没有权限"。都已修掉。

11 个安全失败

到目前为止,76 个任务里有 11 个以安全失败收场:修复后无法验证 4 个,排查超时 4 个,工具报错 3 个。另有 17 个被人工叫停,其中 10 个是我在后台或群里关掉的。

决策时间线

三个多月里写了约 80 篇决策记录,其中 12 篇已脱敏公开。下面是关键的十几篇,带链接的可以直接读。

2026-09

0055 排查按群准入打开,不再全局默认关

0056 闲聊窗里的话,模型可以判"不是对我说的"

0059 分身自己跑排查,不再等人敲命令

2026-10

0062 核查证据必须来自成功的查询回执

0073 排查缺外部确认时,分身自己去对方群问

2026-11

0075 群里点名的小需求,分身改代码、开合并请求

0076 没人叫分身的线上问题,先在影子里判断

0079 叫停要对上在查的那件事,等久了要说一声

原件

← 返回案例列表