电话没等到回话
Lesson 0009 讲打电话(Dubbo)时,只讲了两种结局:接通了,或者当场打不通。
其实还有第三种:电话接通了,对方一直不说话,你等到 30 秒挂了。这时候对方到底做没做,你不知道。
10-05 司机点「装车发运」一直报「存在未装车订单」,10-04 一键完结卡住,都是这第三种结局造成的。这一课学会认出它,并且知道该向中台提什么需求。
先看时间:DD2026XXXXXXXX 那 40 秒
上面一道是网货,下面一道是中台,横轴是真实时刻。蓝色色块是网货站着等的 30 秒。
图里三根竖线之间没有「谁在等谁」的关系:中台慢不是因为在等网货。这一点在 10-04 那单上用日志核过——网货等待的 30 秒里,中台没有回调过网货;回推都发生在中台发车之后。
这是网货日志里那一行的原文(截取):
Invoke remote method timeout. method: syncConfirmDepartureToTms ...
retries=0 ... timeout=30000 ... Waiting server-side response timeout
读法:调 syncConfirmDepartureToTms(确认发车)等了 30000 毫秒没回话;retries=0 表示不自动重拨。
打电话的三种结局
No providertimeout网货的代码早就意识到这一点。调确认发车的地方有一句注释:// 中台写入超时可能已经生效,禁止 Dubbo 自动重放。它防住了「自动重拨导致做两次」,但没有处理「超时以后,对方到底做没做」。
日志里看到 Invoke remote method timeout,网货这一刻能确定的是?
为什么偏偏卡死:对方的两个毛病
「不知道」本身不可怕,再打一次电话问问就行。卡死是因为中台身上有两个毛病叠在一起:
中台处理确认发车有时超过 30 秒(054 是中台故障那天;0017 是普通的早上,也用了 34 秒)。它让「挂电话」发生。
车已经发了,你再打过去,中台回「存在未装车订单」,而不是「已经发过了」。它让挂电话变成死结:打多少次都一样,只能改库。
同一个请求来几次,都按「现在的结果」如实回答。车已经发了,再来确认就回「成功」;你听到成功,自己这边补记一笔,两边就对上了。
AWS 的说法:「An idempotent operation is one where a request can be retransmitted or retried」(幂等操作就是可以被重发、重试的操作)——出自下面推荐的主源。
只能让中台改一个,改哪个能让以后卡住的单自己恢复?
产品的固定三步
以后再遇到「对方系统明明做了,我们这边一直报错」,按这个顺序走。重点在顺序,每一步都只用你自己能看到的东西。
-
要报错原文,对一下它说的是不是事实
「存在未装车订单」——可中台列表里 25 条全是运输中。报错说的和眼前的事实相反,就该怀疑是两边对不上,而不是真没装车。
-
两边各查一次「这件事做了没、几点做的」
中台派车单的
actualDepartureTime(实际发车时间)对网货运单状态。一边做了、一边没做,就是漂移。两边接口你都有 curl,只读查询就够。 -
在 PlumeLog 搜对方完成时刻往前 30 秒
有
timeout→ 超时漂移(本课这种)。什么都没有 → 对方自己做了,没通知我们(另一类问题)。0005 学的 PlumeLog 在这里用上了。
HDHZ2026XXXXXXXX:网货装车结束 02:42:47,中台实际发车 02:42:49,网货运单现在是「到达卸货地」。这单——
写需求时,一定要有这一条验收
幂等的需求不是写「请做成幂等」,而是写清楚每种当前状态,再来一次时回什么。给中台的需求就是这么写的(中台确认发车幂等需求):
验收用例里必须有一条:同一个请求,连续调用两次。没有这一条的「幂等需求」,测试测不出来。
网货自己也有同类接口:中台撤回调网货的 tmsCancelOrder,已经按这个思路改好,合进了 test。规则是:
- 同一车次下的单全部已取消,再撤回:回成功;
- 还有单没取消、而且已经不是待接单:照旧拒绝;
- 一张单都没有:回「订单不存在」。
同一车次网货有两张单:一张已取消,一张司机已接单。中台来撤回,网货应该——
追问:把 30 秒改成 1 分钟,行不行?
这是你学完这一课后提的问题。先把这通电话拆开:司机点一下「装车发运」,中间其实转了三手,每一手各有各的等待上限。
RetrofitManager、iOS timeoutIntervalForRequestvcm-order 等 vcm-dts(Dubbo)timeout=30000)vcm-dts 等中台(HTTP)HttpProperties.readTimeout = 60*1000毛病出在 ② 和 ③:里面那一手肯等 60 秒,外面那一手只等 30 秒。0017 那单的第 34 秒,vcm-dts 其实收到了中台的「成功」,可 vcm-order 第 30 秒就挂了——这个成功没人接。只要中台耗时落在 30~60 秒之间,就一定漂移,这是配置决定的,不是运气。
转手打电话时,外面的人要比里面的人多等一会儿,否则里面拿到了答案,外面已经走了。
那改成 1 分钟呢?只把 ② 调到比 ③ 稍长(比如 65 秒),并且只针对确认发车、到达装货、到达卸货这三个方法:
- ✅ 中台 60 秒内完成的都能接住,这两单都不会出事。
- ❌ 中台超过 60 秒照样卡死。10-05 故障那天连续好几分钟都超时——等多久,只决定线画在哪,「不知道」这第三种结局一直在。
- ❌ ① 还是 30 秒:后端还在等,司机手机先弹「网络错误」。好在后端两边一致,司机刷新会看到「发运途中」,不会卡死。
- ❌ 网货等待期间一直锁着这张订单、占着一条处理线程。中台出故障时几十个司机一起等 60 秒,网货自己也会被拖慢。
调长等待是止血(少出事,改动小,不用等中台);中台确认发车幂等是根治(等多久都不怕,再点一次就好);每天对账是兜底(漏掉的第二天发现)。三个一起上。
按现在的配置:order 等 dts 30 秒,dts 等中台 60 秒。某次中台第 45 秒才发车成功。这单——
接着读什么
主源:Amazon Builders' Library · Making retries safe with idempotent APIs(Malcolm Featonby,英文,一手)。读开头的例子就够:一个请求超时了,调用方不知道对方的机器有没有建出来,重试又怕建两台——和本课的故事是同一个结构。
速查卡:超时与幂等速查。它是 打电话 / 留言分流速查 的续篇。
有不清楚的直接问我。这一课刻意没讲:「幂等号」(每次请求带一个不变的编号,比如更换司机的交接请求号)怎么设计;每天对账脚本怎么做;改库时为什么要先找 Archery 先例。想听哪个,说一声。