用 Wi-Fi 认出藏在衣下的手枪:射频感知类模型的验收要看四件事

一、射频模型学到的可能是房间
据公开报道,有研究机构做出了一套靠 Wi-Fi 信号识别隐藏金属物体的系统,论文已经公开。报道里提到的准确率、参数量、频段细节和实验人数,我们不复述,也不把它们当本篇的任何判据。那些数字要回到论文原文逐条核对,何况室内实验的分数再高,也回答不了交付现场真正会碰到的两个问题:换一间房还认不认得出,错了之后谁来承担。
摄像头模型学的是物体长什么样,像素分布直接对应轮廓、纹理与颜色。换一间房,物体本身的外观不变,模型依赖的证据就不变。射频感知是另一回事:发射端与接收端之间,信号经过直射、反射、散射多重叠加,接收端拿到的是整个环境的综合响应。金属物体会改变局部散射格局,人体对 2.4GHz 这类频段又有明显吸收,这些都是通信工程的通识,也是这类系统能隔着衣物感知金属的物理基础。
麻烦恰恰出在这里。模型输入里同时装着两类信息:目标物体带来的扰动,以及房间本身,包括墙的距离、家具摆位、门的开合状态、人员的习惯站位。训练时这两类高度相关,模型很容易学成认房间顺便认物体。换一间房,房间特征消失,模型依赖的证据就塌了。所以射频感知类模型的验收,核心是跨环境泛化与误报成本两件事,其余环节都围绕这两件事展开。
二、数据集构成的四类风险
验收要从数据集审计开始,而不是从模型指标开始。下面四类构成风险最常见,每一类都会让分数好看变成分数骗人。
| 风险 | 模型实际学到的 | 审计字段 | 判据 |
|---|---|---|---|
| 正负样本在同一房间采集 | 房间指纹而非目标特征 | 采集房间编号、各房间样本量、采集顺序 | 单个房间样本占比超过约定上限即不合格 |
| 人员站位与标签相关 | 某人站在某处这种模式 | 站位分布记录、人员体型身高差异标注 | 站位与标签的关联度超过阈值即需重采 |
| 只有单一目标物体 | 特定形状与材质的信号签名 | 目标物类别清单、每类样本数 | 换一类金属物体单独测试出现断崖即坐实 |
| 背景活动分布过窄 | 安静环境这一种背景 | 按静止、走动、翻动物品分类计数 | 非静止背景样本占比过低即不合格 |
我们在给工业 AI 项目做模型验收时,第一轮永远是这份审计。不审数据构成的验收报告,后面的数字全是空中楼阁。
三、跨环境泛化的可测方法
留出策略要按域来留,不能按样本条数随机切。随机切分在射频任务上是自欺:同一房间的样本一半训练一半测试,测的仍然是那间房。可测的做法分四层。
第一层,留出整间房作为测试域。训练数据来自若干房间,至少一间完整隔离,只在验收时打开。第二层,换环境变量:在同一间房里挪动家具、改变人流密度,看性能随环境变量的衰减曲线,而不是单点分数。第三层,把目标物的位置与遮挡程度做成受控的测试矩阵,检验模型对目标本身而不是对某个固定场景的敏感度。要强调一句,这些变量只存在于评测受控环境里,目的是暴露模型缺陷,不是给任何人提供藏东西的思路。第四层,验收报告必须同时给出域内与域外两组数字和它们的差距,只报域内分数的材料按无效处理。
域内外差距本身就是最该写进合同的指标。我们建议客户把域外衰减不超过某个约定值写成验收条款,比笼统的准确率达到多少有用得多。
还有一件事属于泛化能力的地基:物理先验要写进系统,而不是当噪声除掉。信号随距离的衰减、多径造成的叠加、人体对特定频段的吸收,这些是射频环境里恒定存在的约束,好的模型应该在其中找结构,而不是靠预处理把它们抹平后在无特征的空间里背房间。验收时值得单独检查预处理链路:把多径成分完全压掉的系统,往往在域外塌得最快,因为它丢掉的正是携带环境结构的那部分信息。
四、误报与漏报的代价不对称
视觉检测里误报烦人、漏报可惜,两侧代价量级接近,一个阈值调来调去就行。射频感知进入安检类场景后完全变样:误报意味着停线、复查、人流积压,成本是运营时间;漏报意味着后果本身,两侧根本不在一个量纲上。
所以阈值必须分开定,而且要在现场标定,不能继承论文里的默认值。需要落下来的东西包括:标定时使用的房间与人员配置记录、误报率与漏报率各自的接受上限、由谁签字确认这个权衡点、标定有效期与复标触发条件。房间改造、路由器更换、布局调整,任何一项发生都应触发重新标定。这里要坦白一个行业现实:多数采购合同里只有识别准确率一个词,误报漏报分开标定这件事在商务阶段就没谈下来,到了现场必然产生争议。洹拓在项目里会把这条作为验收前置条件写进方案,而不是等部署之后再补。
五、现场验收四张表
现场验收建议固化成四张表,每张表有明确的字段与判据。
| 表 | 核心字段 | 判据 |
|---|---|---|
| 域内基线表 | 测试房间、环境快照、目标类别、样本数、分阈值结果 | 与交付方宣称的基线条件一致,不一致须先解释差异 |
| 域外迁移表 | 新房间清单、每间房的环境变量、域内外差距 | 差距超出合同上限即判迁移失败 |
| 扰动鲁棒性表 | 家具变更、人流密度、位置与遮挡逐项矩阵 | 任一关键扰动维度出现断崖式衰减,须回到数据侧找原因 |
| 连续运行漂移表 | 按小时切片的结果、环境事件日志、重标定记录 | 无环境变化却出现缓慢漂移,判模型或预处理有问题 |
四张表是递进关系:基线不过,后面不用跑;域外不过,不上线;鲁棒性不过,缩小场景范围重新谈;漂移不过,说明稳定这个前提本身不成立。
六、部署侧的不可控因素与不上线判定
射频感知还有一个视觉模型没有的麻烦:采集设施本身就是变量。路由器型号与固件、信道设置、周边其他设备的干扰,都不在模型控制范围内,却直接影响输入分布。交付时必须把这些列成环境基线:设备清单、信道配置、干扰源登记,任何变更走变更单并触发抽检。
最后是判定纪律。三种情况应直接判不具备上线条件。其一,数据集审计阶段就发现正负样本与房间强绑定,且没有跨域重采的预算。其二,域外迁移表显示差距大到与随机判断接近。其三,误报漏报的权衡点在现场无法标定,因为运营方说不清自己愿意用多少停线时间换多少漏检风险。第三种最常被忽略,却是这类项目真正的死因:技术上能跑,代价上没有共识。这类系统距离实际部署还有很长的路,把论文当成产品说明书是客户常犯的错,而我们的职责,是把它还原成一份可以逐条打勾的验收问题清单。