World Sleep Industry ENCYCLOPEDIA

算法评测基准数据集

4.4.3

定义、作用与分类边界

算法评测基准数据集是为指定算法任务提供受控输入、参考结果、数据切分和计分协议的数据资产,归入 WSIC 4.4.3“睡眠数据服务”。睡眠场景可覆盖睡眠与清醒识别、睡眠分期、觉醒和呼吸或运动事件检测、信号质量、生命体征估计、在床状态、鼾声分类、趋势预测和多模态理解。它的核心价值是让不同系统在同一条件下可比较、可复核,而不是简单汇集大量记录。

基准集不同于一般训练集、产品验收样本、监管临床证据和算法评测服务。一个基准可以包含开放训练数据、开发集和隐藏测试集,但在该基准上排名领先,只说明系统在所定义的数据、任务、输入和指标下表现较好。它不能自动证明算法适用于其他设备、人群、医院、家庭环境或临床工作流,也不能替代独立外部验证。维护方应明确基准回答什么问题、不能回答什么问题,以及结果允许如何对外声称。

任务设计、目标人群与数据规格

建设前应先冻结任务定义和预期用途,包括预测单位、观察窗口、允许输入通道、输出标签、参考标准、计分区域、忽略区域、时间容差、阈值选择、是否允许外部数据,以及实时或离线约束。睡眠分期、事件检测和夜级风险预测不能共用一个含糊的“准确率”任务;同名任务若采用不同导联、采样率、年龄范围、评分规则或后处理,也不应直接混排。应发布数据字典、通道和单位、采集设备、滤波与重采样、缺失值、时间基准、纳入排除和质量控制说明。

目标人群与采集环境要能支持预定比较。基准应说明受试者数量、记录夜数、中心、地区、年龄、性别、疾病与严重度、设备、信号质量以及重要但缺失的群体。只有健康成人或单中心设备的数据,不能代表儿童、老年人、复杂睡眠疾病或居家可穿戴场景。数据选择还应避免只保留干净易判样本,使任务脱离真实困难。若基准旨在测跨中心、跨设备或时间漂移,应预先设置相应轨道,而不是在结果不理想后改变问题。

数据切分、独立性与污染防控

训练、开发和测试必须按受试者隔离,同一个人的多夜记录、重叠窗口、重新导出或派生版本不能跨集合。以 epoch 随机切分整夜信号会让高度相关片段同时出现于训练与测试,产生虚高结果。需要评价泛化时,还应按中心、设备、采集时期或人群构建外部分布测试。切分脚本、随机种子、样本数量和分层规则应版本化;在不泄露敏感信息或隐藏答案的前提下,维护方应提供足够资料供独立审计。

公开数据常被镜像、改名、裁剪或纳入预训练语料,内容重复不能只靠文件名判断。基准应使用记录级校验、时间片相似性、受试者元数据和来源追踪检查近重复,并要求参评方披露外部数据、预训练模型和人工接触测试样本的情况。隐藏测试集反复查询也会变成事实上的训练信号,因此要限制提交频率、保留最终封存集、监测异常提交并定期更新。若污染已发生,应标记受影响版本和成绩,不能继续把旧排行榜描述为独立比较。

参考标准、标签不确定性与质量治理

参考结果可以来自具资格评分者、多人共识、同步参考设备、临床结局、实验测量或明确规则,但选择必须与任务用途相符并记录形成过程。睡眠人工评分存在评分者间差异,尤其在阶段转换、N1、伪迹和边界事件上;单个评分者不是无误真值。临床 PSG 或 HSAT 标签应说明所用评分体系及版本、人员资格、盲法、复核、仲裁和时间容差。设备或研究自定义标签要单独命名,避免被误认为临床标准。

质量检查包括信号完整性、导联和单位、时钟对齐、标签范围、事件先后、元数据一致、重复、异常值和病例级抽查。模糊样本不必全部删除,可以用多评分者分布、未决标签、置信权重或不计分区间表达,但这些处理必须写进协议。维护方应保存原始与修订标签、勘误、质控结果和变更理由。发现答案错误后要发布新版本并说明旧成绩能否比较,而不是静默修改测试标签或只重算部分队伍。

指标、统计报告与端到端评价

指标应从用途和错误成本出发。睡眠分期可报告宏平均 F1、逐阶段敏感度与阳性预测值、一致性指标、混淆矩阵,以及总睡眠时间、睡眠效率和阶段比例等夜级误差;事件检测要明确事件匹配规则,并报告漏报、误报、每小时误报和起止偏差;连续估计应报告误差分布、校准、覆盖范围和无法输出比例。类别极不平衡时,总体准确率或 AUROC 可能掩盖实际问题,需要同时呈现适合稀有事件的指标。

结果应带样本量和不确定性区间,并按年龄、性别、疾病、严重度、中心、设备、肤色或其他影响传感器表现的因素、信号质量和夜间片段分层。综合分数必须公开组成、权重和并列规则,且不应让高频易分类项目抵消高风险错误。基准还可设置鲁棒性、缺失通道、异常输入、延迟、内存、能耗、拒识和人机协同轨道,但每个轨道要分别解释。统计显著并不等于临床重要,模型输出分数也不替代真实工作流中的安全、可用性和影响评价。

评测运行、安全、版本与排行榜治理

开放下载便于复现,但隐藏健康数据往往更适合在受控服务器或容器中执行。评测系统应固定运行镜像、依赖、硬件配额、随机性、超时、网络访问、输出格式和计分代码,保存提交哈希、日志和结果。隐藏标签、原始音视频和敏感元数据需最小权限保护,输出还要防止逐样本预测被用于反推答案或识别个体。人工查看隐藏病例、从外部来源匹配身份、为测试集专门编码规则或多账号规避限次,都应在参评规则中明确禁止。

数据、标签、切分、指标、计分程序和排行榜都要有版本。任何变化应产生发行说明、影响分析和可重算条件;主排行榜最好只比较同一版本,跨版本成绩另行标识。维护方需要申诉、纠错、撤榜、利益冲突和安全事件流程,也要防止主办者或合作方获得不对称测试信息。长期运行的基准应设置更新或退役条件,避免多年反复优化形成排行榜过拟合,或让已不代表现行设备和人群的数据继续定义行业水平。

许可、采购使用与发展方向

许可证与数据使用协议应说明能否商用训练、微调基础模型、缓存输入、发布逐样本预测、生成衍生标签、再分发、挑战结束后继续使用,以及论文与产品宣传如何引用成绩。服务采购还要明确测试集托管、数据权利、隐私与伦理依据、分包、安全、费用、提交额度、结果所有权和终止安排。使用者在采购算法时,应核对供应商成绩对应的确切版本、输入通道、外部数据和提交次数,不能只看截图或单一名次。

发展方向包括动态更新集、跨设备与跨中心压力测试、真实工作流人机评价、持续漂移集、联邦或安全沙箱评测和按用途分层的模型卡联动。更大的基准不必然更好;设计透明、独立性、代表性、参考标准、指标与治理共同决定可信度。若基准用于支持医疗器械、临床研究或患者管理主张,仍须满足相应质量、伦理和监管要求,并在代表性真实场景中提供与风险相称的独立证据;排行榜不能充当批准、疗效或普遍适用性的证明。