定义、对象与评测边界
睡眠算法评测服务由具备适当独立性的内部团队或第三方,对锁定版本的睡眠算法、软件组件或人机系统进行测试、评价、验证与结果解释,归入 WSIC 4.4.3“睡眠数据服务”。对象可包括睡眠与清醒识别、睡眠分期、觉醒及呼吸或运动事件检测、总睡眠时间和 AHI 等指标估计、SpO₂ 与心率等连续测量、鼾声或体位分类、在离床识别、风险预测和质量拒识。服务评的是明确版本在指定人群、设备、输入和工作流下是否满足预定要求,而不是给算法颁发脱离场景的通用“认证”。
评测前应区分科学或临床关联、分析或技术性能、临床性能以及系统使用效果。算法准确产生一个数值,不等于该数值与目标健康状态之间的关联成立;离线病例级性能良好,也不自动证明接入设备、界面与人工复核后的临床安全、效率或结局改善。科研原型、消费级健康提示、临床辅助诊断和职业安全预警的风险与证据要求不同。服务报告必须限定可支持的主张,并明确哪些监管、临床研究、可用性或真实世界问题不在本次评测范围。
方案预设、版本锁定与独立性
评测方案应在查看测试结果前冻结预期用途、目标人群、使用环境、输入通道和设备、采样与预处理、预测单位、输出定义、参考标准、阈值、忽略区间、事件匹配、主要和次要指标、亚组、样本量依据、缺失处理与通过标准。若客户在结果不理想后选择新阈值、删除困难病例或更换主要指标,原测试就变成开发活动,必须使用独立数据重新确认。探索性分析可以保留,但应与验证性结论清楚分开。
被测对象需生成可复核指纹,包括源代码或二进制、模型权重、特征与预处理、阈值与后处理、依赖、容器、运行时、随机种子、硬件和设备或固件版本。测试输入、标签、切分和计分程序也要锁版。评价人员不应参与前线模型调参,利益冲突和赞助关系应披露。测试标签和逐病例反馈需限制访问与查询次数,防止开发方借反复提交对隐藏集过拟合;若评测方同时提供训练服务,应设置人员、数据和决策隔离。
测试数据、参考标准与统计设计
测试集应在受试者级与训练、调参和早期试验数据独立,同一人的多夜、重叠窗口、重新导出、派生记录和家庭成员关系需要检查。公开队列可能被用于预训练或以镜像、改名形式进入开发流程,仅比文件名不能排除污染。测试人群和采集条件应覆盖声明用途相关的年龄、性别、疾病与严重度、合并症、中心、地区、设备、家庭或实验室环境及信号质量;还可设置跨中心、跨设备、时间外推和低质量压力集。样本量要同时考虑独立受试者、事件数量、类别稀有性、聚类和预期不确定性,不能用海量 epoch 掩盖受试者过少。
参考结果可来自合格评分者、多专家共识、同步参考设备、临床结局或经验证的方法,但必须与目标输出匹配。应记录评分规则与版本、评分者资格、盲法、独立复核、仲裁、设备校准、时间容差和无法判断区间。睡眠人工评分在 N1、阶段转换、伪迹和事件边界上存在差异,单个评分者不是无误真值。评测可保存多评分者分布、置信度或未决标签,并对参考误差做敏感性分析;不能把算法与同一预标注模型辅助生成的标签之间的一致性当作完全独立证据。
任务指标、不确定性与错误解释
指标须与预测单位和错误成本对应。睡眠分期可报告宏平均 F1、逐阶段敏感度与阳性预测值、一致性、混淆矩阵、阶段转换表现,以及总睡眠时间、睡眠效率和阶段比例的夜级偏差;事件检测需预设匹配规则,并报告事件敏感度、阳性预测值、每小时误报、起止偏差和持续时间;AHI 或 REI 等夜级指标要评价连续值误差、严重度分层和临床阈值附近的换类。连续生命体征要看误差分布、偏差、覆盖范围和不可输出,只有相关系数并不足够。风险模型还需评价区分度、校准、阈值下的错判和决策影响。
置信区间和显著性计算应以受试者为主要独立单位,并处理一人多夜、中心聚类和多重比较。结果要同时给出分母、失败输入、拒识、丢包和无法输出率;只在成功输出样本上计算准确率会产生选择偏差。总体平均值应按预设亚组、设备、中心、信号质量、夜间时段和疾病严重度分层,并报告样本不足的区间。错误分析需覆盖最坏病例、阈值附近、阶段转换、罕见事件和系统性混淆,同时区分统计显著与实际临床影响。复合分数若使用,必须公开组成和权重,不能让高频易分类项目抵消高风险错误。
鲁棒性、公平性与人机工作流
鲁棒性测试应反映可合理预见的使用变化,包括噪声、运动、低灌注、传感器脱落、缺失通道、不同导联或位置、采样与压缩变化、时钟错位、固件差异、环境干扰和分布漂移。需要评价算法能否识别超出适用范围的输入、给出不确定或拒识、触发人工复核,并在重复运行或允许的硬件上保持稳定。实时系统还应测延迟、吞吐、内存、能耗、断网恢复、队列积压和接口错误。安全测试根据风险覆盖恶意或异常输入,但攻击测试的通过也不能代替普通临床条件下的验证。
公平性不是要求所有亚组指标完全相同,而是确认声明人群均有足够证据、差异得到解释且风险可接受。亚组可结合年龄、性别、肤色相关传感影响、疾病、严重度、合并症、中心、设备与环境选择;交叉亚组和小样本结果需给出不确定性,不能以“未显著”宣称无差异。若系统由技师或医生使用,应比较算法单独、人员单独和人机协作,评估纠错率、阅片时间、自动化偏误、警报疲劳、覆盖率、升级路径和最终责任。界面呈现和培训变化可能改变系统效果,因此模型级成绩不能替代端到端工作流评价。
安全执行、交付与结果治理
评测可采用隔离服务器、可信工作区或客户环境内执行,以保护敏感健康数据、隐藏测试标签和模型知识产权。运行环境应限制非必要网络和数据导出,实行最小权限、密钥管理、输入输出审查、恶意模型防护、日志和到期删除。每次执行要保存模型与数据哈希、配置、时间、硬件、退出状态和计分版本。评测方需防范模型通过输出编码测试数据,客户也不得尝试推断身份、隐藏标签或用多个账号规避提交限制。
交付物应包括预设方案、被测版本指纹、数据来源和代表性说明、纳排与参考标准、统计方法、主要和亚组结果、不确定性、失败模式、未解决风险、偏离方案和可复现运行记录。结论要区分满足、未满足和证据不足,并把宣传用语限定到实际评测范围。合同还应处理费用、时间、知识产权、测试数据保密、结果发布权、负面结果、利益冲突、申诉、独立复核和保留期限。排行榜名次或“通过”标志不能隐藏数据版本、比较对象和阈值,也不应暗示监管批准或真实世界疗效。
变更管理、持续监测与采购判断
模型权重、架构、训练数据、预处理、阈值、后处理、固件、传感器、接口、目标人群或工作流改变,都可能使旧结论失效。项目应事先建立变更影响分类,规定哪些变化需要回归测试、桥接评测、局部亚组复验或完整重评,并保留变更前后证据。对允许迭代的系统,也应限定变化范围、验证方法、通过标准以及未达标时停止或回退的机制。上线后监测需追踪输入质量与分布、拒识、亚组表现、人工改判、事故和结果漂移,但真实世界反馈不能未经控制地直接变成模型更新。
采购方应核查评测机构的独立性、睡眠领域和统计能力、受试者级数据隔离、原始格式与设备经验、参考标准治理、安全环境及复现能力,并用代表性样例校准方案。报价应区分方案设计、数据许可、专家标注、受控运行、统计分析、工作流试验和持续监测,低价单次跑分不等于完整评价。评测结果是决策证据的一部分;是否部署还需结合用途风险、法规、隐私、网络安全、可用性、运维和替代方案。当证据不足或失败风险不可接受时,合理结论可能是限制用途、增加人工复核、补充数据或暂不部署。