World Sleep Industry ENCYCLOPEDIA

睡眠算法评测数据运营

6.4.3

定义、交付物与相邻业务边界

睡眠算法评测数据运营是把睡眠相关记录、参考标签、数据切分、任务说明和使用控制持续维护为可供算法测试与比较的数据产品,归入 WSIC 6.4.3“数据资产运营”。数据可来自多导睡眠监测、家庭睡眠呼吸暂停检测、体动记录、可穿戴设备、床旁或环境传感器、问卷及随访;算法任务可涉及睡眠与清醒、睡眠分期、觉醒、呼吸或运动事件、信号质量、生命体征、鼾声、体位、在离床和风险预测。运营方交付的不是一包匿名文件,而是明确版本的输入、参考结果、数据字典、来源和代表性说明、许可条件、质量记录及变更历史。

本业务不同于前一条睡眠数据授权撮合服务、后一条睡眠研究数据共享平台,也不同于训练数据销售、算法评测基准数据集和算法评测服务。撮合服务连接权利人与使用方,研究共享平台支持较宽的科研再利用;评测数据运营则围绕锁定算法版本的独立测试持续治理数据。运营方可以托管隐藏测试集并运行计分,但不能因拥有数据就自称独立认证机构,也不能把一次排行、一个综合分或数据许可解释为监管批准、临床有效或适用于所有人群与设备。

产品规格、来源权利与准入验收

每个数据产品应先冻结预期用途、目标人群、采集环境、算法任务、预测单位、输入通道、设备与固件、采样和预处理、标签体系、计分区域、时间容差、主要指标、允许的外部数据以及通过标准。目录需列出受试者与记录夜数量、中心、地区、年龄、性别、疾病与严重度、合并症、设备、信号质量、缺失模式和重要但未覆盖的群体。只有健康成人、单中心 PSG 或单一腕带的数据,不能以“睡眠大数据”名义代表儿童、老年人、复杂睡眠疾病、居家环境或其他传感器。

准入时应为每批文件建立来源清单和不可变校验值,核对受试者同意或其他合法依据、伦理和机构批准、收集方与转移链、商业与科研用途、地域或跨境限制、再分发、衍生标签、模型训练和结果发布权限。去标识化不等于零风险,连续生理信号、音视频、精确日期、稀有疾病、地理和设备标识可与其他资料组合后重新识别。运营方应实施数据最小化、访问分级和残余风险复评,并把禁止识别个人、禁止联系参与者和禁止超范围使用写入协议;“已脱敏”“已登记”或取得副本不能替代真实权利链。

独立切分、污染防控与代表性维护

训练、调参和最终测试数据必须按受试者隔离;同一人的多夜记录、重叠时间窗、重新导出、去标识前后副本、同一家庭或同一事件的派生文件不能跨集合。根据用途,还需按中心、设备、采集时期或人群建立外部分布测试。随机拆分 epoch 或信号片段会让高度相关内容同时出现在开发和测试中,夸大性能。运营记录应保存切分脚本、随机种子、分层规则、纳排理由和每层分母,并用记录哈希、信号片段相似性和来源元数据排查重复与近重复。

公开睡眠队列可能被镜像、改名、裁剪或进入基础模型预训练,文件名不同不能证明独立。参评方应披露训练、微调、检索、预训练模型、人工查看和历次提交所接触的数据;不确定时应标记潜在污染,改用封存集或独立外部集。隐藏集反复查询也会成为调参信号,因此需要账户和组织级限次、延迟反馈、保留最终确认集及异常提交监测。运营方还应定期比较新增数据与现行目标人群、设备和场景,不能仅为扩大样本量而保留大量干净、易判或重复记录。

参考标签、质量控制与不确定性

参考结果可来自具资格的睡眠评分人员、多专家共识、同步参考设备、临床结局或预先定义的规则,但必须与目标输出匹配。PSG 和 HSAT 标签应记录评分体系及版本、导联与技术规格、评分者资格、盲法、独立复核、仲裁、时间容差和无法判断区域。人工睡眠分期与事件评分存在评分者间差异,特别是 N1、阶段转换、伪迹和事件边界;单人标签不是无误真值。若机器预标注参与生产标签,应保留人工改判和来源标记,不能再把算法与这些标签的一致性称为完全独立验证。

质量运营应覆盖文件可读性、通道和单位、采样率、时钟对齐、导联映射、信号缺失、伪迹、标签范围、事件重叠、元数据一致、重复、异常值和病例抽查。模糊记录可以用多评分者分布、未决标签、置信度或不计分区间表达,不应只删除困难病例。应分别报告记录级完整率、标签覆盖率、各类和亚组数量、失败与拒识分母、评分一致性和修订量;“通过质检率 99%”若没有规则、抽样方案和分母没有意义。质量问题的修复需保留原值、责任人、理由和影响分析。

锁版发行、受控执行与安全防泄漏

每次发行都应为原始文件、处理代码、标签、数据字典、切分、计分程序和许可生成版本号、哈希与发行说明。修正标签、增加病例、改变时间窗、重采样、替换设备元数据或调整指标都可能改变可比性;不得静默覆盖旧版本。发行说明应区分不影响成绩的文档修订、可桥接的变更和必须重跑全部系统的重大变更,并说明旧结果是否继续有效。运营方还需预设冻结、撤回和退役条件,防止已经泄漏、过拟合或不再代表当前设备和人群的数据继续定义行业水平。

敏感或隐藏数据宜在隔离服务器、可信研究环境或提交方本地受控运行,而不是直接分发。执行环境应固定容器、依赖、硬件配额、随机性、超时、网络和输出格式,实行最小权限、双因素认证、密钥管理、日志、恶意代码隔离和到期撤权。输出审查要防止逐样本预测、调试日志、梯度、编码结果或重复查询泄露标签和个人信息。运营方不得把受限数据擅自发送给未获授权的云服务或分包商,使用方也不得通过多账号、人工查看隐藏病例或外部匹配绕过规则。

计分使用、结果发布与证据边界

计分规则应与任务和错误成本对应,并在看结果前锁定。睡眠分期可报告宏平均 F1、逐阶段表现、混淆矩阵和夜级结构误差;事件检测需明确匹配规则并报告漏报、误报、起止偏差;连续指标需评价偏差、误差分布、校准、覆盖范围和无法输出。结果应以独立受试者为主要统计单位,给出样本量和不确定性,并按年龄、性别、疾病、严重度、中心、设备、信号质量及合理的传感差异因素分层。只报告总体准确率、AUROC、最佳子组或成功输出病例,会掩盖类别不平衡和选择性失败。

运营方应把数据版本、算法指纹、预处理、阈值、外部数据、提交次数、偏离方案和计分代码与每份结果绑定。排行榜只能比较兼容版本和同一轨道,综合分的组成、权重、并列和撤榜规则必须公开。申诉、纠错、利益冲突、负面结果、赞助关系及宣传引用应有治理流程。离线评测数据证明的是锁定系统在指定条件下的表现;它不能替代真实设备集成、人机工作流、网络安全、可用性、临床关联、临床验证或上线后监测,也不能把研究用途数据扩张为诊断、治疗或助眠效果声称。

合同计费、持续运营与退出处置

合同应把数据许可、专家标注、清洗与协调、隐藏集托管、受控计算、提交额度、统计报告、定期更新和事件响应分别定价,明确数据所有者、控制者、处理者、评测方和算法方的角色。服务等级需覆盖访问审批时限、数据可用性、故障恢复、质量问题响应、泄露通知、重算、技术支持和审计证据。收益分成或按次计费不得诱导放宽准入、增加无效提交或隐瞒负面结果;运营方同时参与算法开发、投资或采购决策时,应披露冲突并设置人员、数据和决策隔离。

到期或终止时,应停止新提交,撤销账户、令牌、镜像和分包访问,按协议返还或可验证删除数据、缓存、派生副本和临时输出,同时保留依法或为审计所需的最小记录。发生同意撤回、权利争议、重大标签错误、安全事件或再识别风险上升时,应能定位受影响版本、使用者、模型和公开结果,暂停访问并启动通知、修订、重评或撤榜。成熟运营的判断标准不是目录规模或交易额,而是能否持续回答每个结果用了哪批数据、哪些人和设备被代表、谁获准做什么、发生了哪些变化、限制是什么以及如何安全退出。