World Sleep Industry ENCYCLOPEDIA

睡眠AI模型数据合规评估

6.4.1

定义、对象与评估边界

睡眠 AI 模型数据合规评估,是对用于开发、验证、部署和改进睡眠人工智能系统的数据来源、处理依据、质量、代表性、隐私安全和生命周期控制进行证据化审查的专业服务。在 WSIC 中编码为 6.4.1,属于“产业配套 / 数据资产与合规 / 数据合规服务”。其目标是确认数据能够在明确用途和风险边界内被负责任地使用,而不是仅凭模型性能分数宣告合规。

评估对象包括原始记录、标注与派生特征、训练验证测试集、提示和检索知识库、合成数据、基础模型、微调权重、评测数据、线上输入输出、反馈和监测日志。系统可能用于睡眠分期、呼吸事件检测、风险排序、个性化建议、客服或内容生成;每种用途的主体、数据与影响不同,不能用一份通用模型卡覆盖。

本服务不同于医疗器械临床评价、算法备案、安全测评、研究伦理审查或纯粹的数据科学审计,但需利用这些工作的证据。结论应限定法人、模型与数据版本、预期用途、目标人群、部署环境、法域和基准日。评估方不能替代数据提供者、模型开发者、部署者、临床机构或使用者承担其法定和专业责任。

数据来源、权利与处理依据

数据登记应追溯到来源系统、采集主体、时间、地区、设备、研究或服务场景、授权条件和转移链。公开网页、开放数据、合作机构记录、患者数据、用户反馈和购买数据并不因可获得就当然可训练。应保存许可、合同、同意或其他依据、知识产权限制、伦理条件、地域与人群限制,以及是否允许衍生模型、商业用途和继续提供。

睡眠数据可能包含身份、健康、生理波形、卧室音频视频、位置、行为、诊疗、遗传或未成年人信息,组合后敏感性更高。编码、去除姓名或哈希设备号通常只是保护措施,不能自动证明匿名。评估应同时识别个人、家庭成员、研究参与者、数据标注者和被模型推断但未直接提供数据的人,并考虑群体层面的污名或歧视影响。

目的兼容性应区分提供睡眠服务、临床照护、质量改进、研究、通用模型训练、产品商业化和广告画像。最初为诊疗或研究收集的数据,不自动允许训练面向公众的产品;允许开发一个模型,也不一定允许发布权重、样本或接口。撤回、限制、删除和许可终止时,应预先定义对数据集快照、特征库、检查点、评测集和已部署模型的处理与可行边界。

数据质量、标注与集合设计

数据质量应与预期用途相联系,核对患者和设备匹配、时间同步、采样率、单位、校准、传感器或导联状态、缺失、噪声、预处理、标签来源和版本。睡眠阶段、呼吸事件和临床结论可能由技师、医生、规则或旧模型产生,其参考方法和一致性不同。多数投票也不能自动消除系统性偏差,争议与不确定标签应保留而不是强行抹平。

标注治理应有清晰可执行的指南、培训、盲法或复核安排、冲突处理、质量抽样、人员权限和审计轨迹。标注界面不应向无必要人员展示完整身份或病历,外包团队的地点、设备、复制和退出删除需要控制。规则和参考标准变化时,应记录哪些样本受影响,决定重标、分层分析或限制用途,不能悄然混合不同标签定义。

训练、调参、验证和最终测试应按患者、家庭、设备、机构和时间正确分割,防止同一人的多个夜晚、重复记录或增强样本跨集合泄漏。预处理参数、特征选择和阈值若从测试集反复反馈,也会污染独立性。代表性分析应覆盖目标年龄、性别、肤色、地区、疾病、用药、设备、家庭与实验室场景,并把未知和数据空白写入适用限制。

隐私、安全与模型供应链

访问控制应覆盖原始数据、沙箱、笔记本、特征库、模型仓库、实验跟踪、日志和备份,按照人员、项目和用途最小授权。开发环境不应默认连接全部生产数据,下载、复制和外传需有审批与可追溯记录。保留期要覆盖临时文件、缓存、失败任务和个人工作区;离职、项目结束或供应商退出时,应撤销令牌、密钥和数据副本。

模型本身可能记忆训练样本,或遭受成员推断、属性推断、模型反演、提示注入和数据抽取;去标识训练集并不能消除这些风险。评估应根据模型类型、访问方式、数据稀有度和攻击者能力进行测试,限制过度详细输出、批量查询和权重暴露。差分隐私、联邦学习、合成数据或安全计算是可选措施,必须验证效用、参数、实现和残余风险,不能只写技术名称。

外部基础模型、预训练权重、数据集、标注平台和托管服务构成供应链。应核对提供者、版本、许可、训练信息透明度、数据保留、是否用于供应商再训练、地域访问、漏洞、退出和替代方案。无法获得底层训练数据时,不应把未知等同于合规;可以通过用途限制、敏感输入阻断、隔离、合同保证、输出测试和人工复核管理风险,并如实记录证据缺口。

评测、公平性与使用边界

评测应从预期用途、用户、输入、输出和可能后果倒推指标与场景,区分分析性能、临床关联、工作流表现和实际健康结局。总体平均值、单一准确率或内部排行榜不足以证明适用。应报告置信区间、缺失和低质量数据处理、失败模式、校准、阈值选择,以及在不同机构、设备和重要人群中的表现与不确定性。

公平性不是要求所有群体得到相同数值,而是识别数据覆盖、测量误差、标签偏差、访问条件和阈值如何造成不同伤害。群体划分需要合理、合法且样本足够,同时避免为了评测无必要收集新的敏感属性。发现差异时,应分析原因并采取补数、重标、重新设计、分层阈值、限制人群或停止用途等措施,而不能只删除不利指标。

模型输出用于健康教育、临床决策、保险、就业或研究筛选时,风险等级不同。界面应说明输出是估计、建议还是受监管的临床结果,展示适用人群、输入要求、版本、限制和人工复核渠道。高影响场景不能把“人在回路”当作口号,应验证人员有时间、能力、权限和信息识别错误,并能覆盖、纠正和报告问题。

部署、变更、权利与持续监测

上线前应锁定训练数据快照、代码、模型权重、特征、依赖、阈值和配置,建立从输入到输出的版本追踪。影子测试、分阶段发布和回滚不能绕过审批。持续学习或定期再训练应预先定义可接受数据来源、纳入排除规则、验证方案、变更权限和发布门槛;用户反馈不能未经筛选直接进入训练集。

生产监测应观察数据分布、缺失、设备变化、性能漂移、群体差异、异常查询、隐私泄露和临床或用户投诉,并设置升级、停用与替代流程。标签延迟时可使用过程指标,但不能把参与度或点击率当成临床安全的代理。模型更新后应保留旧版本和决定记录,使具体输出可被复现、调查和纠正。

个人访问、更正、反对或删除请求需要与模型生命周期协调。组织应能定位相关原始记录、标签、特征和线上日志,纠正未来处理并评估已训练模型的影响。并非每次删除都能从模型权重中精确移除个体贡献,但不能因此拒绝所有请求;应透明说明技术边界,防止再次纳入,并在高风险或大量请求时评估重训、机器遗忘或停用。

交付物、整改与治理闭环

交付物通常包括系统与责任图、数据和模型登记、来源与许可链、目的依据矩阵、数据字典、标注和分割审查、代表性与偏差分析、隐私威胁模型、供应链差距、评测报告、变更和监测方案、权利流程及整改计划。每项结论应关联可复核证据,注明数据与模型版本、负责人、截止日期、验收方法和残余风险。

整改应优先隔离无合法来源、用途不兼容或泄漏的数据,修复患者串户、测试集污染和高影响群体失效,再采取最小化、重标、补充数据、权限分离、隐私增强、阈值调整或用途限制。删除几行样本或补写同意书不能自动修复已形成的模型。复测应从原始数据到部署输出重跑关键链路,并验证旧缓存、检查点和供应商副本的处置。

治理机构应由数据、隐私、安全、临床或睡眠专业、质量、工程和受影响群体共同参与,并为上线、例外、变更和停用设置明确决策权。重大新数据源、基础模型替换、目标人群扩展、用途变化、跨境处理、事件或规则更新均应触发复评。数据量、模型复杂度或一次高分不代表合规;持续可追溯、可质疑和可纠正才是治理成效。