定义与责任边界
科研数据处理,是按照研究方案和数据处理计划,把采集得到的记录整理为可核查、可分析、可移交的数据产品的专业活动。工作可包括接收与盘点、格式转换、编码、清洗、查询、标准化、信号预处理、变量派生、质量控制、数据集冻结以及代码和文档交付。它不等同于采集原始数据、统计咨询、算法产品开发或论文代写;处理方可以实现经批准的规则并报告问题,但不能替研究负责人事后改变研究问题、主要结局、分析人群或因果解释。
责任应按数据生命周期分配。委托方负责说明研究目的、合法与伦理依据、同意和使用限制、权威数据源、变量定义及需要保留的证据;处理方负责在授权范围内保护资料、执行规则、记录偏差并交付可复核结果。自动化输出、整洁表格或高完成率都不证明数据真实、研究无偏或结论有效,处理服务也不能把消费设备的估算值转化为临床诊断。
输入盘点与处理协议
开工前应形成数据处理协议和输入清单,列出研究、访视、参与者、设备和样本标识之间的关系,文件格式、字段、单位、时区、编码、版本、传输批次、预期数量与校验值。还要确认原始记录、认证副本和导出文件谁具有权威性,哪些字段可更正、哪些只能追加说明,以及盲态、随机化和分组信息何时可见。首批资料宜只做隔离接收和完整性检查,原始文件以只读方式保存,后续转换均生成新版本。
变量字典应给出名称、标签、类型、允许值、单位、时间基准、来源、派生公式、缺失码和适用人群;数据流图则记录每项输出来自哪个文件、字段、规则和程序版本。外部实验室、电子问卷、影像、可穿戴设备和临床系统的传输需要数据传输约定,避免同名异义、单位变化、前导零丢失或日期被软件自动改写。试运行应使用有代表性的正常、边界、缺失和错误案例,并在批量处理前由业务与方法负责人共同批准映射。
清洗、查询与数据冻结
质量检查应区分结构错误、范围或逻辑冲突、重复、跨表不一致、时序异常、协议偏差以及统计上罕见但可能真实的观测。每条查询应关联记录、规则、提出者、答复、决定和时间,不以覆盖原值或无痕改表解决问题。原始缺失、未采集、不适用、设备失败、低于检出限、人工排除和处理后无法计算具有不同含义,必须分码;插补、缩尾、平滑或异常值剔除属于分析决定,未经方案授权不能由数据处理人员默默实施。
清洗规则宜在查阅结局分组之前尽量预先确定,并通过双重编程、抽样复核或独立规则测试验证关键派生。修订必须保留旧值、新值、理由、操作者和时间;批量更正还要保存受影响范围和回滚方法。数据冻结不是把文件改名为“final”,而是关闭未决查询、核对盲态和批准状态、锁定字典与程序版本、生成清单和校验值;解冻须有授权、理由、影响分析并产生新的可识别版本。
睡眠与昼夜数据的专门处理
睡眠研究常把多导睡眠、脑电、呼吸、血氧、心电、活动记录、问卷、日记、环境和临床资料对齐,时间本身就是关键变量。处理时需保存设备时钟、服务器时间、时区、夏令时、跨午夜日期、关灯与开灯、卧床与起床、睡眠机会、佩戴和非佩戴区间、同步事件及校时方法。通道名称、导联或蒙太奇、采样率、滤波、增益、单位、传感器位置、设备和固件版本也应进入元数据;重采样、重参考、伪迹标记和信号替换不得覆盖原始波形。
睡眠分期、呼吸事件、觉醒、血氧下降、活动—休息区间和昼夜相位指标都依赖定义与规则版本。总睡眠时间、睡眠效率、觉醒指数或呼吸暂停低通气指数等派生量必须保留分子、分母、有效记录时长、纳入事件和无法评分区间,不能仅交付一个汇总数字。跨设备或跨队列协调时应保存原变量和映射关系,并明确哪些概念只是近似可比;算法置信度、人工复核和覆盖修改要分别记录,训练资料与最终评价资料不得因处理便利而混用。
管线、验证与可复现性
可复现处理依赖版本化代码、配置、参考表、软件包、运行环境和固定输入,而不是操作人员的记忆。每次运行应生成唯一标识、输入和输出校验值、时间、执行者、参数、日志、警告与失败状态;随机步骤固定并记录种子,并行或硬件差异可能改变结果时也要说明。流水线测试至少覆盖单元规则、端到端流程、已知答案、边界条件、幂等性和失败恢复,重大软件、规则或上游数据变化应评估后重跑验证。
代码审查要同时看科学含义和软件行为,例如连接键是否造成行数膨胀、窗口是否泄漏未来信息、单位是否重复换算、日期是否错位以及排除是否改变分析人群。人工智能或自动标注工具必须固定模型和阈值版本,验证适用设备、场景与亚组,保存人工复核规则,不把看似合理的补全当作真实观测。对不能完全复现的专有软件,应至少交付版本、参数、导出设置、质量日志和独立核对结果,并明确剩余限制。
隐私、安全与受控使用
研究数据处理应遵循目的限定和最少必要原则,只接收完成任务所需字段,并将身份对应表与分析资料分离。姓名和证件号不是唯一风险;精确日期、地址、罕见诊断、位置轨迹、声音、影像、遗传信息和连续生理波形可组合识别人。去标识化会降低而非消除风险,因此应根据同意、伦理批准、合同、法律和重识别可能性选择删除、泛化、日期偏移、假名化或受控访问,不能擅自把受限数据上传公共工具或用于模型训练。
访问按角色和项目授权,采用受控传输、加密、日志、备份、恢复测试、恶意代码防护和事件响应;个人账户不得共享,临时副本、缓存、下载目录和支持工单同样受控。跨机构、云端和分包处理要明确地点、子处理者、密钥、留存、返还或销毁、事件通知和审计权。若误传、越权访问、身份关联、盲态破坏或数据损坏可能影响参与者权益或研究可靠性,应立即隔离、保全证据并按既定路径评估和报告。
交付、验收与长期维护
完整交付包通常包括不可变原始资料清单、处理后数据、数据字典、映射与派生规格、查询和决定日志、质量报告、排除与缺失汇总、代码、配置、依赖或容器、运行说明、测试结果、校验值和已知问题。验收应从预先准备的案例重现关键派生,核对记录数、唯一性、关联、时间轴和预期误差,而不是只确认文件能打开。研究负责人仍需批准分析就绪数据及其限制;处理方不得以删除不利记录、隐藏警告或反复调规则来制造整洁结果。
项目结束时要约定哪些版本进入机构档案或受控仓库,谁维护读取能力、访问批准、许可证和依赖,保存多久以及何时安全销毁。后续发现源数据更正、规则缺陷、软件漏洞或标准变化时,应能识别受影响的数据集、图表、论文和下游系统,发布变更说明并决定是否重处理。可审计、可解释和可迁移比长期依赖某个供应商界面更重要;科研数据处理的最终价值,是让授权人员能够从交付结果追溯到来源和决定,并诚实理解数据不能回答什么。