定義與責任邊界
科研資料處理,是依照研究方案和資料處理計畫,把採集得到的記錄整理為可核查、可分析、可移交資料產品的專業活動。工作可包括接收與盤點、格式轉換、編碼、清理、查詢、標準化、訊號預處理、變項衍生、品質控制、資料集凍結以及程式碼和文件交付。它不等同於採集原始資料、統計諮詢、演算法產品開發或論文代寫;處理方可以實現經批准的規則並報告問題,但不能替研究負責人事後改變研究問題、主要結局、分析人群或因果解釋。
責任應按資料生命週期分配。委託方負責說明研究目的、合法與倫理依據、同意和使用限制、權威資料來源、變項定義及需要保留的證據;處理方負責在授權範圍內保護資料、執行規則、記錄偏差並交付可複核結果。自動化輸出、整潔表格或高完成率都不證明資料真實、研究無偏或結論有效,處理服務也不能把消費裝置的估算值轉化為臨床診斷。
輸入盤點與處理協議
開工前應形成資料處理協議和輸入清單,列出研究、訪視、參與者、裝置和樣本標識之間的關係,檔案格式、欄位、單位、時區、編碼、版本、傳輸批次、預期數量與校驗值。還要確認原始記錄、認證副本和匯出檔案何者具有權威性,哪些欄位可更正、哪些只能追加說明,以及盲態、隨機化和分組資訊何時可見。首批資料宜只做隔離接收和完整性檢查,原始檔案以唯讀方式保存,後續轉換均產生新版本。
變項字典應給出名稱、標籤、類型、允許值、單位、時間基準、來源、衍生公式、缺失碼和適用人群;資料流圖則記錄每項輸出來自哪個檔案、欄位、規則和程式版本。外部實驗室、電子問卷、影像、穿戴式裝置和臨床系統的傳輸需要資料傳輸約定,避免同名異義、單位變化、前導零遺失或日期被軟體自動改寫。試運行應使用具代表性的正常、邊界、缺失和錯誤案例,並在批次處理前由業務與方法負責人共同批准映射。
清理、查詢與資料凍結
品質檢查應區分結構錯誤、範圍或邏輯衝突、重複、跨表不一致、時序異常、方案偏差以及統計上罕見但可能真實的觀測。每條查詢應關聯記錄、規則、提出者、答覆、決定和時間,不以覆蓋原值或無痕改表解決問題。原始缺失、未採集、不適用、裝置失敗、低於檢出限、人工排除和處理後無法計算具有不同含義,必須分碼;插補、縮尾、平滑或異常值剔除屬於分析決定,未經方案授權不能由資料處理人員默默實施。
清理規則宜在查閱結局分組之前儘量預先確定,並透過雙重程式設計、抽樣複核或獨立規則測試驗證關鍵衍生。修訂必須保留舊值、新值、理由、操作者和時間;批次更正還要保存受影響範圍和回復方法。資料凍結不是把檔案改名為「final」,而是關閉未決查詢、核對盲態和批准狀態、鎖定字典與程式版本、產生清單和校驗值;解凍須有授權、理由、影響分析並產生新的可識別版本。
睡眠與晝夜資料的專門處理
睡眠研究常把多導睡眠、腦電、呼吸、血氧、心電、活動記錄、問卷、日記、環境和臨床資料對齊,時間本身就是關鍵變項。處理時需保存裝置時鐘、伺服器時間、時區、日光節約時間、跨午夜日期、關燈與開燈、臥床與起床、睡眠機會、佩戴和非佩戴區間、同步事件及校時方法。通道名稱、導聯或蒙太奇、取樣率、濾波、增益、單位、感測器位置、裝置和韌體版本也應進入中繼資料;重取樣、重參考、偽跡標記和訊號替換不得覆蓋原始波形。
睡眠分期、呼吸事件、覺醒、血氧下降、活動—休息區間和晝夜相位指標都依賴定義與規則版本。總睡眠時間、睡眠效率、覺醒指數或呼吸暫停低通氣指數等衍生量必須保留分子、分母、有效記錄時長、納入事件和無法評分區間,不能僅交付一個彙總數字。跨裝置或跨隊列協調時應保存原變項和映射關係,並明確哪些概念只是近似可比;演算法信賴度、人工複核和覆蓋修改要分別記錄,訓練資料與最終評價資料不得因處理便利而混用。
管線、驗證與可復現性
可復現處理依賴版本化程式碼、設定、參考表、軟體套件、運行環境和固定輸入,而不是操作人員的記憶。每次運行應產生唯一標識、輸入和輸出校驗值、時間、執行者、參數、日誌、警告與失敗狀態;隨機步驟固定並記錄種子,平行運算或硬體差異可能改變結果時也要說明。流水線測試至少覆蓋單元規則、端到端流程、已知答案、邊界條件、冪等性和失敗復原,重大軟體、規則或上游資料變化應評估後重新驗證。
程式碼審查要同時看科學含義和軟體行為,例如連接鍵是否造成列數膨脹、視窗是否洩漏未來資訊、單位是否重複換算、日期是否錯位以及排除是否改變分析人群。人工智慧或自動標註工具必須固定模型和閾值版本,驗證適用裝置、場景與亞組,保存人工複核規則,不把看似合理的補全當作真實觀測。對不能完全復現的專有軟體,應至少交付版本、參數、匯出設定、品質日誌和獨立核對結果,並明確剩餘限制。
隱私、安全與受控使用
研究資料處理應遵循目的限定和最少必要原則,只接收完成任務所需欄位,並將身分對應表與分析資料分離。姓名和證件號不是唯一風險;精確日期、地址、罕見診斷、位置軌跡、聲音、影像、遺傳資訊和連續生理波形可組合識別個人。去識別化會降低而非消除風險,因此應依據同意、倫理批准、合約、法律和重新識別可能性選擇刪除、泛化、日期偏移、假名化或受控存取,不能擅自把受限資料上傳公共工具或用於模型訓練。
存取按角色和專案授權,採用受控傳輸、加密、日誌、備份、復原測試、惡意程式防護和事件回應;個人帳戶不得共享,臨時副本、快取、下載目錄和支援工單同樣受控。跨機構、雲端和分包處理要明確地點、次處理者、金鑰、留存、返還或銷毀、事件通知和稽核權。若誤傳、越權存取、身分關聯、盲態破壞或資料損壞可能影響參與者權益或研究可靠性,應立即隔離、保全證據並按既定路徑評估和報告。
交付、驗收與長期維護
完整交付包通常包括不可變原始資料清單、處理後資料、資料字典、映射與衍生規格、查詢和決定日誌、品質報告、排除與缺失彙總、程式碼、設定、依賴或容器、運行說明、測試結果、校驗值和已知問題。驗收應從預先準備的案例重現關鍵衍生,核對記錄數、唯一性、關聯、時間軸和預期誤差,而不是只確認檔案能開啟。研究負責人仍需批准分析就緒資料及其限制;處理方不得以刪除不利記錄、隱藏警告或反覆調規則來製造整潔結果。
專案結束時要約定哪些版本進入機構檔案或受控儲存庫,誰維護讀取能力、存取批准、授權條款和依賴,保存多久以及何時安全銷毀。後續發現來源資料更正、規則缺陷、軟體漏洞或標準變化時,應能識別受影響的資料集、圖表、論文和下游系統,發布變更說明並決定是否重新處理。可稽核、可解釋和可遷移比長期依賴某個供應商介面更重要;科研資料處理的最終價值,是讓授權人員能夠從交付結果追溯到來源和決定,並誠實理解資料不能回答什麼。