World Sleep Industry ENCYCLOPEDIA

睡眠算法評測數據運營

6.4.3

定義、交付物與相鄰業務邊界

睡眠演算法評測數據運營是把睡眠相關記錄、參考標籤、數據切分、任務說明和使用控制持續維護為可供演算法測試與比較的數據產品,歸入 WSIC 6.4.3「數據資產運營」。數據可來自多導睡眠監測、居家睡眠呼吸中止檢測、活動記錄、穿戴式裝置、床旁或環境感測器、問卷及追蹤;演算法任務可涉及睡眠與清醒、睡眠分期、覺醒、呼吸或動作事件、訊號品質、生命徵象、鼾聲、體位、在離床和風險預測。運營方交付的不是一包匿名檔案,而是明確版本的輸入、參考結果、數據字典、來源和代表性說明、授權條件、品質記錄及變更歷史。

本業務不同於前一條睡眠數據授權撮合服務、後一條睡眠研究數據共享平臺,也不同於訓練數據銷售、演算法評測基準數據集和演算法評測服務。撮合服務連接權利人與使用方,研究共享平臺支援較寬的科研再利用;評測數據運營則圍繞鎖定演算法版本的獨立測試持續治理數據。運營方可以託管隱藏測試集並執行計分,但不能因擁有數據就自稱獨立認證機構,也不能把一次排行、一個綜合分或數據授權解釋為監管核准、臨床有效或適用於所有人群與裝置。

產品規格、來源權利與准入驗收

每個數據產品應先凍結預期用途、目標人群、採集環境、演算法任務、預測單位、輸入通道、裝置與韌體、取樣和預處理、標籤體系、計分區域、時間容差、主要指標、允許的外部數據以及通過標準。目錄需列出受試者與記錄夜數量、中心、地區、年齡、性別、疾病與嚴重度、合併症、裝置、訊號品質、缺失模式和重要但未涵蓋的群體。只有健康成人、單中心 PSG 或單一腕帶的數據,不能以「睡眠大數據」名義代表兒童、老年人、複雜睡眠疾病、居家環境或其他感測器。

准入時應為每批檔案建立來源清單和不可變校驗值,核對受試者同意或其他合法依據、倫理和機構核准、收集方與轉移鏈、商業與科研用途、地域或跨境限制、再散布、衍生標籤、模型訓練和結果發布權限。去識別化不等於零風險,連續生理訊號、音視訊、精確日期、罕見疾病、地理和裝置標識可與其他資料組合後重新識別。運營方應實施數據最小化、存取分級和殘餘風險複評,並把禁止識別個人、禁止聯絡參與者和禁止超範圍使用寫入協議;「已去識別」「已登記」或取得副本不能替代真實權利鏈。

獨立切分、污染防控與代表性維護

訓練、調校和最終測試數據必須按受試者隔離;同一人的多夜記錄、重疊時間窗、重新匯出、去識別前後副本、同一家庭或同一事件的衍生檔案不能跨集合。根據用途,還需按中心、裝置、採集時期或人群建立外部分布測試。隨機拆分 epoch 或訊號片段會讓高度相關內容同時出現在開發和測試中,誇大效能。運營記錄應保存切分程式、隨機種子、分層規則、納排理由和每層分母,並用記錄雜湊、訊號片段相似性和來源中繼資料排查重複與近重複。

公開睡眠隊列可能被鏡像、改名、裁切或進入基礎模型預訓練,檔名不同不能證明獨立。參評方應揭露訓練、微調、檢索、預訓練模型、人工查看和歷次提交所接觸的數據;不確定時應標記潛在污染,改用封存集或獨立外部集。隱藏集反覆查詢也會成為調校訊號,因此需要帳戶和組織層級限次、延遲回饋、保留最終確認集及異常提交監測。運營方還應定期比較新增數據與現行目標人群、裝置和場景,不能僅為擴大樣本量而保留大量乾淨、易判或重複記錄。

參考標籤、品質控制與不確定性

參考結果可來自具資格的睡眠評分人員、多專家共識、同步參考裝置、臨床結果或預先定義的規則,但必須與目標輸出匹配。PSG 和 HSAT 標籤應記錄評分體系及版本、導聯與技術規格、評分者資格、盲法、獨立複核、仲裁、時間容差和無法判斷區域。人工睡眠分期與事件評分存在評分者間差異,特別是 N1、階段轉換、偽跡和事件邊界;單人標籤不是無誤真值。若機器預標註參與生產標籤,應保留人工改判和來源標記,不能再把演算法與這些標籤的一致性稱為完全獨立驗證。

品質運營應涵蓋檔案可讀性、通道和單位、取樣率、時鐘對齊、導聯映射、訊號缺失、偽跡、標籤範圍、事件重疊、中繼資料一致、重複、異常值和病例抽查。模糊記錄可以用多評分者分布、未決標籤、信賴度或不計分區間表達,不應只刪除困難病例。應分別報告記錄層級完整率、標籤涵蓋率、各類和亞群數量、失敗與拒識分母、評分一致性和修訂量;「通過品質檢查率 99%」若沒有規則、抽樣方案和分母沒有意義。品質問題的修復需保留原值、責任人、理由和影響分析。

鎖版發行、受控執行與安全防洩漏

每次發行都應為原始檔案、處理程式、標籤、數據字典、切分、計分程式和授權生成版本號、雜湊與發行說明。修正標籤、增加病例、改變時間窗、重新取樣、替換裝置中繼資料或調整指標都可能改變可比性;不得靜默覆蓋舊版本。發行說明應區分不影響成績的文件修訂、可橋接的變更和必須重跑全部系統的重大變更,並說明舊結果是否繼續有效。運營方還需預設凍結、撤回和退役條件,防止已經洩漏、過度擬合或不再代表目前裝置和人群的數據繼續定義產業水準。

敏感或隱藏數據宜在隔離伺服器、可信研究環境或提交方本地受控執行,而不是直接散布。執行環境應固定容器、相依套件、硬體配額、隨機性、逾時、網路和輸出格式,實行最小權限、雙因素認證、金鑰管理、日誌、惡意程式隔離和到期撤權。輸出審查要防止逐樣本預測、除錯日誌、梯度、編碼結果或重複查詢洩漏標籤和個人資訊。運營方不得把受限數據擅自傳送給未獲授權的雲端服務或分包商,使用方也不得透過多帳戶、人工查看隱藏病例或外部匹配規避規則。

計分使用、結果發布與證據邊界

計分規則應與任務和錯誤成本對應,並在看結果前鎖定。睡眠分期可報告宏平均 F1、逐階段表現、混淆矩陣和夜級結構誤差;事件偵測需明確匹配規則並報告漏報、誤報、起止偏差;連續指標需評價偏差、誤差分布、校準、涵蓋範圍和無法輸出。結果應以獨立受試者為主要統計單位,給出樣本量和不確定性,並按年齡、性別、疾病、嚴重度、中心、裝置、訊號品質及合理的感測差異因素分層。只報告總體準確率、AUROC、最佳亞群或成功輸出病例,會掩蓋類別不平衡和選擇性失敗。

運營方應把數據版本、演算法指紋、預處理、門檻、外部數據、提交次數、偏離方案和計分程式與每份結果綁定。排行榜只能比較相容版本和同一軌道,綜合分的組成、權重、並列和撤榜規則必須公開。申訴、糾錯、利益衝突、負面結果、贊助關係及宣傳引用應有治理流程。離線評測數據證明的是鎖定系統在指定條件下的表現;它不能取代真實裝置整合、人機工作流程、網路安全、可用性、臨床關聯、臨床驗證或上線後監測,也不能把研究用途數據擴張為診斷、治療或助眠效果聲稱。

合約計費、持續運營與退出處置

合約應把數據授權、專家標註、清洗與協調、隱藏集託管、受控運算、提交額度、統計報告、定期更新和事件回應分別定價,明確數據所有者、控制者、處理者、評測方和演算法方的角色。服務等級需涵蓋存取審批時限、數據可用性、故障復原、品質問題回應、洩漏通知、重算、技術支援和稽核證據。收益分成或按次計費不得誘導放寬准入、增加無效提交或隱瞞負面結果;運營方同時參與演算法開發、投資或採購決策時,應揭露衝突並設置人員、數據和決策隔離。

到期或終止時,應停止新提交,撤銷帳戶、權杖、鏡像和分包存取,按協議返還或可驗證刪除數據、快取、衍生副本和暫存輸出,同時保留依法或為稽核所需的最小記錄。發生同意撤回、權利爭議、重大標籤錯誤、安全事件或再識別風險上升時,應能定位受影響版本、使用者、模型和公開結果,暫停存取並啟動通知、修訂、重評或撤榜。成熟運營的判斷標準不是目錄規模或交易額,而是能否持續回答每個結果用了哪批數據、哪些人和裝置被代表、誰獲准做什麼、發生了哪些變化、限制是什麼以及如何安全退出。