World Sleep Industry ENCYCLOPEDIA

算法評測基準數據集

4.4.3

定義、作用與分類邊界

演算法評測基準數據集是為指定演算法任務提供受控輸入、參考結果、資料切分和計分協議的資料資產,歸入 WSIC 4.4.3「睡眠數據服務」。睡眠場景可涵蓋睡眠與清醒識別、睡眠分期、覺醒和呼吸或運動事件偵測、訊號品質、生命徵象估計、在床狀態、鼾聲分類、趨勢預測和多模態理解。它的核心價值是讓不同系統在同一條件下可比較、可複核,而不是簡單匯集大量記錄。

基準集不同於一般訓練集、產品驗收樣本、監管臨床證據和演算法評測服務。一個基準可以包含開放訓練資料、開發集和隱藏測試集,但在該基準上排名領先,只說明系統在所定義的資料、任務、輸入和指標下表現較好。它不能自動證明演算法適用於其他設備、人群、醫院、家庭環境或臨床工作流程,也不能替代獨立外部驗證。維護方應明確基準回答什麼問題、不能回答什麼問題,以及結果允許如何對外聲稱。

任務設計、目標人群與資料規格

建設前應先凍結任務定義和預期用途,包括預測單位、觀察視窗、允許輸入通道、輸出標籤、參考標準、計分區域、忽略區域、時間容差、門檻選擇、是否允許外部資料,以及即時或離線約束。睡眠分期、事件偵測和夜級風險預測不能共用一個含糊的「準確率」任務;同名任務若採用不同導聯、取樣率、年齡範圍、評分規則或後處理,也不應直接混排。應發布資料字典、通道和單位、採集設備、濾波與重新取樣、缺失值、時間基準、納入排除和品質控制說明。

目標人群與採集環境要能支援預定比較。基準應說明受試者數量、記錄夜數、中心、地區、年齡、性別、疾病與嚴重度、設備、訊號品質以及重要但缺失的群體。只有健康成人或單中心設備的資料,不能代表兒童、老年人、複雜睡眠疾病或居家穿戴式場景。資料選擇還應避免只保留乾淨易判樣本,使任務脫離真實困難。若基準旨在測跨中心、跨設備或時間漂移,應預先設定相應軌道,而不是在結果不理想後改變問題。

資料切分、獨立性與污染防控

訓練、開發和測試必須按受試者隔離,同一個人的多夜記錄、重疊視窗、重新匯出或衍生版本不能跨集合。以 epoch 隨機切分整夜訊號會讓高度相關片段同時出現於訓練與測試,產生虛高結果。需要評價泛化時,還應按中心、設備、採集時期或人群建構外部分布測試。切分程式、隨機種子、樣本數量和分層規則應版本化;在不洩露敏感資訊或隱藏答案的前提下,維護方應提供足夠資料供獨立稽核。

公開資料常被鏡像、改名、裁切或納入預訓練語料,內容重複不能只靠檔名判斷。基準應使用記錄層級校驗、時間片相似性、受試者中繼資料和來源追蹤檢查近重複,並要求參評方披露外部資料、預訓練模型和人工接觸測試樣本的情況。隱藏測試集反覆查詢也會變成事實上的訓練訊號,因此要限制提交頻率、保留最終封存集、監測異常提交並定期更新。若污染已發生,應標記受影響版本和成績,不能繼續把舊排行榜描述為獨立比較。

參考標準、標籤不確定性與品質治理

參考結果可以來自具資格評分者、多人共識、同步參考設備、臨床結局、實驗測量或明確規則,但選擇必須與任務用途相符並記錄形成過程。睡眠人工評分存在評分者間差異,尤其在階段轉換、N1、偽跡和邊界事件上;單一評分者不是無誤真值。臨床 PSG 或 HSAT 標籤應說明所用評分體系及版本、人員資格、盲法、複核、仲裁和時間容差。設備或研究自訂標籤要單獨命名,避免被誤認為臨床標準。

品質檢查包括訊號完整性、導聯和單位、時鐘對齊、標籤範圍、事件先後、中繼資料一致、重複、異常值和病例層級抽查。模糊樣本不必全部刪除,可以用多評分者分布、未決標籤、置信權重或不計分區間表達,但這些處理必須寫進協議。維護方應保存原始與修訂標籤、勘誤、品質控制結果和變更理由。發現答案錯誤後要發布新版本並說明舊成績能否比較,而不是靜默修改測試標籤或只重算部分隊伍。

指標、統計報告與端到端評價

指標應從用途和錯誤成本出發。睡眠分期可報告宏平均 F1、逐階段敏感度與陽性預測值、一致性指標、混淆矩陣,以及總睡眠時間、睡眠效率和階段比例等夜級誤差;事件偵測要明確事件匹配規則,並報告漏報、誤報、每小時誤報和起止偏差;連續估計應報告誤差分布、校準、涵蓋範圍和無法輸出比例。類別極不平衡時,總體準確率或 AUROC 可能掩蓋實際問題,需要同時呈現適合罕見事件的指標。

結果應帶樣本量和不確定性區間,並按年齡、性別、疾病、嚴重度、中心、設備、膚色或其他影響感測器表現的因素、訊號品質和夜間片段分層。綜合分數必須公開組成、權重和並列規則,且不應讓高頻易分類項目抵消高風險錯誤。基準還可設定穩健性、缺失通道、異常輸入、延遲、記憶體、能耗、拒識和人機協同軌道,但每個軌道要分別解釋。統計顯著不等於臨床重要,模型輸出分數也不替代真實工作流程中的安全、可用性和影響評價。

評測執行、安全、版本與排行榜治理

開放下載便於重現,但隱藏健康資料往往更適合在受控伺服器或容器中執行。評測系統應固定執行映像、依賴、硬體配額、隨機性、逾時、網路存取、輸出格式和計分程式碼,保存提交雜湊、日誌和結果。隱藏標籤、原始音視訊和敏感中繼資料需最小權限保護,輸出還要防止逐樣本預測被用於反推答案或識別個人。人工查看隱藏病例、從外部來源匹配身分、為測試集專門編碼規則或多帳號規避限次,都應在參評規則中明確禁止。

資料、標籤、切分、指標、計分程式和排行榜都要有版本。任何變化應產生發行說明、影響分析和可重算條件;主排行榜最好只比較同一版本,跨版本成績另行標識。維護方需要申訴、糾錯、撤榜、利益衝突和安全事件流程,也要防止主辦者或合作方取得不對稱測試資訊。長期執行的基準應設定更新或退役條件,避免多年反覆最佳化形成排行榜過度擬合,或讓已不代表現行設備和人群的資料繼續定義產業水準。

授權、採購使用與發展方向

授權條款與資料使用協議應說明能否商用訓練、微調基礎模型、快取輸入、發布逐樣本預測、生成衍生標籤、再散布、挑戰結束後繼續使用,以及論文與產品宣傳如何引用成績。服務採購還要明確測試集託管、資料權利、隱私與倫理依據、分包、安全、費用、提交額度、結果所有權和終止安排。使用者在採購演算法時,應核對供應商成績對應的確切版本、輸入通道、外部資料和提交次數,不能只看截圖或單一名次。

發展方向包括動態更新集、跨設備與跨中心壓力測試、真實工作流程人機評價、持續漂移集、聯邦或安全沙箱評測和按用途分層的模型卡聯動。更大的基準不必然更好;設計透明、獨立性、代表性、參考標準、指標與治理共同決定可信度。若基準用於支援醫療器材、臨床研究或患者管理主張,仍須滿足相應品質、倫理和監管要求,並在代表性真實場景中提供與風險相稱的獨立證據;排行榜不能充當核准、療效或普遍適用性的證明。