World Sleep Industry ENCYCLOPEDIA

睡眠算法評測服務

4.4.3

定義、物件與評測邊界

睡眠演算法評測服務由具備適當獨立性的內部團隊或第三方,對鎖定版本的睡眠演算法、軟體元件或人機系統進行測試、評價、驗證與結果解釋,歸入 WSIC 4.4.3「睡眠數據服務」。物件可包括睡眠與清醒識別、睡眠分期、覺醒及呼吸或動作事件偵測、總睡眠時間和 AHI 等指標估計、SpO₂ 與心率等連續測量、鼾聲或體位分類、在離床識別、風險預測和品質拒識。服務評的是明確版本在指定人群、設備、輸入和工作流程下是否滿足預定要求,而不是給演算法頒發脫離場景的通用「認證」。

評測前應區分科學或臨床關聯、分析或技術效能、臨床效能以及系統使用效果。演算法準確產生一個數值,不等於該數值與目標健康狀態之間的關聯成立;離線病例級效能良好,也不自動證明接入設備、介面與人工複核後的臨床安全、效率或結果改善。科研原型、消費級健康提示、臨床輔助診斷和職業安全預警的風險與證據要求不同。服務報告必須限定可支援的主張,並明確哪些監管、臨床研究、可用性或真實世界問題不在本次評測範圍。

方案預設、版本鎖定與獨立性

評測方案應在查看測試結果前凍結預期用途、目標人群、使用環境、輸入通道和設備、取樣與預處理、預測單位、輸出定義、參考標準、門檻、忽略區間、事件匹配、主要和次要指標、亞群、樣本量依據、缺失處理與通過標準。若客戶在結果不理想後選擇新門檻、刪除困難病例或更換主要指標,原測試就變成開發活動,必須使用獨立資料重新確認。探索性分析可以保留,但應與驗證性結論清楚分開。

受測物件需產生可複核指紋,包括原始碼或二進位檔、模型權重、特徵與預處理、門檻與後處理、相依套件、容器、執行階段、隨機種子、硬體和設備或韌體版本。測試輸入、標籤、切分和計分程式也要鎖版。評價人員不應參與前線模型調校,利益衝突和贊助關係應披露。測試標籤和逐病例回饋需限制存取與查詢次數,防止開發方藉反覆提交對隱藏集過度擬合;若評測方同時提供訓練服務,應設定人員、資料和決策隔離。

測試資料、參考標準與統計設計

測試集應在受試者層級與訓練、調校和早期試驗資料獨立,同一人的多夜、重疊視窗、重新匯出、衍生記錄和家庭成員關係需要檢查。公開隊列可能被用於預訓練或以鏡像、改名形式進入開發流程,僅比對檔名不能排除污染。測試人群和採集條件應涵蓋宣告用途相關的年齡、性別、疾病與嚴重度、合併症、中心、地區、設備、家庭或實驗室環境及訊號品質;還可設定跨中心、跨設備、時間外推和低品質壓力集。樣本量要同時考慮獨立受試者、事件數量、類別稀有性、群集和預期不確定性,不能用海量 epoch 掩蓋受試者過少。

參考結果可來自合格評分者、多專家共識、同步參考設備、臨床結局或經驗證的方法,但必須與目標輸出匹配。應記錄評分規則與版本、評分者資格、盲法、獨立複核、仲裁、設備校準、時間容差和無法判斷區間。睡眠人工評分在 N1、階段轉換、偽跡和事件邊界上存在差異,單個評分者不是無誤真值。評測可保存多評分者分布、信賴度或未決標籤,並對參考誤差做敏感度分析;不能把演算法與同一預標註模型輔助生成的標籤之間的一致性當作完全獨立證據。

任務指標、不確定性與錯誤解釋

指標須與預測單位和錯誤成本對應。睡眠分期可報告宏平均 F1、逐階段敏感度與陽性預測值、一致性、混淆矩陣、階段轉換表現,以及總睡眠時間、睡眠效率和階段比例的夜級偏差;事件偵測需預設匹配規則,並報告事件敏感度、陽性預測值、每小時誤報、起止偏差和持續時間;AHI 或 REI 等夜級指標要評價連續值誤差、嚴重度分層和臨床門檻附近的換類。連續生命徵象要看誤差分布、偏差、涵蓋範圍和不可輸出,只有相關係數並不足夠。風險模型還需評價區分度、校準、門檻下的錯判和決策影響。

信賴區間和顯著性計算應以受試者為主要獨立單位,並處理一人多夜、中心群集和多重比較。結果要同時給出分母、失敗輸入、拒識、丟包和無法輸出率;只在成功輸出樣本上計算準確率會產生選擇偏差。總體平均值應按預設亞群、設備、中心、訊號品質、夜間時段和疾病嚴重度分層,並報告樣本不足的區間。錯誤分析需涵蓋最差病例、門檻附近、階段轉換、罕見事件和系統性混淆,同時區分統計顯著與實際臨床影響。複合分數若使用,必須公開組成和權重,不能讓高頻易分類項目抵消高風險錯誤。

魯棒性、公平性與人機工作流程

魯棒性測試應反映可合理預見的使用變化,包括雜訊、動作、低灌注、感測器脫落、缺失通道、不同導聯或位置、取樣與壓縮變化、時鐘錯位、韌體差異、環境干擾和分布漂移。需要評價演算法能否識別超出適用範圍的輸入、給出不確定或拒識、觸發人工複核,並在重複執行或允許的硬體上保持穩定。即時系統還應測延遲、吞吐、記憶體、能耗、斷網恢復、佇列積壓和介面錯誤。安全測試根據風險涵蓋惡意或異常輸入,但攻擊測試的通過也不能取代普通臨床條件下的驗證。

公平性不是要求所有亞群指標完全相同,而是確認宣告人群均有足夠證據、差異得到解釋且風險可接受。亞群可結合年齡、性別、膚色相關感測影響、疾病、嚴重度、合併症、中心、設備與環境選擇;交叉亞群和小樣本結果需給出不確定性,不能以「未顯著」宣稱無差異。若系統由技師或醫師使用,應比較演算法單獨、人員單獨和人機協作,評估糾錯率、閱片時間、自動化偏誤、警報疲勞、涵蓋率、升級路徑和最終責任。介面呈現和培訓變化可能改變系統效果,因此模型級成績不能取代端到端工作流程評價。

安全執行、交付與結果治理

評測可採用隔離伺服器、可信工作區或客戶環境內執行,以保護敏感健康資料、隱藏測試標籤和模型智慧財產權。執行環境應限制非必要網路和資料匯出,實行最小權限、金鑰管理、輸入輸出審查、惡意模型防護、日誌和到期刪除。每次執行要保存模型與資料雜湊、設定、時間、硬體、退出狀態和計分版本。評測方需防範模型透過輸出編碼測試資料,客戶也不得嘗試推斷身分、隱藏標籤或用多個帳號規避提交限制。

交付物應包括預設方案、受測版本指紋、資料來源和代表性說明、納排與參考標準、統計方法、主要和亞群結果、不確定性、失敗模式、未解決風險、偏離方案和可重現執行記錄。結論要區分滿足、未滿足和證據不足,並把宣傳用語限定到實際評測範圍。合約還應處理費用、時間、智慧財產權、測試資料保密、結果發布權、負面結果、利益衝突、申訴、獨立複核和保留期限。排行榜名次或「通過」標誌不能隱藏資料版本、比較物件和門檻,也不應暗示監管批准或真實世界療效。

變更管理、持續監測與採購判斷

模型權重、架構、訓練資料、預處理、門檻、後處理、韌體、感測器、介面、目標人群或工作流程改變,都可能使舊結論失效。專案應事先建立變更影響分類,規定哪些變化需要回歸測試、橋接評測、局部亞群複驗或完整重評,並保留變更前後證據。對允許迭代的系統,也應限定變化範圍、驗證方法、通過標準以及未達標時停止或回復的機制。上線後監測需追蹤輸入品質與分布、拒識、亞群表現、人工改判、事故和結果漂移,但真實世界回饋不能未經控制地直接變成模型更新。

採購方應核查評測機構的獨立性、睡眠領域和統計能力、受試者級資料隔離、原始格式與設備經驗、參考標準治理、安全環境及重現能力,並用代表性樣例校準方案。報價應區分方案設計、資料授權、專家標註、受控執行、統計分析、工作流程試驗和持續監測,低價單次跑分不等於完整評價。評測結果是決策證據的一部分;是否部署還需結合用途風險、法規、隱私、網路安全、可用性、運維和替代方案。當證據不足或失敗風險不可接受時,合理結論可能是限制用途、增加人工複核、補充資料或暫不部署。