World Sleep Industry ENCYCLOPEDIA

睡眠AI模型數據合規評估

6.4.1

定義、對象與評估邊界

睡眠 AI 模型數據合規評估,是對用於開發、驗證、部署和改進睡眠人工智慧系統的數據來源、處理依據、品質、代表性、隱私安全和生命週期控制進行證據化審查的專業服務。在 WSIC 中編碼為 6.4.1,屬於「產業配套 / 數據資產與合規 / 數據合規服務」。其目標是確認數據能夠在明確用途和風險邊界內被負責任地使用,而不是僅憑模型性能分數宣告合規。

評估對象包括原始記錄、標註與衍生特徵、訓練驗證測試集、提示和檢索知識庫、合成數據、基礎模型、微調權重、評測數據、線上輸入輸出、回饋和監測日誌。系統可能用於睡眠分期、呼吸事件偵測、風險排序、個人化建議、客服或內容生成;每種用途的主體、數據與影響不同,不能用一份通用模型卡覆蓋。

本服務不同於醫療器械臨床評價、演算法備案、安全測評、研究倫理審查或純粹的數據科學審計,但需利用這些工作的證據。結論應限定法人、模型與數據版本、預期用途、目標人群、部署環境、法域和基準日。評估方不能代替數據提供者、模型開發者、部署者、臨床機構或使用者承擔其法定和專業責任。

數據來源、權利與處理依據

數據登記應追溯到來源系統、採集主體、時間、地區、設備、研究或服務場景、授權條件和轉移鏈。公開網頁、開放數據、合作機構記錄、患者數據、使用者回饋和購買數據並不因可獲得就當然可訓練。應保存許可、合約、同意或其他依據、智慧財產權限制、倫理條件、地域與人群限制,以及是否允許衍生模型、商業用途和繼續提供。

睡眠數據可能包含身分、健康、生理波形、臥室影音、位置、行為、診療、遺傳或未成年人資訊,組合後敏感性更高。編碼、去除姓名或雜湊設備號通常只是保護措施,不能自動證明匿名。評估應同時識別個人、家庭成員、研究參與者、數據標註者和被模型推斷但未直接提供數據的人,並考慮群體層面的污名或歧視影響。

目的相容性應區分提供睡眠服務、臨床照護、品質改進、研究、通用模型訓練、產品商業化和廣告畫像。最初為診療或研究收集的數據,不自動允許訓練面向公眾的產品;允許開發一個模型,也不一定允許發布權重、樣本或介面。撤回、限制、刪除和許可終止時,應預先定義對數據集快照、特徵庫、檢查點、評測集和已部署模型的處理與可行邊界。

數據品質、標註與集合設計

數據品質應與預期用途相聯繫,核對患者和設備匹配、時間同步、採樣率、單位、校準、感測器或導聯狀態、缺失、雜訊、預處理、標籤來源和版本。睡眠階段、呼吸事件和臨床結論可能由技師、醫生、規則或舊模型產生,其參考方法和一致性不同。多數投票也不能自動消除系統性偏差,爭議與不確定標籤應保留而不是強行抹平。

標註治理應有清晰可執行的指南、培訓、盲法或覆核安排、衝突處理、品質抽樣、人員權限和審計軌跡。標註介面不應向無必要人員展示完整身分或病歷,外包團隊的地點、設備、複製和退出刪除需要控制。規則和參考標準變化時,應記錄哪些樣本受影響,決定重標、分層分析或限制用途,不能悄然混合不同標籤定義。

訓練、調參、驗證和最終測試應按患者、家庭、設備、機構和時間正確分割,防止同一人的多個夜晚、重複記錄或增強樣本跨集合洩漏。預處理參數、特徵選擇和閾值若從測試集反覆回饋,也會污染獨立性。代表性分析應覆蓋目標年齡、性別、膚色、地區、疾病、用藥、設備、家庭與實驗室場景,並把未知和數據空白寫入適用限制。

隱私、安全與模型供應鏈

存取控制應覆蓋原始數據、沙箱、筆記本、特徵庫、模型儲存庫、實驗追蹤、日誌和備份,按照人員、項目和用途最小授權。開發環境不應預設連接全部生產數據,下載、複製和外傳需有審批與可追溯記錄。保留期要覆蓋暫存檔、快取、失敗任務和個人工作區;離職、項目結束或供應商退出時,應撤銷權杖、金鑰和數據副本。

模型本身可能記憶訓練樣本,或遭受成員推斷、屬性推斷、模型反演、提示注入和數據抽取;去識別訓練集並不能消除這些風險。評估應根據模型類型、存取方式、數據稀有度和攻擊者能力進行測試,限制過度詳細輸出、批量查詢和權重暴露。差分隱私、聯邦學習、合成數據或安全計算是可選措施,必須驗證效用、參數、實現和殘餘風險,不能只寫技術名稱。

外部基礎模型、預訓練權重、數據集、標註平台和託管服務構成供應鏈。應核對提供者、版本、許可、訓練資訊透明度、數據保留、是否用於供應商再訓練、地域存取、漏洞、退出和替代方案。無法獲得底層訓練數據時,不應把未知等同於合規;可以透過用途限制、敏感輸入阻斷、隔離、合約保證、輸出測試和人工覆核管理風險,並如實記錄證據缺口。

評測、公平性與使用邊界

評測應從預期用途、使用者、輸入、輸出和可能後果倒推指標與場景,區分分析性能、臨床關聯、工作流程表現和實際健康結局。總體平均值、單一準確率或內部排行榜不足以證明適用。應報告信賴區間、缺失和低品質數據處理、失敗模式、校準、閾值選擇,以及在不同機構、設備和重要人群中的表現與不確定性。

公平性不是要求所有群體得到相同數值,而是識別數據覆蓋、測量誤差、標籤偏差、存取條件和閾值如何造成不同傷害。群體劃分需要合理、合法且樣本足夠,同時避免為了評測無必要收集新的敏感屬性。發現差異時,應分析原因並採取補數、重標、重新設計、分層閾值、限制人群或停止用途等措施,而不能只刪除不利指標。

模型輸出用於健康教育、臨床決策、保險、就業或研究篩選時,風險等級不同。介面應說明輸出是估計、建議還是受監管的臨床結果,展示適用人群、輸入要求、版本、限制和人工覆核管道。高影響場景不能把「人在迴路」當作口號,應驗證人員有時間、能力、權限和資訊識別錯誤,並能覆蓋、糾正和報告問題。

部署、變更、權利與持續監測

上線前應鎖定訓練數據快照、程式碼、模型權重、特徵、相依項、閾值和配置,建立從輸入到輸出的版本追蹤。影子測試、分階段發布和回復不能繞過審批。持續學習或定期再訓練應預先定義可接受數據來源、納入排除規則、驗證方案、變更權限和發布門檻;使用者回饋不能未經篩選直接進入訓練集。

生產監測應觀察數據分布、缺失、設備變化、性能漂移、群體差異、異常查詢、隱私洩露和臨床或使用者投訴,並設定升級、停用與替代流程。標籤延遲時可使用過程指標,但不能把參與度或點擊率當成臨床安全的代理。模型更新後應保留舊版本和決定記錄,使具體輸出可被重現、調查和糾正。

個人存取、更正、反對或刪除請求需要與模型生命週期協調。組織應能定位相關原始記錄、標籤、特徵和線上日誌,糾正未來處理並評估已訓練模型的影響。並非每次刪除都能從模型權重中精確移除個體貢獻,但不能因此拒絕所有請求;應透明說明技術邊界,防止再次納入,並在高風險或大量請求時評估重訓、機器遺忘或停用。

交付物、整改與治理閉環

交付物通常包括系統與責任圖、數據和模型登記、來源與許可鏈、目的依據矩陣、數據字典、標註和分割審查、代表性與偏差分析、隱私威脅模型、供應鏈差距、評測報告、變更和監測方案、權利流程及整改計畫。每項結論應關聯可覆核證據,註明數據與模型版本、負責人、截止日期、驗收方法和殘餘風險。

整改應優先隔離無合法來源、用途不相容或洩漏的數據,修復患者串戶、測試集污染和高影響群體失效,再採取最小化、重標、補充數據、權限分離、隱私增強、閾值調整或用途限制。刪除幾行樣本或補寫同意書不能自動修復已形成的模型。覆測應從原始數據到部署輸出重跑關鍵鏈路,並驗證舊快取、檢查點和供應商副本的處置。

治理機構應由數據、隱私、安全、臨床或睡眠專業、品質、工程和受影響群體共同參與,並為上線、例外、變更和停用設定明確決策權。重大新數據源、基礎模型替換、目標人群擴展、用途變化、跨境處理、事件或規則更新均應觸發覆評。數據量、模型複雜度或一次高分不代表合規;持續可追溯、可質疑和可糾正才是治理成效。