糖尿病視網(wǎng)膜病變眼底圖像輔助診斷軟件注冊的算法研究資料應基于《人工智能醫(yī)療器械審查指導原則》第四章生存周期過程、第五章技術考量、第六章算法研究資料的所有相關要求提供算法研究報告或算法更新研究報告，以及人機交互研究資料，認為不適用的應詳述理由。在核心功能糖網(wǎng)二分類之外包括其他相關子功能的應分別提供資料，在能清晰區(qū)分的前提下，相同內(nèi)容宜合并，有接口關系的算法/功能應統(tǒng)籌提供資料。根據(jù)本產(chǎn)品特點需要細化之處如下。

1、算法基本信息

（1）糖網(wǎng)分類算法的輸入應明確支持的拍攝方式、拍攝范圍、相機型號，輸出應分別明確算法的輸出和自動生成的診斷結論；

（2）圖像質量判定算法應明確可識別的不良質量類型或程度，給出判定規(guī)則的依據(jù)，明確對于不同質量的圖像后續(xù)是否均進行分析，結果是否有其他使用限制。

（3）部署在云服務器的應說明服務器的物理位置（至少明確到省/直轄市）；

（4）軟件組件應描述與產(chǎn)品其他組成部分的功能接口和用戶接口。

2、算法需求規(guī)范

產(chǎn)品設計應充分考慮我國糖網(wǎng)相關診療指南、方案，跟蹤最新版本，如《我國糖尿病視網(wǎng)膜病變臨床診療指南（2014）》、《我國糖尿病視網(wǎng)膜病變篩查的圖像采集及閱片指南（2017）》、《糖尿病視網(wǎng)膜病變分級診療服務技術方案（2017）》等。

明確產(chǎn)品的使用場景、使用者、適用人群，如允許操作者不同于報告簽署人，應分別描述。

明確圖像質量控制的方式，即達到什么要求的圖像可供算法分析，尤其應描述算法在圖像質量不佳情形下的處理方法（如：不進行分析，或在給出分析結果時明確提示圖像質量不佳的負面影響）。明確圖像質控過程中使用者和算法（若有）的職責。

明確算法訓練數(shù)據(jù)集要求，明確預期采集各糖網(wǎng)分期樣本、陰性樣本、相似/相關的疾病/癥狀樣本的數(shù)量和分布要求，明確相機型號/種類、拍攝方式（散瞳、免散瞳）、拍攝范圍、分辨率的要求，以及人群分布（性別、年齡、地域、基礎疾病等）、醫(yī)院級別、醫(yī)院數(shù)量等要求。應納入一定量相似/相關的疾病/癥狀樣本，即與糖網(wǎng)癥狀類似或具有相關性疾病患者的圖像。

明確算法性能設計目標，應給出核心功能糖網(wǎng)二分類的敏感性、特異性，明確設定依據(jù)，應能夠滿足預期臨床使用需求，其他輔助功能參考《人工智能醫(yī)療器械注冊審查指導原則》的建議設定性能設計目標。

3、數(shù)據(jù)質控

（1）數(shù)據(jù)采集

應明確不同眼底相機的拍攝方式、拍攝范圍、采集過程的不同要求，詳述采集過程的人員管理、流程管理、質量評估要求。若使用歷史數(shù)據(jù)，至少應明確拍攝設備、拍攝方式、拍攝范圍，對其他要求開展差異分析，追溯數(shù)據(jù)的生成過程，論證采集和標注過程的科學性、規(guī)范性。

（2）數(shù)據(jù)整理

明確經(jīng)數(shù)據(jù)清洗棄用數(shù)據(jù)的原因和數(shù)量。數(shù)據(jù)預處理環(huán)節(jié)應采用典型圖片和流程圖說明處理過程和每一步處理的結果。原始數(shù)據(jù)庫的預處理過程若與產(chǎn)品中算法運行的預處理過程存在差異，應通過比較來說明。

（3）數(shù)據(jù)標注

建議列表給出標注、審核、仲裁人員的基本信息，如科室/專業(yè)、職稱、工作年限、所在機構、培訓考核情況、工作量，若有外國人員則需明確其資質要求。宜采用流程圖介紹單張圖片的標注、審核、仲裁過程。若標注較復雜宜采用典型圖片加流程圖說明每一步的標注內(nèi)容以及特殊情況處理，簡述全部圖片標注的管理過程、時間周期，特別是標注周期內(nèi)的質量評估。若用于不同功能做標注的數(shù)據(jù)集與數(shù)據(jù)量有所區(qū)別，應明確具體情況。

（4）數(shù)據(jù)集構建

對于標注前的基礎數(shù)據(jù)庫，標注后劃分的訓練集、調(diào)優(yōu)集、測試集，應給出樣本量和分布情況及其確定依據(jù)，以及集合劃分的方法、依據(jù)。應注意保證糖網(wǎng)I期、II期樣本的數(shù)量。樣本分布應主要考慮相機種類/型號、拍攝方式（散瞳與否）、拍攝范圍、合并相似/相關的疾病/癥狀等因素，兼顧人群分布（性別、年齡、地域、基礎疾病等）、來源醫(yī)院等因素。可進行數(shù)據(jù)擴增，應符合《人工智能醫(yī)療器械注冊審查指導原則》的要求。

4、算法驗證與確認

（1）算法性能評估

基于測試集提供假陰性與假陽性、重復性與再現(xiàn)性、魯棒性/健壯性等算法性能指標評估結果，以證明算法性能滿足設計目標。亦可基于第三方數(shù)據(jù)庫開展算法性能評估。

若有圖像質量判定模塊，應選擇合適的評價指標驗證圖像質量分級算法性能。

（2）算法性能影響因素分析

應進行算法性能影響因素分析以提升算法可解釋性，詳述影響算法性能的主要因素及其影響程度，基于分析結果明確產(chǎn)品使用限制和必要警示提示信息。

核心功能糖網(wǎng)二分類的主要性能影響因素包括但不限于相機種類/型號、拍攝方式（散瞳與否）、拍攝范圍、合并相似/相關的疾病/癥狀、圖像質量，還可能受人群分布（性別、年齡、地域、基礎疾病等）、來源醫(yī)院等因素一定影響。應針對不同因素分別建立子數(shù)據(jù)集進行測試，以了解這些因素的影響程度。對于其他功能模塊，應基于產(chǎn)品特征初步分析識別可能對性能產(chǎn)生影響的因素后進行分析。

對于某一影響因素，可建立多個包含單一因素的子集和一個包含所有子集的合集（必要時）分別進行性能測試，統(tǒng)計分析各集合性能差異，評價影響程度。對于預期對性能有顯著影響且存在相互關聯(lián)的不同影響因素，也可建立包含多因素的子集進行分析，如有A、B兩個因素，每個因素有2種情況，可形成分別僅包含A1B1、A1B2、A2B1、A2B2因素的4個子集。其中，處于分界點處的糖網(wǎng)I期、II期分類的準確性對產(chǎn)品性能起關鍵影響，應單獨建立測試集驗證。各集合應保證具有足夠的樣本量，性能評估結果應給出中心值和95%置信區(qū)間。各子集宜以產(chǎn)品研發(fā)時標注數(shù)據(jù)庫中的測試集為主，當某一待評價因素的樣本量較少或沒有時（如測試集只包括A型、B型眼底相機的圖像，從其他數(shù)據(jù)集納入C型相機的圖像），可補充其他數(shù)據(jù)集的樣本，如臨床試驗、真實世界數(shù)據(jù)、第三方測試等的樣本，但合并在一個子集的數(shù)據(jù)其標注規(guī)則應基本一致。簡述各子集的構建情況，如數(shù)據(jù)來源、標注過程、標準規(guī)則、樣本分布等。

（3）算法性能綜合評價

按照《人工智能醫(yī)療器械注冊審查指導原則》開展算法性能比較分析和算法性能綜合評價。自建測試數(shù)據(jù)集測試、臨床試驗、真實世界數(shù)據(jù)測試、第三方數(shù)據(jù)庫測試、壓力測試、對抗測試等均可視為算法性能評估場景。應分別簡介各數(shù)據(jù)集的構建情況，如數(shù)據(jù)來源、標注過程、標注規(guī)則、樣本分布（至少應體現(xiàn)相機型號、拍攝方式、拍攝范圍、相似/相關疾病/癥狀的情況）等，列表給出主要性能評價指標，結合數(shù)據(jù)集構建和性能評價結果對產(chǎn)品性能綜合評價。針對訓練樣本量和測試樣本量過少、測試結果明顯低于算法設計目標、算法性能變異度過大等情況，對產(chǎn)品的適用范圍、使用場景、核心功能在產(chǎn)品適用范圍、產(chǎn)品技術要求、說明書、產(chǎn)品界面等處明確使用限制；針對其他對算法性能影響較小的因素，給出必要的提示信息。

5、人機交互研究資料

本產(chǎn)品核心功能單一，結果明確，但使用場景局限，不僅不能替代醫(yī)生，更需要操作者充分了解產(chǎn)品的特點、使用限制和注意事項。應制定操作者培訓和考核方案，并驗證方案的可行性。

軟件生成的報告應可修改，由具有糖網(wǎng)診療資質的執(zhí)業(yè)醫(yī)師簽字確認后生效，上述醫(yī)生應已具備基于眼底照片進行糖網(wǎng)分期診斷及易混淆病癥辨析的能力，經(jīng)過產(chǎn)品培訓，還應具有以下能力：1.能夠判定拍攝范圍和拍攝質量能否達到申報產(chǎn)品處理要求；2.結合軟件給出結果，根據(jù)自己的判斷對自動生產(chǎn)報告進行修改或重新拍攝、分析；3.了解算法的限制和注意事項，結合患者臨床情況做出綜合判斷，給予患者必要的口頭醫(yī)囑和/或在報告上附加信息。注意，某些產(chǎn)品雖然具有圖像質量判斷模塊，但由于軟件驗證無法窮舉所有圖像質量不合格情況，仍需由醫(yī)生對圖像質量做最終判斷。

培訓方案應包括但不限于：軟件基本操作、圖像質量判定、軟件的使用限制和注意事項。培訓考核應納入適當?shù)尼t(yī)生數(shù)量和測試樣本數(shù)量，評價點除糖網(wǎng)分期診斷，還應包括上述能力。參加考核的醫(yī)生應與預期使用產(chǎn)品的醫(yī)生在培訓前具有等同能力，以驗證培訓方案的可行性。