本指導(dǎo)原則是對(duì)肺結(jié)節(jié)CT圖像輔助檢測(cè)軟件的一般要求，申請(qǐng)人應(yīng)依據(jù)產(chǎn)品的具體特性確定其中的內(nèi)容是否適用。若不適用，需具體闡述其理由及相應(yīng)的科學(xué)依據(jù)，并依據(jù)具體的產(chǎn)品特性對(duì)注冊(cè)申報(bào)資料的內(nèi)容進(jìn)行充實(shí)和細(xì)化。
本指導(dǎo)原則是供注冊(cè)申請(qǐng)人和技術(shù)審評(píng)人員使用的指導(dǎo)性文件，但不包括注冊(cè)審批所涉及的行政事項(xiàng)，亦不作為法規(guī)強(qiáng)制執(zhí)行，應(yīng)在遵循相關(guān)法規(guī)的前提下使用本指導(dǎo)原則。如果有能夠滿足相關(guān)法規(guī)要求的其他方法，也可以采用，但是需要提供詳細(xì)的研究資料和驗(yàn)證資料。
本指導(dǎo)原則是在現(xiàn)行法規(guī)和標(biāo)準(zhǔn)體系以及當(dāng)前認(rèn)知水平下制定的，隨著法規(guī)和標(biāo)準(zhǔn)的不斷完善，以及科學(xué)技術(shù)的不斷發(fā)展，相關(guān)內(nèi)容也將適時(shí)進(jìn)行調(diào)整。
本指導(dǎo)原則是人工智能醫(yī)療器械指導(dǎo)原則體系的重要組成部分，基于人工智能醫(yī)療器械審評(píng)指導(dǎo)原則的通用要求，明確了肺結(jié)節(jié)CT圖像輔助檢測(cè)軟件的具體要求。
本指導(dǎo)原則適用于肺結(jié)節(jié)CT圖像輔助檢測(cè)軟件的產(chǎn)品注冊(cè)。按現(xiàn)行《醫(yī)療器械分類目錄》，該類產(chǎn)品分類編碼為21-04-02，管理類別為三類。設(shè)備中所含肺結(jié)節(jié)CT圖像輔助檢測(cè)功能也適用于本指導(dǎo)原則。采用非人工智能算法的肺結(jié)節(jié)CT圖像輔助檢測(cè)軟件可參照本指導(dǎo)原則執(zhí)行。
（一）監(jiān)管信息
明確申請(qǐng)表中產(chǎn)品名稱、管理類別、分類編碼、型號(hào)規(guī)格、產(chǎn)品組成等信息。
1.產(chǎn)品名稱
產(chǎn)品命名需符合《醫(yī)療器械通用名稱命名規(guī)則》的要求。根據(jù)產(chǎn)品預(yù)期用途可采用肺結(jié)節(jié)CT圖像輔助檢測(cè)軟件進(jìn)行命名。
2.分類編碼
依據(jù)《醫(yī)療器械分類目錄》，申報(bào)產(chǎn)品分類編碼為21-04-02。按第三類醫(yī)療器械管理。
（二）綜述資料
1. 產(chǎn)品描述
1.1器械及操作原理描述
1.1.1工作原理
需詳述產(chǎn)品的工作原理，例如：基于深度學(xué)習(xí)技術(shù)對(duì)醫(yī)學(xué)影像進(jìn)行分析處理、對(duì)肺結(jié)節(jié)進(jìn)行分割、檢測(cè)、自動(dòng)識(shí)別等。
1.1.2結(jié)構(gòu)組成
結(jié)構(gòu)組成明確交付內(nèi)容和功能模塊，其中交付內(nèi)容包括軟件安裝程序、授權(quán)文件、外部軟件環(huán)境安裝程序等軟件程序文件，功能模塊包括客戶端、服務(wù)器端（若適用）、云端（若適用），若適用注明選裝、模塊版本。基于人工智能算法（如深度學(xué)習(xí)）的功能模塊，需在模塊名稱中予以注明，如深度學(xué)習(xí)。
1.1.3產(chǎn)品描述
需明確臨床工作流程，工作流程中使用申報(bào)產(chǎn)品的時(shí)間（如在醫(yī)生閱片前使用）。
肺結(jié)節(jié)檢測(cè)當(dāng)前的臨床實(shí)踐（基于參考文獻(xiàn)）。
結(jié)合用戶界面圖示詳細(xì)介紹技術(shù)要求中對(duì)應(yīng)的臨床功能、量化分析的具體內(nèi)容、自動(dòng)操作、手動(dòng)及半自動(dòng)操作/預(yù)定義的默認(rèn)設(shè)置。需明確軟件輸出報(bào)告、特殊聲稱（如用于檢測(cè)小于4mm結(jié)節(jié)）、服務(wù)器部署（局域網(wǎng)、云端）、產(chǎn)品接口和聯(lián)合使用設(shè)備等信息。
1.2 型號(hào)規(guī)格
需明確申報(bào)產(chǎn)品的型號(hào)規(guī)格及發(fā)布版本。產(chǎn)品型號(hào)規(guī)格及其劃分，如同一個(gè)注冊(cè)單元包含多個(gè)型號(hào)規(guī)格，需提供產(chǎn)品型號(hào)規(guī)格區(qū)分列表或配置表。
1.3研發(fā)歷程
闡述申請(qǐng)注冊(cè)產(chǎn)品的研發(fā)背景和目的。如有參考的同類產(chǎn)品或前代產(chǎn)品，需提供同類產(chǎn)品或前代產(chǎn)品的信息，并說(shuō)明選擇其作為研發(fā)參考的原因。
1.4與同類和/或前代產(chǎn)品的參考和比較
同一制造商生產(chǎn)的改良器械，建議直接和本公司已獲批準(zhǔn)的器械的算法性能進(jìn)行比較（即，使用相同的評(píng)估過(guò)程和測(cè)試數(shù)據(jù)集比較性能）。
2.適用范圍和禁忌證
（1）適用范圍
適用范圍需明確處理對(duì)象、核心功能、適用人群、目標(biāo)用戶、臨床用途。
例如，用于胸部CT圖像的顯示、處理、測(cè)量和分析，可對(duì)4mm及以上肺結(jié)節(jié)進(jìn)行自動(dòng)識(shí)別并分析結(jié)節(jié)影像學(xué)特征，供經(jīng)培訓(xùn)合格的醫(yī)師使用，不能單獨(dú)用作臨床診療決策依據(jù)。
（2）預(yù)期使用環(huán)境
需明確設(shè)備使用場(chǎng)所和使用環(huán)境要求。
設(shè)備使用場(chǎng)所包括：醫(yī)療機(jī)構(gòu)機(jī)房等。
使用環(huán)境要求需至少包括：推薦的硬件使用的適宜溫度、濕度、大氣壓、光照條件。
（3）適用人群
需詳述產(chǎn)品的適用人群、感興趣器官/疾病/病灶/異常、以及預(yù)期使用該產(chǎn)品的目標(biāo)用戶。如，可供18歲及以上門(mén)診及體檢人群使用，供經(jīng)培訓(xùn)合格的放射科醫(yī)師、?？漆t(yī)師使用。
（4）禁忌證
需明確產(chǎn)品臨床應(yīng)用的禁忌證以及器械限制，包括導(dǎo)致器械無(wú)效且不應(yīng)使用的疾病、病癥、異常。
（三）非臨床資料
1.產(chǎn)品風(fēng)險(xiǎn)管理資料
依據(jù)YY/T 0316《醫(yī)療器械風(fēng)險(xiǎn)管理對(duì)醫(yī)療器械的應(yīng)用》，提供產(chǎn)品風(fēng)險(xiǎn)管理報(bào)告。
申請(qǐng)人需重點(diǎn)說(shuō)明：申報(bào)產(chǎn)品的研制階段已對(duì)有關(guān)可能的危害及產(chǎn)生的風(fēng)險(xiǎn)進(jìn)行了估計(jì)和評(píng)價(jià)，針對(duì)性地實(shí)施了降低風(fēng)險(xiǎn)的技術(shù)和管理方面的措施。產(chǎn)品性能測(cè)試對(duì)上述措施的有效性進(jìn)行了驗(yàn)證，達(dá)到了通用和專用標(biāo)準(zhǔn)的要求。申請(qǐng)人對(duì)所有剩余風(fēng)險(xiǎn)進(jìn)行了評(píng)價(jià)，全部達(dá)到可接受的水平。產(chǎn)品風(fēng)險(xiǎn)分析資料需為申請(qǐng)人關(guān)于產(chǎn)品安全性的承諾提供支持。
風(fēng)險(xiǎn)管理報(bào)告一般包括以下內(nèi)容：
（1）申報(bào)產(chǎn)品的風(fēng)險(xiǎn)管理組織。
（2）申報(bào)產(chǎn)品的組成。
（3）申報(bào)產(chǎn)品符合的安全標(biāo)準(zhǔn)。
（4）申報(bào)產(chǎn)品的預(yù)期用途，與安全性有關(guān)的特征的判定。
（5）對(duì)申報(bào)產(chǎn)品的可能危害作出判定（見(jiàn)附件1）。
（6）對(duì)所判定的危害采取的降低風(fēng)險(xiǎn)的控制措施。
（7）對(duì)采取控制措施后的剩余風(fēng)險(xiǎn)進(jìn)行估計(jì)和評(píng)價(jià)。
2.產(chǎn)品技術(shù)要求及檢驗(yàn)報(bào)告
2.1產(chǎn)品技術(shù)要求
依據(jù)《醫(yī)療器械產(chǎn)品技術(shù)要求編寫(xiě)指導(dǎo)原則》進(jìn)行編制。
2.1.1規(guī)格信息
明確軟件發(fā)布版本和版本命名規(guī)則。軟件版本命名規(guī)則原則上需涵蓋算法驅(qū)動(dòng)型更新和數(shù)據(jù)驅(qū)動(dòng)型更新，明確并區(qū)分重大軟件更新和輕微軟件更新，其中重大軟件更新列舉常見(jiàn)典型情況。
明確不同型號(hào)間產(chǎn)品差異。
2.1.2性能指標(biāo)
明確產(chǎn)品處理對(duì)象，以及數(shù)據(jù)接口信息，包括成像模態(tài)（如計(jì)算機(jī)體層攝影）和特定軟硬件名稱及型號(hào)（如適用）。
明確軟件功能及指標(biāo)，如輸入圖像的質(zhì)量要求、結(jié)節(jié)檢出、結(jié)節(jié)密度分類類別（如實(shí)性、亞實(shí)性的手動(dòng)分類等）、結(jié)節(jié)位置（如肺葉、肺段、肺結(jié)節(jié)CT圖像層面、肺內(nèi)、胸膜）、結(jié)節(jié)標(biāo)記方式（緊密包裹結(jié)節(jié)的邊界框、不緊密包裹結(jié)節(jié)的邊界框）、分割方式（自動(dòng)分割、半自動(dòng)分割、手動(dòng)分割）、測(cè)量功能（如體積、最大軸向平面最長(zhǎng)直徑、短徑、平均直徑、最大三維直徑、有效直徑、平均密度、面積等）、隨訪評(píng)估功能（如倍增時(shí)間、數(shù)值參數(shù)的百分比(%)和**變化、結(jié)節(jié)長(zhǎng)軸、短軸、平均直徑、最大三維直徑、有效直徑、體積、平均密度等）、客觀物理測(cè)量準(zhǔn)確性（如線性度、精度、重復(fù)性、再現(xiàn)性、范圍限值、顯示誤差等）、結(jié)節(jié)的3D或MIP可視化等。
使用限制明確應(yīng)用場(chǎng)景（體檢、門(mén)診病房）、患者（年齡、地域、疾病類型）、CT設(shè)備（主流廠家、探測(cè)器排數(shù)）、CT掃描參數(shù)(如管電壓、管電流、層厚/層間距、劑量（常規(guī)劑量、低劑量）、窗寬窗位、重建方式、顯示方式)、放射學(xué)檢查條件(CT增強(qiáng)掃描、CT平掃)、CT圖像質(zhì)量要求(如分辨率、偽影)、結(jié)節(jié)檢出的尺寸范圍、結(jié)節(jié)密度分類類別。如軟件包含圖像質(zhì)量判定功能，明確軟件使用限制。
若含有基于測(cè)評(píng)數(shù)據(jù)庫(kù)測(cè)試的性能指標(biāo)，其要求參考《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》。
運(yùn)行環(huán)境，運(yùn)行在不同計(jì)算機(jī)系統(tǒng)的產(chǎn)品模塊（如客戶端和云端）需分別描述其運(yùn)行環(huán)境、服務(wù)器部署（局域網(wǎng)、云端）信息。
附錄中明確體系結(jié)構(gòu)圖、用戶界面關(guān)系圖與主界面圖示、物理拓?fù)鋱D、測(cè)評(píng)數(shù)據(jù)庫(kù)、數(shù)據(jù)庫(kù)/集信息。
3.軟件研究
（1）基本要求
生產(chǎn)企業(yè)需依據(jù)《醫(yī)療器械軟件注冊(cè)審查指導(dǎo)原則（2022年修訂版）》提交相應(yīng)軟件研究資料。其中，核心算法所述人工智能算法需依據(jù) 《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》提交相應(yīng)算法研究資料。
生產(chǎn)企業(yè)需依據(jù)《醫(yī)療器械網(wǎng)絡(luò)安全注冊(cè)審查指導(dǎo)原則（2022年修訂版）》提交網(wǎng)絡(luò)安全描述文檔。按照《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》提交數(shù)據(jù)安全資料。
若使用云計(jì)算服務(wù)，生產(chǎn)企業(yè)需依據(jù)《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》提交相應(yīng)研究資料。使用云計(jì)算服務(wù)需明確服務(wù)模式、部署模式、核心功能、數(shù)據(jù)接口、網(wǎng)絡(luò)安全能力、服務(wù)（質(zhì)量）協(xié)議等要求。
軟件版本命名規(guī)則涵蓋算法驅(qū)動(dòng)型軟件更新和數(shù)據(jù)驅(qū)動(dòng)型軟件更新；區(qū)分重大軟件更新和輕微軟件更新，其中重大軟件更新需列舉常見(jiàn)典型情況。
（2）軟件安全級(jí)別
該類產(chǎn)品的軟件安全性級(jí)別為嚴(yán)重（C）級(jí)。
（3）核心功能
列明軟件核心功能的名稱、所用核心算法、預(yù)期用途并注明類型，全新的核心功能、核心算法、預(yù)期用途均需提供安全有效性研究資料。
表1 核心功能示例
| 核心功能 | 核心算法 | 預(yù)期用途 | 類型 |
| 影像增強(qiáng)，用于增強(qiáng)影像對(duì)比度，提升算法精度 | 灰度拉伸圖像增強(qiáng)算法 | 肺葉分割及肺結(jié)節(jié)檢測(cè) | 成熟 |
| 以預(yù)測(cè)概率對(duì)檢測(cè)框進(jìn)行優(yōu)先級(jí)排序，消除冗余檢測(cè)框，抑制假陽(yáng)性檢出 | NMS非極大值抑制 | 輔助醫(yī)生進(jìn)行肺結(jié)節(jié)檢測(cè) | 成熟 |
| 生成候選結(jié)節(jié)框 | 基于Faster-Rcnn的肺結(jié)節(jié)檢出算法 | 輔助醫(yī)生進(jìn)行肺結(jié)節(jié)檢測(cè) | 全新 |
| 醫(yī)生檢測(cè)肺結(jié)節(jié) | 基于FPN的肺結(jié)節(jié)檢出算法 | 輔助醫(yī)生進(jìn)行肺小結(jié)節(jié)檢測(cè) | 全新 |
| 利用ResNet產(chǎn)生的熱度圖裁剪出感興趣區(qū)域，然后將區(qū)域分類為結(jié)節(jié)和非結(jié)節(jié)，以實(shí)現(xiàn)結(jié)節(jié)檢測(cè) | 基于ResNet的肺結(jié)節(jié)檢出算法 | 輔助醫(yī)生進(jìn)行肺結(jié)節(jié)檢測(cè) | 全新 |
| 利用灰度閾值提取肺部區(qū)域 | 基于自適應(yīng)閾值的肺分割算法 | 分割出左右肺，幫助進(jìn)一步檢出肺結(jié)節(jié) | 成熟 |
| 測(cè)量肺結(jié)節(jié)體積，長(zhǎng)短徑 | 基于3D-UNet的肺結(jié)節(jié)分割算法 | 輔助醫(yī)生對(duì)肺結(jié)節(jié)進(jìn)行分割 | 全新 |
| 基于肺結(jié)節(jié)分割，測(cè)量肺結(jié)節(jié)平均HU值 | 基于HU值的肺結(jié)節(jié)密度測(cè)量算法 | 輔助醫(yī)生測(cè)量肺結(jié)節(jié)內(nèi)部HU值 | 成熟 |
| …… |
注：表1中全新是對(duì)當(dāng)前深度學(xué)習(xí)算法的全新算法的示例
4.算法研究資料
4.1算法基本信息
需提供算法設(shè)計(jì)和功能的信息，提供流程圖及注釋，明確算法名稱、版本、軟件平臺(tái)的相關(guān)特性。
需描述算法每個(gè)階段（如肺結(jié)節(jié)檢出、肺結(jié)節(jié)分類、肺結(jié)節(jié)分割、肺結(jié)節(jié)測(cè)量）的設(shè)計(jì)和功能，通過(guò)文獻(xiàn)論述算法類型（成熟及全新）。
4.1.1肺結(jié)節(jié)檢出算法
肺結(jié)節(jié)檢出算法需明確算法的輸入，比如算法采用的是2D，2.5D還是3D的胸部CT圖像作為算法輸入；算法的輸出-標(biāo)記格式描述（形狀、大小、與感興趣區(qū)域有關(guān)的預(yù)期位置、邊界、顏色，比如緊密包裹肺結(jié)節(jié)的矩形框端點(diǎn)（二維/三維），肺結(jié)節(jié)中心點(diǎn)）。
明確算法所采用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如 Faster RCNN；明確算法訓(xùn)練采用的損失函數(shù)，如交叉熵，L1范數(shù)；明確算法設(shè)計(jì)過(guò)程中網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)等核心組件選擇和設(shè)計(jì)的原則、方法與風(fēng)險(xiǎn)考量，如肺結(jié)節(jié)大小尺度的差異，肺結(jié)節(jié)與背景正負(fù)樣本的不均衡性、假陽(yáng)性、過(guò)擬合等；若肺結(jié)節(jié)檢出采用多個(gè)模型融合，需明確不同模型訓(xùn)練與推理的方式，以及模型融合的策略，如級(jí)聯(lián)，多數(shù)投票；
肺結(jié)節(jié)檢出存在同一個(gè)目標(biāo)多個(gè)重疊框的問(wèn)題，算法需明確匹配關(guān)系所采用的策略，如交并比（IoU），定位框中心距離；
明確算法的流程圖，需包含算法運(yùn)行前所進(jìn)行的前處理（圖像縮放、圖像像素值歸一化、圖像重采樣）以及算法運(yùn)行后所進(jìn)行的后處理操作（圖像重采樣、非最大化抑制）。明確訓(xùn)練與部署所采用的框架（如Tensorflow, Pytorch）、算法運(yùn)行環(huán)境（如內(nèi)存、顯存的需求）。
若使用遷移學(xué)習(xí)技術(shù)，除上述內(nèi)容外還需補(bǔ)充預(yù)訓(xùn)練模型的數(shù)據(jù)集構(gòu)建、算法測(cè)試等資料。
4.1.2肺結(jié)節(jié)密度分類算法
肺結(jié)節(jié)密度分類算法需明確輸出（密度類別），密度類別制定依據(jù)以及臨床適用性。
肺結(jié)節(jié)密度分類算法需明確算法的輸入，比如算法采用的是2D，2.5D還是3D的圖像作為算法的輸入。若采用2D，需明確肺結(jié)節(jié)選取的圖像層面，如中心層面，最大面積層面；明確算法所采用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如Residual Net，Dense-Net；明確算法訓(xùn)練采用的損失函數(shù)，如交叉熵，F(xiàn)ocal損失函數(shù)；損失函數(shù)等核心組件選擇和設(shè)計(jì)的原則、方法與風(fēng)險(xiǎn)考量，如肺結(jié)節(jié)大小尺度的差異，不同類別肺結(jié)節(jié)樣本的不均衡性、過(guò)擬合等；若肺結(jié)節(jié)分類采用多個(gè)模型融合，需明確不同模型訓(xùn)練與推理的方式，以及模型融合的策略，如多數(shù)投票；最后，明確算法的流程圖，訓(xùn)練與部署所采用的框架（如Tensorflow, Pytorch）、算法運(yùn)行環(huán)境（如內(nèi)存、顯存的需求）。
4.1.3肺結(jié)節(jié)測(cè)量算法
針對(duì)肺結(jié)節(jié)測(cè)量算法，明確測(cè)量原理（基于像素點(diǎn)數(shù)），測(cè)量實(shí)現(xiàn)的方式，如肺結(jié)節(jié)體積測(cè)量算法、密度值測(cè)量算法與長(zhǎng)徑短徑測(cè)量算法可以通過(guò)肺結(jié)節(jié)分割技術(shù)來(lái)實(shí)現(xiàn)，也可以通過(guò)機(jī)器學(xué)習(xí)中的回歸方法來(lái)進(jìn)行預(yù)測(cè)。測(cè)量?jī)?nèi)容包括長(zhǎng)徑、短徑、體積、面積、平均HU值等，其中密度值測(cè)量算法需明確測(cè)量的類型，如平均值，標(biāo)準(zhǔn)差，最大值，最小值，中位數(shù)。
4.1.4肺結(jié)節(jié)肺葉肺段定位算法
肺結(jié)節(jié)肺葉肺段定位算法中，明確肺結(jié)節(jié)定位的類別，如左/右肺定位、肺葉定位、肺段定位。明確算法輸入的類型，如肺結(jié)節(jié)二維切片，肺結(jié)節(jié)三維圖像塊，若輸入類型為二維切片，明確二維切片選取標(biāo)準(zhǔn)（如肺結(jié)節(jié)長(zhǎng)徑短徑交點(diǎn)所在切片、肺結(jié)節(jié)最大面積切片）。
肺結(jié)節(jié)肺葉肺段定位算法需明確實(shí)現(xiàn)的機(jī)理，如基于肺段分割算法實(shí)現(xiàn)解剖定位，基于圖像分類算法實(shí)現(xiàn)解剖定位。
若申報(bào)產(chǎn)品涉及上述多個(gè)算法，需提供算法整體流程圖，明確各個(gè)算法調(diào)用先后關(guān)系，以及輸入輸出依賴關(guān)系。
若使用遷移學(xué)習(xí)技術(shù)，除上述內(nèi)容外還需補(bǔ)充預(yù)訓(xùn)練模型的數(shù)據(jù)集構(gòu)建、算法測(cè)試等資料。
4.2算法需求規(guī)范
算法功能需求建議關(guān)注數(shù)據(jù)庫(kù)需求、算法性能評(píng)價(jià)指標(biāo)及制定依據(jù)、性能的擬定目標(biāo)及制定依據(jù)。
4.2.1數(shù)據(jù)庫(kù)需求
算法性能評(píng)價(jià)需要基于訓(xùn)練和測(cè)試數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)具體要求詳見(jiàn)附件2。
4.2.2算法性能評(píng)價(jià)指標(biāo)
在指定肺結(jié)節(jié)檢出算法評(píng)估指標(biāo)之前，需確定器械標(biāo)記的位置和范圍和參考標(biāo)準(zhǔn)之間的匹配性，需明確標(biāo)記匹配的方式，即算法標(biāo)記目標(biāo)與參考標(biāo)準(zhǔn)目標(biāo)的匹配方式，常見(jiàn)的標(biāo)記匹配方式有按照區(qū)域重疊的比例（面積、體積）、中心點(diǎn)的距離、中心是否落入來(lái)判斷標(biāo)記是否匹配；還需明確聲稱的標(biāo)記匹配的閾值。
明確算法任務(wù)，明確算法訓(xùn)練和調(diào)優(yōu)過(guò)程中不同任務(wù)的評(píng)估指標(biāo)及定義。有關(guān)標(biāo)記匹配方式與評(píng)估指標(biāo)的定義可以參考“人工智能醫(yī)療器械 肺部影像輔助分析軟件算法性能測(cè)試方法”5.1.1.1章節(jié)。明確不同任務(wù)的算法評(píng)價(jià)指標(biāo)的定義、計(jì)算公式及確定依據(jù)、分層影響因素選擇依據(jù)，如肺結(jié)節(jié)診療中國(guó)專家共識(shí)、美國(guó)國(guó)立綜合癌癥網(wǎng)絡(luò)NCCN指南、 Fleischner協(xié)會(huì)指南、中華醫(yī)學(xué)會(huì)肺癌臨床診療指南等。
結(jié)節(jié)檢出指標(biāo)包括不限于召回率、精確度、自由響應(yīng)受試者操作特性曲線（FROC）。
結(jié)節(jié)分類指標(biāo)包括不限于靈敏度、特異度、總體的Kappa系數(shù)、準(zhǔn)確率。
結(jié)節(jié)分割指標(biāo)包括不限于Dice系數(shù)、體積交并比、Hausdorff距離。
測(cè)量指標(biāo)包括不限于相對(duì)誤差、**誤差、相對(duì)誤差**值的平均值。
提供文獻(xiàn)綜述論證評(píng)價(jià)指標(biāo)選擇及分層影響因素選擇的合理性。分層分析的影響因素包括年齡、病變類型、大小、層厚、采集協(xié)議、性別、結(jié)節(jié)大小、結(jié)節(jié)密度、廠家、重建核、劑量、管電壓、管電流等重要變量。
算法質(zhì)量特性包括泛化能力、魯棒性（對(duì)抗測(cè)試）、壓力測(cè)試、重復(fù)性、一致性、效率。
隨訪評(píng)估功能包括倍增時(shí)間、數(shù)值參數(shù)的百分比(%)和**變化，如結(jié)節(jié)長(zhǎng)軸、短軸、平均直徑、最大三維直徑、有效直徑、體積、平均HU等。
4.2.3算法性能測(cè)試基本要求
基于算法流程圖評(píng)價(jià)每個(gè)器械操作點(diǎn)的基于病例、基于肺結(jié)節(jié)、基于分層因素的性能指標(biāo)，需包括訓(xùn)練集、調(diào)優(yōu)集、測(cè)試集的算法性能測(cè)試結(jié)果，需明確測(cè)試方法。所有性能指標(biāo)均需具有相關(guān)置信區(qū)間，需提供關(guān)于估計(jì)置信區(qū)間以及與其相關(guān)的臨床顯著性的方法學(xué)描述，需提供FROC曲線圖及FROC置信區(qū)間（如適用）。
4.2.3.1結(jié)節(jié)檢出
需給出軟件檢出肺結(jié)節(jié)的召回率和精確度的閾值。測(cè)試產(chǎn)品定位準(zhǔn)確程度時(shí)，只有真陽(yáng)性檢出的結(jié)節(jié)，且位置正確的標(biāo)記才能算作正確標(biāo)記。
召回率和精確度的計(jì)算一般針對(duì)全體結(jié)節(jié)進(jìn)行。在設(shè)置篩選條件后，可以使用篩選后的參考標(biāo)準(zhǔn)與篩選后的AI結(jié)果進(jìn)行匹配。如篩選后假陽(yáng)性結(jié)果難以定義，建議以召回率為主要指標(biāo)，常見(jiàn)情形為：
-對(duì)具體某一種結(jié)節(jié)類型，計(jì)算結(jié)節(jié)的召回率。
-對(duì)平均直徑、長(zhǎng)徑處于某一區(qū)間的結(jié)節(jié)，計(jì)算召回率
-對(duì)類型、尺寸范圍組合的結(jié)節(jié)，計(jì)算召回率。
4.2.3.2結(jié)節(jié)分類
明確分類場(chǎng)景，如二分類場(chǎng)景、多分類場(chǎng)景。對(duì)于二分類場(chǎng)景下的指標(biāo)，如軟件能夠?qū)類型的肺結(jié)節(jié)進(jìn)行分類，需給出準(zhǔn)確率、靈敏度、特異性的閾值?？傮w的Kappa系數(shù)不低于N%；多分類問(wèn)題可以轉(zhuǎn)化為二分類問(wèn)題，按每一類進(jìn)行描述。
4.2.3.3結(jié)節(jié)分割
如果產(chǎn)品在三維上進(jìn)行結(jié)節(jié)分割，需給出算法可以達(dá)到的體積交并比或者DICE系數(shù)的閾值。如果產(chǎn)品只輸出最大層面的分割，則需給出算法可以達(dá)到的最大層面面積交并比或者DICE系數(shù)的閾值。測(cè)試集數(shù)據(jù)的平均交并比或者DICE系數(shù)的95%置信區(qū)間應(yīng)大于等于該閾值。
4.2.3.4結(jié)節(jié)測(cè)量
需明確測(cè)量?jī)?nèi)容，如體積、密度、尺寸測(cè)量；需明確各測(cè)量?jī)?nèi)容的測(cè)量誤差。對(duì)于尺寸測(cè)量長(zhǎng)徑小于等于10mm需增加平均直徑允差，大于10mm需增加短徑允差。
4.2.3.5結(jié)節(jié)肺葉肺段定位
結(jié)節(jié)肺葉肺段定位需明確定位的具體功能（如采用邊緣勾畫(huà)方法展示肺葉肺段分割結(jié)果、僅采用文字描述結(jié)節(jié)所處肺葉肺段），肺葉、肺段標(biāo)記標(biāo)簽分布（如左肺上葉尖后段、左肺上葉前段、右肺中葉外段……）、基于不同功能確定測(cè)試指標(biāo)（如結(jié)節(jié)所處左右肺準(zhǔn)確性、肺葉準(zhǔn)確性、肺段準(zhǔn)確性、肺葉肺段分割的DICE系數(shù)或其他合理指標(biāo)）及測(cè)試指標(biāo)的計(jì)算方法、參考標(biāo)準(zhǔn)建立的方法、測(cè)試流程。
測(cè)試產(chǎn)品定位準(zhǔn)確程度時(shí)，只有真陽(yáng)性檢出的結(jié)節(jié)，且位置正確的標(biāo)記才能算作正確標(biāo)記。
4.2.4樣本量
明確樣本量估計(jì)的公式、參數(shù)及制定依據(jù)。研究樣本應(yīng)足夠大，以使聲稱的性能具有統(tǒng)計(jì)學(xué)顯著性，若有分層性能的聲稱，應(yīng)確定子集的樣本量以檢測(cè)聲稱的統(tǒng)計(jì)學(xué)顯著性。
4.2.5測(cè)試方法
需明確測(cè)試方法及制定依據(jù)。
4.3數(shù)據(jù)質(zhì)控
建議參考“人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則”及“人工智能醫(yī)療器械質(zhì)量要求和評(píng)價(jià) 第2部分：數(shù)據(jù)集通用要求”。
4.3.1數(shù)據(jù)采集
需提供數(shù)據(jù)采集協(xié)議，需要考慮明確偏倚控制的方法，如通過(guò)各亞組設(shè)置進(jìn)行偏移控制，不應(yīng)為提高算法結(jié)果刻意篩選數(shù)據(jù)。采集數(shù)據(jù)的地區(qū)分布需覆蓋東西南北中地區(qū)。
明確數(shù)據(jù)庫(kù)信息（要求詳見(jiàn)附件2）
4.3.2數(shù)據(jù)整理
明確數(shù)據(jù)轉(zhuǎn)移保存的方法。明確數(shù)據(jù)納入排除標(biāo)準(zhǔn)，以及進(jìn)行數(shù)據(jù)篩選的方法（人工清洗、自動(dòng)清洗），提供數(shù)據(jù)整理軟件工具的研究資料。
提供數(shù)據(jù)清洗流程圖，明確清洗規(guī)則，例如確定數(shù)據(jù)合規(guī)性、圖像唯一性、層厚、層間距等信息滿足要求、連續(xù)性、完整性、已完成脫敏等并加以篩選。清洗結(jié)果明確棄用數(shù)據(jù)的數(shù)量和原因。明確預(yù)處理的操作步驟和內(nèi)容。
4.3.3數(shù)據(jù)標(biāo)注
數(shù)據(jù)標(biāo)注建議參考“人工智能醫(yī)療器械質(zhì)量要求和評(píng)價(jià) 第3部分：數(shù)據(jù)標(biāo)注通用要求”。
需明確標(biāo)注任務(wù)分類（包括數(shù)據(jù)模態(tài)、執(zhí)行主體、標(biāo)注結(jié)果格式、標(biāo)注結(jié)果性質(zhì)、標(biāo)注結(jié)果形式等維度），提供標(biāo)注任務(wù)描述文檔（標(biāo)注規(guī)則、標(biāo)注人員、標(biāo)注工具、標(biāo)注環(huán)境、數(shù)據(jù)）。其中標(biāo)注規(guī)則需明確制定依據(jù)并提供參考文獻(xiàn)。標(biāo)注內(nèi)容宜包括結(jié)節(jié)檢出、結(jié)節(jié)位置（肺葉、肺段、結(jié)節(jié)層面）、結(jié)節(jié)大小、結(jié)節(jié)密度、角度等。標(biāo)注人員建議列表給出標(biāo)注、審核、仲裁人員的基本信息，如數(shù)量、醫(yī)療機(jī)構(gòu)、科室、工作年限、職稱、培訓(xùn)、培訓(xùn)考核情況、工作量、標(biāo)注任務(wù)、人員類型（標(biāo)注、審核、仲裁）。
標(biāo)注與質(zhì)控流程建議提供業(yè)務(wù)架構(gòu)、過(guò)程組織（任務(wù)生成、任務(wù)分配、任務(wù)實(shí)施、質(zhì)量控制、驗(yàn)收準(zhǔn)則及驗(yàn)收?qǐng)?bào)告）。其中業(yè)務(wù)架構(gòu)宜采用流程圖介紹單例數(shù)據(jù)的標(biāo)注、審核、仲裁過(guò)程。
明確標(biāo)注是否基于另一器械的輸出、臨床檢驗(yàn)(如病理檢測(cè)結(jié)果)、隨訪臨床成像檢查、除成像外的隨訪體檢、臨床醫(yī)生的解釋。
如標(biāo)注工具、標(biāo)注平臺(tái)使用人工智能算法進(jìn)行輔助標(biāo)注，需提交標(biāo)注工具、標(biāo)注平臺(tái)算法性能研究資料。
4.3.4數(shù)據(jù)集構(gòu)建
依據(jù)《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》指南明確訓(xùn)練集、調(diào)優(yōu)集、測(cè)試集的劃分方法、劃分依據(jù)、數(shù)據(jù)分配比例。
提供查重驗(yàn)證結(jié)果，以證實(shí)訓(xùn)練集、調(diào)優(yōu)集、測(cè)試集的樣本兩兩無(wú)交集。
數(shù)據(jù)擴(kuò)增需明確擴(kuò)增的對(duì)象、范圍、方式（離線、在線）、方法（如翻轉(zhuǎn)、旋轉(zhuǎn)、鏡像、平移、縮放、濾波、生成對(duì)抗網(wǎng)絡(luò)等）、倍數(shù)、在線數(shù)據(jù)擴(kuò)增記錄。
提供擴(kuò)增數(shù)據(jù)庫(kù)與標(biāo)注數(shù)據(jù)庫(kù)樣本量、樣本分布（注明擴(kuò)增倍數(shù)）對(duì)比表，以證實(shí)擴(kuò)增數(shù)據(jù)庫(kù)樣本量的充分性以及樣本分布的合理性。
如果采用生成對(duì)抗網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)擴(kuò)增，應(yīng)提供生成對(duì)抗網(wǎng)絡(luò)的算法基本信息以及算法選用依據(jù)資料。
4.4算法訓(xùn)練
算法訓(xùn)練需明確訓(xùn)練過(guò)程所采用的優(yōu)化器及其相關(guān)參數(shù)，如Adam，SGD；在算法訓(xùn)練階段，需明確訓(xùn)練集、調(diào)優(yōu)集的劃分方式，如留出法，交叉驗(yàn)證法； 需明確訓(xùn)練目標(biāo)，即判斷何時(shí)停止訓(xùn)練，如設(shè)定最大的訓(xùn)練epoch數(shù)目，依據(jù)損失函數(shù)判斷損失穩(wěn)定且不繼續(xù)下降，根據(jù)訓(xùn)練epoch數(shù)量-評(píng)估指標(biāo)曲線判斷評(píng)估指標(biāo)不繼續(xù)提升等。當(dāng)訓(xùn)練停止后，明確訓(xùn)練模型最佳epoch的選擇方法，如在留出法中，根據(jù)留出部分的調(diào)優(yōu)集選取評(píng)價(jià)指標(biāo)最優(yōu)的epoch；在交叉驗(yàn)證法中，計(jì)算多次隨機(jī)劃分調(diào)優(yōu)集的評(píng)價(jià)指標(biāo)平均值，選擇最優(yōu)的epoch。同時(shí)，結(jié)合臨床需求（如靈敏度、精準(zhǔn)度），明確算法出廠閾值的選擇與方法，并論證訓(xùn)練所得模型是否滿足產(chǎn)品既定目標(biāo)。算法出廠閾值的選擇需提供制定依據(jù)。
算法訓(xùn)練階段需結(jié)合訓(xùn)練數(shù)據(jù)量-評(píng)估指標(biāo)曲線驗(yàn)證算法訓(xùn)練數(shù)據(jù)量的充分性。對(duì)于不同的訓(xùn)練數(shù)據(jù)量，計(jì)算對(duì)應(yīng)的評(píng)價(jià)指標(biāo)。當(dāng)評(píng)價(jià)指標(biāo)為單一標(biāo)量時(shí)（如靈敏度），訓(xùn)練數(shù)據(jù)量-評(píng)估指標(biāo)曲線的x軸為訓(xùn)練數(shù)據(jù)的樣本量（如CT序列個(gè)數(shù)），y軸為在使用特定訓(xùn)練量時(shí)，算法在測(cè)試集的評(píng)價(jià)指標(biāo)。結(jié)合訓(xùn)練數(shù)據(jù)量-評(píng)估指標(biāo)曲線，判斷當(dāng)訓(xùn)練數(shù)據(jù)量有限時(shí)，評(píng)價(jià)指標(biāo)是否隨數(shù)據(jù)量的增加而增加，并在數(shù)據(jù)量達(dá)到一定程度后，評(píng)價(jià)指標(biāo)趨于平穩(wěn)。當(dāng)評(píng)價(jià)指標(biāo)為曲線時(shí)，可考慮根據(jù)不同訓(xùn)練數(shù)據(jù)量，繪制對(duì)應(yīng)的評(píng)價(jià)指標(biāo)曲線，判斷曲線下面積（AUC）是否先隨數(shù)據(jù)量的增加而增加，最后當(dāng)數(shù)據(jù)量達(dá)到一定程度后趨于平穩(wěn)。以FROC曲線為例，在評(píng)估訓(xùn)練數(shù)據(jù)量的充分性時(shí)，當(dāng)訓(xùn)練數(shù)據(jù)量有限時(shí)，F(xiàn)ROC曲線下面積需隨數(shù)據(jù)量增加而增加，F(xiàn)ROC曲線逐步逼近坐標(biāo)左上角；當(dāng)訓(xùn)練數(shù)據(jù)量達(dá)到一定程度后，F(xiàn)ROC曲線下面積慢慢趨于穩(wěn)定。
若訓(xùn)練過(guò)程中采用了數(shù)據(jù)擴(kuò)增的方式，需明確擴(kuò)增方式，如離線數(shù)據(jù)擴(kuò)增，在線數(shù)據(jù)擴(kuò)增。同時(shí)，需明確數(shù)據(jù)擴(kuò)增的方法以及相應(yīng)的參數(shù)設(shè)置，如圖像平移，旋轉(zhuǎn)，縮放，彈性形變等。若訓(xùn)練過(guò)程未采用數(shù)據(jù)擴(kuò)增，需論證未進(jìn)行數(shù)據(jù)擴(kuò)增的理由。
4.5算法驗(yàn)證與確認(rèn)
明確臨床醫(yī)師操作點(diǎn)、不同算法任務(wù)的算法評(píng)價(jià)指標(biāo)的閾值及確定依據(jù)。明確算法標(biāo)記目標(biāo)與參考標(biāo)準(zhǔn)的匹配方式和匹配閾值。
明確病例水平和結(jié)節(jié)水平計(jì)算方法及定義一個(gè)結(jié)節(jié)的處理方法及病例陽(yáng)性的方法。在計(jì)算病例水平算法性能指標(biāo)時(shí)，需要明確陽(yáng)性以及陰性病例的定義，比如陽(yáng)性病例是定義為包含肺結(jié)節(jié)的病例，還是定義為包含>4mm肺結(jié)節(jié)的病例。在計(jì)算結(jié)節(jié)水平算法性能指標(biāo)時(shí)，需要明確檢出（真陽(yáng)性）以及假陽(yáng)性的定義，比如檢測(cè)框與參考標(biāo)準(zhǔn)重合率為多少時(shí)認(rèn)為檢測(cè)框是真陽(yáng)性，檢測(cè)框與金標(biāo)準(zhǔn)重合率的定義等。
區(qū)分算法任務(wù)制定具體測(cè)試方法和結(jié)果計(jì)算方法。建議參考《人工智能醫(yī)療器械 肺部影像輔助分析軟件 算法性能測(cè)試方法》。
基于算法的出廠閾值，明確算法在訓(xùn)練集，調(diào)優(yōu)集和測(cè)試集的召回率與精確度，通過(guò)比較三個(gè)數(shù)據(jù)集的性能來(lái)評(píng)估算法的泛化性。
對(duì)于肺結(jié)節(jié)檢出算法，需分層統(tǒng)計(jì)算法對(duì)于不同大小和不同密度的肺結(jié)節(jié)的檢出效能，可以通過(guò)FROC曲線，召回率以及精確度等指標(biāo)來(lái)評(píng)價(jià)，同時(shí)結(jié)合臨床需求論述結(jié)果的合理性。在肺結(jié)節(jié)大小的維度來(lái)進(jìn)行分層統(tǒng)計(jì)，如將肺結(jié)節(jié)分為4-5mm,5-8mm ，8-10mm以及10-30mm。一般而言，肺結(jié)節(jié)尺寸越大，檢出的難度越低。在肺結(jié)節(jié)密度維度，需明確是二分類還是多分類，需明確密度類型及制定依據(jù)，進(jìn)行密度類型的分層統(tǒng)計(jì)。
除此之外，還需考慮性別、年齡、設(shè)備廠家、重建方式、層厚/層間距、管電流、管電壓、劑量(常規(guī)劑量、低劑量)、等因素對(duì)肺結(jié)節(jié)檢出算法效能的影響。需明確設(shè)備主流廠家，且必須符合DICOM 3.0協(xié)議標(biāo)準(zhǔn)數(shù)據(jù)；管電壓考慮70-140 kV，管電流考慮10-400 mA；層厚與層間距需不超過(guò)5mm；重建方式需考慮常見(jiàn)的肺算法與標(biāo)準(zhǔn)算法（軟組織算法）。
在亞組的分層統(tǒng)計(jì)中，肺結(jié)節(jié)檢出效能需在不同因素下均能取得較好性能。若在某些影響因素下，肺結(jié)節(jié)檢出效能存在差異，需進(jìn)行合理地論證，并在說(shuō)明書(shū)給出使用限制。
需提供算法性能測(cè)試報(bào)告，至少包括軟件環(huán)境、硬件環(huán)境、測(cè)試平臺(tái)描述（如適用）、測(cè)試集描述、算法性能指標(biāo)的符合性分析（性能指標(biāo)的定義、測(cè)試通過(guò)準(zhǔn)則、統(tǒng)計(jì)分析）、算法錯(cuò)誤統(tǒng)計(jì)。需包括算法性能及算法質(zhì)量特性、隨訪功能測(cè)試結(jié)果。
4.6 算法性能綜合分析
結(jié)合算法訓(xùn)練、算法性能評(píng)估、臨床評(píng)價(jià)等結(jié)果開(kāi)展算法性能綜合評(píng)價(jià)，針對(duì)訓(xùn)練樣本量和測(cè)試樣本量過(guò)少、測(cè)試結(jié)果明顯低于算法設(shè)計(jì)目標(biāo)、算法性能變異度過(guò)大等情況，對(duì)產(chǎn)品的適用范圍、使用場(chǎng)景、核心功能進(jìn)行必要限制。
需對(duì)算法測(cè)試產(chǎn)生的錯(cuò)誤結(jié)果進(jìn)行分析，評(píng)估算法在檢出、分類等任務(wù)中出現(xiàn)的假陽(yáng)性、假陰性結(jié)果的含義與危險(xiǎn)程度，形成定量報(bào)告。
5．用戶培訓(xùn)方案
對(duì)于軟件安全性級(jí)別為嚴(yán)重級(jí)別的產(chǎn)品，原則上需單獨(dú)提供一份用戶培訓(xùn)方案，包括用戶培訓(xùn)的計(jì)劃、材料、方式、師資等。
用戶培訓(xùn)需關(guān)注以下內(nèi)容：預(yù)期用戶要求，如工作年限或執(zhí)業(yè)資格；醫(yī)生必須對(duì)軟件結(jié)果進(jìn)行確認(rèn)，軟件只用于輔助檢測(cè)，不能替代醫(yī)生。CT圖像要求，如嚴(yán)重呼吸、金屬偽影或有掃描質(zhì)量問(wèn)題的CT圖像慎用；基于臨床試驗(yàn)驗(yàn)證，不宜使用該軟件的疾??；
（四）產(chǎn)品說(shuō)明書(shū)和標(biāo)簽樣稿
說(shuō)明書(shū)、標(biāo)簽和包裝標(biāo)識(shí)需符合《醫(yī)療器械說(shuō)明書(shū)和標(biāo)簽管理規(guī)定》和《醫(yī)療器械軟件注冊(cè)審查指導(dǎo)原則（2022年修訂版）》、《醫(yī)療器械網(wǎng)絡(luò)安全注冊(cè)審查指導(dǎo)原則（2022年修訂版）》、《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》和相關(guān)標(biāo)準(zhǔn)的規(guī)定。
說(shuō)明書(shū)內(nèi)容需重點(diǎn)關(guān)注：
1.用戶說(shuō)明
對(duì)預(yù)期用戶和推薦用戶培訓(xùn)的詳細(xì)說(shuō)明。如，預(yù)期用戶工作年限或執(zhí)業(yè)資格要求，且需經(jīng)培訓(xùn)合格。
2.使用限制
若產(chǎn)品采用人工智能黑盒算法，需根據(jù)算法影響因素分析報(bào)告，在說(shuō)明書(shū)中明確產(chǎn)品使用限制和必要警示提示信息。
示例：不應(yīng)僅僅依靠本器械所標(biāo)識(shí)的輸出，應(yīng)由專業(yè)醫(yī)師對(duì)結(jié)果進(jìn)行解釋。
已發(fā)現(xiàn)該器械對(duì)于XX的受檢者無(wú)效。具有這種疾病/病癥/異常的受檢者不應(yīng)使用該器械。
對(duì)訓(xùn)練數(shù)據(jù)、測(cè)試數(shù)據(jù)與臨床試驗(yàn)的算法性能評(píng)估結(jié)果不佳，數(shù)據(jù)量偏少的，此類受檢者使用該器械，應(yīng)由專業(yè)醫(yī)師結(jié)合受檢者的病史、癥狀、體征、其他檢查結(jié)果情況綜合給出最終的肺結(jié)節(jié)檢出結(jié)論，核實(shí)是否需要進(jìn)一步診療的決策，并對(duì)臨床診斷結(jié)果負(fù)責(zé)。
3.注意事項(xiàng)
測(cè)量準(zhǔn)確性（如圖像長(zhǎng)度、CT值平均值、最大值、最小值、面積值、體積、密度、位置坐標(biāo)）、測(cè)量功能警示信息，如體積測(cè)量是基于體素個(gè)數(shù)的圖形學(xué)測(cè)量，并不能完全反映人體真實(shí)的體積，測(cè)量體積僅供醫(yī)生參考。
CT圖像質(zhì)量要求，如嚴(yán)重呼吸、金屬偽影或有掃描質(zhì)量問(wèn)題的CT圖像慎用；圖像序列未完整包含肺臟全部組織的圖像數(shù)據(jù)禁用。
醫(yī)生必須對(duì)軟件結(jié)果進(jìn)行確認(rèn)，軟件只用于輔助檢測(cè)，不能替代醫(yī)生。原始的AI結(jié)果應(yīng)保留，確保軟件結(jié)果的可追溯性與可責(zé)性。
4.預(yù)防措施
需明確與器械使用相關(guān)的不良事件，并提供緩解措施建議。不良事件討論需至少包括對(duì)假陽(yáng)性事件和假陰性事件的不良事件的討論。
5.器械描述
需提供以下內(nèi)容：
-算法設(shè)計(jì)和功能的概述
-特殊聲稱（如用于小于4mm結(jié)節(jié)檢測(cè)）
-研發(fā)和調(diào)整算法中所用的受檢者數(shù)據(jù)的參考標(biāo)準(zhǔn)的描述
-與本器械兼容的采集技術(shù)
-適當(dāng)顯示器械標(biāo)記的要求
-軟件輸出報(bào)告及界面數(shù)據(jù)圖示
6.軟件
需明確軟件發(fā)布版本、提供網(wǎng)絡(luò)安全說(shuō)明和使用指導(dǎo)，明確用戶訪問(wèn)控制機(jī)制、電子接口（含網(wǎng)絡(luò)接口、電子數(shù)據(jù)交換接口）及其數(shù)據(jù)類型和技術(shù)特征、網(wǎng)絡(luò)安全特征配置、數(shù)據(jù)備份與災(zāi)難恢復(fù)、運(yùn)行環(huán)境（含硬件配置、外部軟件環(huán)境、網(wǎng)絡(luò)環(huán)境，若適用）、安全軟件兼容性列表（若適用）、外部軟件環(huán)境與安全軟件更新（若適用）、現(xiàn)成軟件清單（SBOM，若適用）等要求。
7.產(chǎn)品接口和聯(lián)合使用設(shè)備
需明確對(duì)配合使用的圖像工作站和PACS適當(dāng)顯示器械標(biāo)記的要求（如適用）。
需明確CT設(shè)備兼容（廠家、型號(hào)（如適用）、層數(shù)）與掃描參數(shù)要求（如層厚、層間距、重建方式、管電壓、管電流、劑量（常規(guī)劑量、低劑量））。
8.算法訓(xùn)練總結(jié)
訓(xùn)練方法概述、開(kāi)發(fā)數(shù)據(jù)庫(kù)基本信息、訓(xùn)練指標(biāo)與結(jié)果、調(diào)優(yōu)指標(biāo)及結(jié)果。
9.算法性能評(píng)估總結(jié)
-算法輸入與輸出
-測(cè)試集基本信息
-用于確定器械標(biāo)記的每個(gè)區(qū)域的性質(zhì)的評(píng)分標(biāo)準(zhǔn)
-每個(gè)可用器械操作點(diǎn)的總體敏感度和假陽(yáng)性率指標(biāo)
-分層分析（如，根據(jù)病變大小、病變類型、采集參數(shù)、成像或數(shù)據(jù)特征）
-獨(dú)立FROC性能（如適用），需和操作特性曲線一起說(shuō)明。
-測(cè)試結(jié)果
10.臨床試驗(yàn)總結(jié)
需包括臨床試驗(yàn)設(shè)計(jì)基本類型、研究對(duì)象（受試者及閱片者情況）、評(píng)價(jià)指標(biāo)，金標(biāo)準(zhǔn)、對(duì)收集臨床信息方法的描述、統(tǒng)計(jì)方法描述、樣本量，臨床試驗(yàn)結(jié)果（含各結(jié)節(jié)尺寸、各密度類型結(jié)節(jié)情況）。
11.公開(kāi)數(shù)據(jù)庫(kù)及測(cè)試結(jié)果（如有）
12.第三方測(cè)評(píng)數(shù)據(jù)庫(kù)及測(cè)試結(jié)果（如有）
13.輔助決策指標(biāo)定義（或提供決策指標(biāo)定義所依據(jù)的臨床指南、專家共識(shí)等參考文獻(xiàn)）等信息。如結(jié)節(jié)大小、結(jié)節(jié)密度類型的定義、低劑量/常規(guī)劑量的定義、分層依據(jù)。
[1]《醫(yī)療器械注冊(cè)與備案管理辦法》（國(guó)家市場(chǎng)監(jiān)督管理總局令第47號(hào)）[Z].
[2]《醫(yī)療器械說(shuō)明書(shū)和標(biāo)簽管理規(guī)定》（國(guó)家食品藥品監(jiān)督管理總局令第6號(hào)）[Z].
[3]《醫(yī)療器械注冊(cè)申報(bào)資料要求和批準(zhǔn)證明文件格式》（國(guó)家藥品監(jiān)督管理局2021年第121號(hào)）[Z].
[4]《醫(yī)療器械通用名稱命名指導(dǎo)原則》（國(guó)家藥品監(jiān)督管理局2019年第99號(hào)）[Z].
[5]《醫(yī)療器械產(chǎn)品技術(shù)要求編寫(xiě)指導(dǎo)原則》（國(guó)家藥品監(jiān)督管理局2022年第8號(hào)）[Z].
[6]《醫(yī)療器械軟件注冊(cè)審查指導(dǎo)原則（2022年修訂版）》（國(guó)家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心2022年第9號(hào)）[Z].
[7]《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》(國(guó)家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心2022年第8號(hào))[Z].
[8] 《人工智能類醫(yī)用軟件產(chǎn)品分類界定指導(dǎo)原則》（國(guó)家藥品監(jiān)督管理局2021年第47號(hào)）[Z].
[9] YY/T 0316-2016，《醫(yī)療器械 風(fēng)險(xiǎn)管理對(duì)醫(yī)療器械的應(yīng)用》[S].
[10] YY/T 1833.1，《人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià) 第1部分：術(shù)語(yǔ)》（報(bào)批稿） [S].
[11] YY/T 1833.2，《人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià) 第2部分：數(shù)據(jù)集通用要求》（報(bào)批稿） [S].
[12]YY/T 1833.3，《人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià) 第3部分：數(shù)據(jù)標(biāo)注通用要求》（報(bào)批稿） [S].
[13] YY/T XXXX，《人工智能醫(yī)療器械 肺部影像輔助分析軟件 算法性能測(cè)試方法》（報(bào)批稿） [S].
[14]AIMDICP-WG6-2020-002，《基于胸部CT的肺結(jié)節(jié)影像輔助決策產(chǎn)品性能指標(biāo)和測(cè)試方法》[S].
[15] FDA. Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data- Premarket Notification[510(k)] Submissions [EB/OL]https://www.fda.gov/media/77635/download. 2012-07-03/2022-3-8.
[16] FDA. Clinical Performance Assessment: Considerations for Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data in-Premarket Notification [510(k)] Submissions [EB/OL] https://www.fda.gov/media/77642/download 2020-1-22/2022-3-8.
[17] 胸部CT肺結(jié)節(jié)數(shù)據(jù)集構(gòu)建及質(zhì)量控制專家共識(shí)[J].中華放射學(xué)雜志,2021,55(02):104-110.
[18]胸部CT肺結(jié)節(jié)數(shù)據(jù)標(biāo)注與質(zhì)量控制專家共識(shí)(2018)[J].中華放射學(xué)雜志,2019(01):9-15.
[19] 周清華,范亞光,王穎,喬友林,王貴齊,黃云超,王新允,吳寧,張國(guó)楨,鄭向鵬,步宏.中國(guó)肺部結(jié)節(jié)分類、診斷與治療指南(2016年版)[J].中國(guó)肺癌雜志,2016,19(12):793-798.
[20] 赫捷,李霓,陳萬(wàn)青,吳寧,沈洪兵,江宇,李江,王飛,田金徽,中國(guó)肺癌篩查與早診早治指南制定顧問(wèn)組,中國(guó)肺癌篩查與早診早治指南制定專家組,中國(guó)肺癌篩查與早診早治指南制定工作組.中國(guó)肺癌篩查與早診早治指南(2021,北京)[J].中國(guó)綜合臨床,2021,37(03):193-207.
[21] 劉士遠(yuǎn).肺亞實(shí)性結(jié)節(jié)影像處理專家共識(shí)[J].中華放射學(xué)雜志,2015,49(04):254-258.
[22] 中國(guó)肺結(jié)節(jié)病診斷和治療專家共識(shí)[J].中華結(jié)核和呼吸雜志,2019(09):685-693.
[23] Bankier Alexander A,MacMahon Heber,Goo Jin Mo,Rubin Geoffrey D,Schaefer-Prokop Cornelia M,Naidich David P. Recommendations for Measuring Pulmonary Nodules at CT: A Statement from the Fleischner Society.[J]. Radiology,2017,285(2).
[24] Bai, C., Choi, C.-M., Chu, C. M., Anantham, D., Chung-man Ho, J., Khan, A. Z., … Yim, A. (2016). Evaluation of Pulmonary Nodules. Chest, 150(4), 877–893.
[25] Deterbeck FC, Mazzone PJ, Naidich DP, et al. Screening for lung cancer:Diagnosis and management of lung cancer, 3rd ed: American College of Chest Physicians evidence-based clinical practice guidelines. Chest, 2013,143(5 Suppl): e78S- e92S.
附件：1.風(fēng)險(xiǎn)管理文檔
2.數(shù)據(jù)庫(kù)（集）
風(fēng)險(xiǎn)管理文檔
下表所列為常見(jiàn)可預(yù)見(jiàn)事件序列／可能的傷害示例，需關(guān)注：
表2 常見(jiàn)可預(yù)見(jiàn)事件序列／可能的傷害示例
| 危險(xiǎn) | 可預(yù)見(jiàn)事件序列 | 可能的傷害 |
|
信息 危險(xiǎn) |
算法對(duì)肺結(jié)節(jié)直徑測(cè)量給出過(guò)高或過(guò)低的結(jié)果 | 導(dǎo)致用戶對(duì)肺結(jié)節(jié)的主觀判斷產(chǎn)生誤導(dǎo) |
| 算法對(duì)肺結(jié)節(jié)的位置存在錯(cuò)誤的判定 | 導(dǎo)致用戶對(duì)肺結(jié)節(jié)的主觀判斷產(chǎn)生誤導(dǎo) | |
| 算法對(duì)肺結(jié)節(jié)密度類型存在分類錯(cuò)誤 | 導(dǎo)致用戶對(duì)肺結(jié)節(jié)的主觀判斷產(chǎn)生誤導(dǎo) | |
| 未按規(guī)定編制產(chǎn)品說(shuō)明書(shū)，使用說(shuō)明不明確 | 導(dǎo)致軟件無(wú)法正常使用并對(duì)用戶造成不便 | |
| 界面實(shí)用性差 | 導(dǎo)致誤操作 | |
| 無(wú)法正常顯示醫(yī)學(xué)圖像，或圖像失真 | 導(dǎo)致軟件無(wú)法正常使用并對(duì)用戶造成不便 | |
| 菜單設(shè)置不實(shí)用 | 導(dǎo)致誤操作 | |
| 圖像信息丟失或損壞 | 延誤治療 | |
| 軟件不兼容導(dǎo)致產(chǎn)品無(wú)法正常運(yùn)行 | 對(duì)用戶造成不便 | |
| AI模型失效導(dǎo)致無(wú)法進(jìn)行圖像識(shí)別 | 對(duì)用戶造成不便 | |
| 服務(wù)器和客戶端之間無(wú)法正常傳輸數(shù)據(jù) | 軟件無(wú)法正常使用并對(duì)用戶造成不便 | |
| 算法給出的肺結(jié)節(jié)檢出結(jié)果存在假陽(yáng)性結(jié)果 | 過(guò)度診斷 | |
| 算法對(duì)真陽(yáng)性肺結(jié)節(jié)存在漏檢 | 延誤診斷 | |
|
操作 危險(xiǎn) |
算法無(wú)法對(duì)接收到的CT圖像進(jìn)行處理分析 | 導(dǎo)致軟件無(wú)法正常使用并對(duì)用戶造成不便 |
| 無(wú)法與相關(guān)設(shè)備或系統(tǒng)進(jìn)行通訊連接 | 導(dǎo)致軟件無(wú)法正常使用并對(duì)用戶造成不便 | |
| 軟件設(shè)計(jì)缺陷，可能軟件死機(jī)或軟件自動(dòng)退出 | 導(dǎo)致軟件無(wú)法正常使用并對(duì)用戶造成不便 | |
| 算法被未經(jīng)培訓(xùn)的用戶、使用不熟練的用戶、或非專業(yè)用戶使用并完成主觀診斷 | 導(dǎo)致肺結(jié)節(jié)的過(guò)度診斷或延誤診斷 | |
| 算法對(duì)接收到的CT圖像進(jìn)行處理分析的時(shí)間過(guò)長(zhǎng) | 導(dǎo)致軟件無(wú)法正常使用并對(duì)用戶造成不便 |
采取風(fēng)險(xiǎn)控制措施前后的風(fēng)險(xiǎn)矩陣表示例
表3 采取風(fēng)險(xiǎn)控制措施前的風(fēng)險(xiǎn)分布圖
|
嚴(yán)重度 發(fā)生概率 |
1 可忽略的 |
2 輕微的 |
3 嚴(yán)重的 |
4 危急的 |
5 災(zāi)難性的 |
| 5頻繁 | |||||
| 4很可能 | |||||
| 3偶爾 | 4 | ||||
| 2極少 | 1 | 2 | |||
| 1不可能 | 1 |
表4 采取風(fēng)險(xiǎn)控制措施后的風(fēng)險(xiǎn)分布圖
|
嚴(yán)重度 發(fā)生概率 |
1 可忽略的 |
2 輕微的 |
3 嚴(yán)重的 |
4 危急的 |
5 災(zāi)難性的 |
| 5頻繁 | |||||
| 4很可能 | |||||
| 3偶爾 | |||||
| 2極少 | |||||
| 1不可能 | 4 | 4 |
數(shù)據(jù)庫(kù)(集)
按照產(chǎn)品開(kāi)發(fā)時(shí)間順序明確使用的數(shù)據(jù)庫(kù)/集情況，需明確數(shù)據(jù)量變化原因，抽樣及合并方法及合理性。數(shù)據(jù)庫(kù)/集包括不限于原始數(shù)據(jù)庫(kù)、基礎(chǔ)數(shù)據(jù)庫(kù)、標(biāo)注數(shù)據(jù)庫(kù)、訓(xùn)練集、調(diào)優(yōu)集、測(cè)試集、對(duì)抗測(cè)試集、公開(kāi)數(shù)據(jù)庫(kù)，測(cè)評(píng)數(shù)據(jù)庫(kù)。
每個(gè)數(shù)據(jù)庫(kù)建議提供以下信息：
-數(shù)據(jù)庫(kù)名稱及版本、類型（如外部、內(nèi)部；訓(xùn)練、調(diào)優(yōu)、測(cè)試）
-受檢者數(shù)據(jù)收集的納入和排除標(biāo)準(zhǔn)
-人口統(tǒng)計(jì)學(xué)數(shù)據(jù)（年齡、種族、人種）
-放射學(xué)檢查條件，如CT增強(qiáng)掃描，CT平掃
-采集數(shù)據(jù)的方法
數(shù)據(jù)來(lái)源（體檢篩查、門(mén)診病房）
設(shè)備廠家、型號(hào)、探測(cè)器排數(shù)
掃描參數(shù)：管電壓范圍、管電流范圍、層厚范圍、輻射劑量（低劑量平掃、常規(guī)劑量平掃或增強(qiáng)掃描）
-重建方式（標(biāo)準(zhǔn)算法、肺算法、其他）
-樣本量（正常案例數(shù)、疾病案例數(shù)、確定疾病狀態(tài)、位置、范圍的方法）
-按影響因素分層的病例分布，如年齡、性別、結(jié)節(jié)大小、結(jié)節(jié)類型、圖像重建層厚/層間距、疾病類型、重建方式、掃描協(xié)議、成像廠家、地區(qū)、醫(yī)療機(jī)構(gòu)。
需明確總體數(shù)據(jù)范圍及分層數(shù)量及占比，并需列表對(duì)比分析各數(shù)據(jù)庫(kù)信息。
采用公開(kāi)數(shù)據(jù)數(shù)據(jù)庫(kù)的需明確用途，不應(yīng)作為測(cè)評(píng)數(shù)據(jù)庫(kù)使用。
編輯：Cikey TAG：/肺結(jié)節(jié)CT圖像輔助檢測(cè)軟件注冊(cè)/指導(dǎo)原則/醫(yī)療器械軟件注冊(cè)
京公網(wǎng)安備 11010502043733號(hào)??京ICP備16013397號(hào)-1??XML地圖 ?網(wǎng)站地圖?熱門(mén)TAG?2018最新《醫(yī)療器械分類目錄》
