推想在上海交大舉辦的MICCAI肺氣管競(jìng)賽中取得國(guó)際冠軍，并合作發(fā)表論文

摘要:繼獲得MICCAI世界冠軍后,推想創(chuàng)新科研成果被中科院JCR1區(qū)收錄

　　近日,推想醫(yī)療先進(jìn)研究院、國(guó)際醫(yī)學(xué)圖像計(jì)算和計(jì)算機(jī)輔助干預(yù)協(xié)會(huì)與上海交通大學(xué)醫(yī)療機(jī)器人研究所合作論文《多中心、多個(gè)域的氣管樹(shù)結(jié)構(gòu)建模(ATM’22):肺氣管分割的公共基準(zhǔn)》,被收錄于Medical Image?Analysis期刊(IF=13.828),在中科院JCR最新升級(jí)版分區(qū)表中,該刊分區(qū)信息為大類(lèi)學(xué)科醫(yī)學(xué)1區(qū)。

　　國(guó)際開(kāi)放挑戰(zhàn)賽正成為評(píng)估計(jì)算機(jī)視覺(jué)和圖像分析算法的事實(shí)標(biāo)準(zhǔn)。近年來(lái),新的方法擴(kuò)展了肺氣管分割的范圍,使其更接近圖像分辨率的極限。自從肺氣管分割數(shù)據(jù):?Extraction of airways from CT (EXACT'09)?被公開(kāi)后,新興算法受惠于深度學(xué)習(xí)方法的成熟和臨床驅(qū)動(dòng)的啟發(fā),也在疾病診療中發(fā)揮了越來(lái)越重要的作用。

　　但到目前為止,公開(kāi)的注釋數(shù)據(jù)集仍非常有限,這妨礙了深度學(xué)習(xí)這種以數(shù)據(jù)為驅(qū)動(dòng)的方法的發(fā)展和新算法的性能評(píng)估。為了給醫(yī)學(xué)影像提供一個(gè)基準(zhǔn),在MICCAI?2022大會(huì)期間舉行的官方挑戰(zhàn)賽上,主辦方(上海交大和上海交大附屬胸科醫(yī)院)組織了多中心、多領(lǐng)域的肺氣管樹(shù)建模比賽(ATM’22),并提供了大量具有詳細(xì)肺氣管標(biāo)注的CT掃描。包括推想在內(nèi)的總計(jì)23支團(tuán)隊(duì)參加了整個(gè)挑戰(zhàn)的各個(gè)階段,?推想憑借強(qiáng)大的技術(shù)實(shí)力和對(duì)臨床應(yīng)用的理解,獲得了該項(xiàng)賽事的全球冠軍。本文系統(tǒng)回顧了排名前十的團(tuán)隊(duì)的算法,?定量和定性結(jié)果顯示,嵌入拓?fù)溥B續(xù)性增強(qiáng)的深度學(xué)習(xí)模型在一般性能上取得了卓越的表現(xiàn)。

　　01

　　亟需創(chuàng)新!肺氣管分割算法和數(shù)據(jù)集面臨諸多挑戰(zhàn)

　　深度學(xué)習(xí)方法正重塑醫(yī)學(xué)圖像分割。除了新穎的網(wǎng)絡(luò)設(shè)計(jì)之外,這些算法的性能很大程度上取決于訓(xùn)練數(shù)據(jù)集的規(guī)模和所用注釋的臨床準(zhǔn)確性。為了公平評(píng)估這些算法,相關(guān)人士組織了許多重大挑戰(zhàn)賽,重點(diǎn)關(guān)注多個(gè)器官,包括大腦(Mendriketal.,2015)、腹部多器官(Maetal.,2021)、心臟(Zhuangetal.,2019)、皮膚病變(Codella等人,2018)和乳腺癌(Aresta,2019)等。

　　但對(duì)于肺氣管的分割,人們的認(rèn)知仍十分有限。臨床上,基于計(jì)算機(jī)斷層掃描(CT)的肺氣道精確分割,是小氣道疾病的精準(zhǔn)診療的前提,對(duì)微創(chuàng)支氣管內(nèi)介入治療的術(shù)前規(guī)劃和術(shù)中指導(dǎo)發(fā)揮著重要作用。隨著支氣管鏡的日益小型化,在機(jī)器人協(xié)助下,常規(guī)治療已經(jīng)超越了第5代氣道的氣管分支結(jié)構(gòu)。但由于細(xì)粒度肺氣道結(jié)構(gòu)和分叉拓?fù)浣Y(jié)構(gòu)非常復(fù)雜,手動(dòng)分割耗時(shí)、容易出錯(cuò),并且需要操作者具備較高的臨床水平和技能。因此,自動(dòng)分割氣管的深度學(xué)習(xí)算法必不可少,同時(shí)相應(yīng)的公平評(píng)估算法的數(shù)據(jù)集也不可或缺。

　　精細(xì)的肺氣管分割,傳統(tǒng)上在氣管和支氣管水平上工作,如果成像分辨率允許,理想情況下可以一直到達(dá)肺泡。然而,要獲得細(xì)粒度的氣道樹(shù)結(jié)構(gòu)實(shí)際上是很困難的。主要挑戰(zhàn)涉及以下幾個(gè)方面。

　　挑戰(zhàn)1:泄漏

　　泄漏問(wèn)題通常發(fā)生在小氣道分支或病變周?chē)鷧^(qū)域(例如,肺氣腫和支氣管擴(kuò)張)。由于管腔內(nèi)強(qiáng)度水平高度可變,分割方法可能會(huì)泄漏到相鄰的模糊的氣道壁或軟邊界肺實(shí)質(zhì)區(qū)域。

　　挑戰(zhàn)2:破損

　　破損現(xiàn)象指的是不連續(xù)的分割結(jié)果,破損情況雖然僅僅引起極小的體素級(jí)誤差,然而,在最大連通分量提取之后,拓?fù)浣Y(jié)構(gòu)完全改變。

　　挑戰(zhàn)3:魯棒性和泛化性

　　很多疾病,例如支氣管擴(kuò)張、肺氣腫和COVID-19可能影響氣道形態(tài)或特征CT圖像。這種偏差屬性,會(huì)影響在干凈CT中訓(xùn)練的模型推廣到噪聲CT中的使用效果。

　　挑戰(zhàn)4:超越逐像素提取

　　目前,氣道樹(shù)建模任務(wù)被視為像素或體素分割任務(wù),而氣道樹(shù)建模的關(guān)鍵目的之一是輔助支氣管鏡手術(shù)的導(dǎo)航。然而,這兩件事之間暫時(shí)存在著差距,CT值是離散信號(hào),CNN獲得的氣道預(yù)測(cè)也是密集的離散體積。體繪制算法是必要的獲取連續(xù)結(jié)果(例如網(wǎng)格)。因此,我們對(duì)未來(lái)氣道樹(shù)建模范例有一個(gè)宏偉的愿景:以離散CT掃描作為輸入并輸出連續(xù)氣道結(jié)果。

　　02

　　世界第一!推想為模型標(biāo)準(zhǔn)建設(shè)做出重要貢獻(xiàn)

　　本文收集并標(biāo)注了來(lái)自多個(gè)國(guó)家多個(gè)中心的500份胸部CT掃描。CT掃描是收集自公共LIDC-IDRI數(shù)據(jù)集和上海胸科醫(yī)院,包括從健康人群到患有嚴(yán)重肺部疾病的患者等各式人群。并且,患者和掃描儀的信息均被手動(dòng)匿名化。然后,由三位經(jīng)驗(yàn)豐富的放射科醫(yī)生對(duì)選定的500張CT掃描進(jìn)行注釋。訓(xùn)練集由300個(gè)胸部CT掃描組成,同時(shí)進(jìn)行50次和150次CT掃描進(jìn)行驗(yàn)證和測(cè)試。

　　總計(jì)選取了四個(gè)值來(lái)評(píng)價(jià)模型的效能。Dice相似系數(shù)(DSC,%)、Precision(%),用于測(cè)量基于預(yù)測(cè)重疊和體素的分割精度。同時(shí),拓?fù)渫暾砸彩菤獾婪指钐魬?zhàn)中最關(guān)鍵的屬性。因此還定義了樹(shù)長(zhǎng)度檢測(cè)率(TD,%)和分支檢測(cè)率(BD,%)測(cè)量算法在檢測(cè)氣道方面的性能。最終的評(píng)價(jià)指標(biāo)為這四個(gè)值的平均值:

　　本次挑戰(zhàn)賽上,參與方包括帝國(guó)理工大學(xué),阿里巴巴達(dá)摩院,東北大學(xué),圣美生物公司,復(fù)旦大學(xué),中國(guó)科學(xué)技術(shù)大學(xué),點(diǎn)內(nèi)科技等眾多國(guó)內(nèi)外知名院校和企業(yè)。共計(jì)9個(gè)國(guó)家的23支隊(duì)伍參加了比賽,共同構(gòu)建肺氣管分割數(shù)據(jù)集和模型標(biāo)準(zhǔn)。推想醫(yī)療團(tuán)隊(duì)在嚴(yán)格控制運(yùn)行時(shí)間和顯存占用達(dá)到應(yīng)用產(chǎn)品級(jí)的前提下,研發(fā)出針對(duì)CTPA 影像的高效肺氣管分割算法,實(shí)現(xiàn)了性能-效率-成本三方面的最佳權(quán)衡,在最終的挑戰(zhàn)賽排行榜中,推想醫(yī)療團(tuán)隊(duì)綜合排名第一。

　　因此,該論文重點(diǎn)介紹了冠軍團(tuán)隊(duì)推想醫(yī)療的解決方案。推想(T6)團(tuán)隊(duì)提出了一個(gè)精心設(shè)計(jì)的三級(jí)用于氣道分割的深度學(xué)習(xí)管道?,WingsNet(Zhengetal.,2021b)被采用為骨干架構(gòu)。第一階段,網(wǎng)絡(luò)僅使用Dice損失和隨機(jī)扣塊采樣進(jìn)行訓(xùn)練策略。推想的貢獻(xiàn)集中在第二階段,損失函數(shù)和訓(xùn)練過(guò)程都經(jīng)過(guò)仔細(xì)考慮設(shè)計(jì)的。受到基于局部不平衡的權(quán)重的啟發(fā),推想設(shè)計(jì)了通用聯(lián)合損失的一種變體(GUL),調(diào)整了權(quán)重因子,根據(jù)不同的目標(biāo)大小,重點(diǎn)關(guān)注小氣道分支機(jī)構(gòu)。從在預(yù)定義的鄰域空間內(nèi)得出本地前景率wp。然后同時(shí)強(qiáng)調(diào)氣道的中心線附近的體素需要受到更多關(guān)注。同樣,定義了從體素的當(dāng)前位置到最近的距離中心線上的體素的歐式距離的平方反比wd。綜上,最終各權(quán)重體素可以定義為w=wp+wd,損失函數(shù)定義如下:

　　其中γ、α、β分別設(shè)置為0.7、0.2和0.8。

　　最終,得出了一些有效的方法來(lái)解決共性問(wèn)題,以應(yīng)對(duì)肺氣道分割的挑戰(zhàn)。

　　解決方案1:多級(jí)解決方案

　　多階段訓(xùn)練已經(jīng)證明了在肺氣道分割上的優(yōu)勢(shì)。首先,肺部區(qū)域提取是一種簡(jiǎn)單而有效的硬注意力機(jī)制,可以關(guān)注相關(guān)的區(qū)域,可以應(yīng)對(duì)泄漏挑戰(zhàn)(C1)。其次,初始訓(xùn)練階段可以獲得初步預(yù)測(cè),為后續(xù)提供有用的信息訓(xùn)練階段以獲得更完整的氣道樹(shù)結(jié)構(gòu),例如硬樣本挖掘(T6)和破損注意力圖計(jì)算(T14)。

　　解決方案2:改善類(lèi)內(nèi)不平衡

　　提高類(lèi)內(nèi)辨別能力是合理應(yīng)對(duì)C2破損挑戰(zhàn)的選擇。額外的信息可以從標(biāo)注中得到,例如中心線點(diǎn)(T4、T6、T14)、半徑(T14)和分支的空間位置(T7)。這些額外的知識(shí)可以從幾個(gè)方面來(lái)利用改善類(lèi)內(nèi)歧視,如過(guò)采樣。

　　解決方案3:新穎的目標(biāo)函數(shù)

　　設(shè)計(jì)強(qiáng)調(diào)拓?fù)渫暾缘男路f損失函數(shù)拓?fù)湔_性有利于應(yīng)對(duì)挑戰(zhàn)泄漏(C1)和破損(C2)、魯棒性和泛化性(C3)。例如,T4提出了一個(gè)JCAM損失函數(shù),重點(diǎn)關(guān)注拓?fù)溴e(cuò)誤。T6采用了變體GUL損失迫使網(wǎng)絡(luò)享有連續(xù)性的信息。關(guān)注的目標(biāo)函數(shù)該拓?fù)淇梢岳脷獾赖母呒?jí)特征樹(shù)結(jié)構(gòu),可以提高算法的魯棒性和泛化能力。

　　推想在挑戰(zhàn)賽中所使用的技術(shù)路線,得到了國(guó)際上的廣泛認(rèn)可和高度肯定。在氣管分割方向,推想已處于國(guó)際領(lǐng)先位置,有望引領(lǐng)這一技術(shù)的未來(lái)發(fā)展。

　　目前,推想醫(yī)療團(tuán)隊(duì)在胸部解剖結(jié)構(gòu)分割方面的技術(shù)積累重點(diǎn)服務(wù)于推想醫(yī)療胸部三維重建功能的研發(fā)。該功能可以實(shí)現(xiàn)對(duì)肺部CT中的肺動(dòng)靜脈、氣管支氣管、肺葉肺段、骨骼等解剖結(jié)構(gòu)的快速精準(zhǔn)分割,進(jìn)而輔助醫(yī)生的分析診斷、治療方案制定以及手術(shù)規(guī)劃導(dǎo)航。推想醫(yī)療近期發(fā)布的AI-4D胸部智能可視化解決方案就是基于薄層CT影像序列,將智能化的空間維度三維重建及時(shí)間維度融合,針對(duì)肺癌早期篩查、精確診斷和治療的一體化智能輔助系統(tǒng)。目前該系統(tǒng)已在多家醫(yī)院的“呼吸科”、“影像科”、“體檢科”等科室廣泛使用,無(wú)縫融入醫(yī)生日常工作流,獲得了各科室醫(yī)生的積極反饋。