近日，我院呼吸與危重癥醫(yī)學(xué)科李為民教授、王成弟研究員團(tuán)隊在The Innovation期刊（IF：33.2）發(fā)表了最新研究論文“A multimodal integration pipeline for accurate diagnosis, pathogen identification, and prognosis prediction of pulmonary infections”。創(chuàng)新性開發(fā)了多模態(tài)融合（Multimodal Integration，MMI）模型，利用臨床文本、影像圖像、檢驗指標(biāo)等多維度信息，實現(xiàn)肺部感染性疾病及病原類型精準(zhǔn)預(yù)測，及時對危重癥進(jìn)行預(yù)警干預(yù)（圖1）。
圖1 MMI模型在肺部感染性疾病診療的臨床應(yīng)用
不同病原體引起的肺部感染性疾病給人民生命健康帶來了嚴(yán)重的疾病負(fù)擔(dān)，胸部計算機(jī)斷層掃描（Computed Tomography，CT）是診斷肺部感染的重要輔助工具，但其“異病同征、同病異征”的現(xiàn)象給精準(zhǔn)診斷帶來困難。人工智能（Artificial Intelligence，AI）技術(shù)的快速發(fā)展推動了醫(yī)療領(lǐng)域的創(chuàng)新，多模態(tài)融合為疾病精準(zhǔn)診斷的實現(xiàn)提供了技術(shù)基礎(chǔ)。
研究納入四川大學(xué)華西醫(yī)院及醫(yī)聯(lián)體24107例住院患者，收集其臨床癥狀、診療記錄等文本、實驗室檢測結(jié)果和胸部CT圖像（圖2）。研究者利用雙向編碼器轉(zhuǎn)換器（Bidirectional Encoder Representations from Transformers，BERT）提取文本信息，通過骨干網(wǎng)絡(luò)Swin-Transformer對圖像信息進(jìn)行特征提取。為進(jìn)一步提高模型性能，研究者采用注意力Attention架構(gòu)，將模型從臨床、影像、檢驗數(shù)據(jù)中提取的單模態(tài)特征合并為多模態(tài)特征，使MMI模型能夠整合多個信息源并有效地對疾病進(jìn)行精確診斷。
圖2 多模態(tài)融合MMI模型總體架構(gòu)
相對于僅使用臨床特征或影像圖像的單一模態(tài)模型，MMI模型在識別肺部感染性疾病患者的準(zhǔn)確性更高（內(nèi)部測試集 Area Under the Curve，AUC 0.935)，并能夠區(qū)分單一感染和混合感染的患者（圖3A）。在識別不同類型肺部感染性疾?。?xì)菌性、病毒性、真菌性肺炎和肺結(jié)核）任務(wù)上，MMI模型平均性能依舊最佳（圖3B-D）。
圖3 多模態(tài)融合MMI模型識別不同類型肺部感染性疾病的性能
不同的數(shù)據(jù)融合策略會影響模型的診斷性能，研究者對早期融合（Early Fusion）、中期融合（Intermediate Fusion）和晚期融合（Late Fusion）三種融合架構(gòu)進(jìn)行探索（圖4A）。與早期融合和后期融合架構(gòu)相比，中間融合架構(gòu)表現(xiàn)出更加優(yōu)越的性能（診斷不同類型肺部感染性疾病AUC為0.923）（圖4B）。中期融合尋求合并來自多個信息源的特征，生成統(tǒng)一的特征集，增強(qiáng)了信息在信息源間的傳播，并交互式地優(yōu)化了特征提取過程。
圖4 基于三種數(shù)據(jù)融合架構(gòu)的MMI模型識別肺部感染性疾病的性能
研究者進(jìn)一步收集肺部感染性患者多模態(tài)數(shù)據(jù)，將該模型與兩組具有不同年資的臨床醫(yī)生進(jìn)行對比。結(jié)果顯示，MMI模型在肺部感染性疾病診斷方面的性能可與具有豐富臨床經(jīng)驗的醫(yī)生相媲美。
MMI模型在常見肺部感染病原體的預(yù)測上也顯示出良好的診斷潛力。覆蓋呼吸道合胞病毒、冠狀病毒、肺炎鏈球菌、結(jié)核分枝桿菌等常見呼吸道病毒和細(xì)菌病原體。這種對不同病原體亞型的準(zhǔn)確區(qū)分，可輔助醫(yī)護(hù)人員及時診斷并針對性使用抗菌藥物。預(yù)警危重癥也是MMI模型在肺部感染性患者診療中的重要應(yīng)用。研究者評估了肺部感染性疾病患者危重預(yù)后的相關(guān)因素，并可視化了多維度特征在預(yù)警預(yù)后中的重要性。
綜上所述，該研究創(chuàng)新性地開發(fā)多模態(tài)融合MMI模型，精準(zhǔn)診斷肺部感染性疾病，快速鎖定病原體，融合多維特征實現(xiàn)重癥提前預(yù)警，有助于臨床及時決策干預(yù)，改善肺部感染性患者的預(yù)后，為肺部感染性疾病精準(zhǔn)診療提供新思路。
四川大學(xué)華西醫(yī)院為第一作者和通訊作者單位，四川大學(xué)華西醫(yī)院博士生邵俊、香港大學(xué)俞益洲教授、深睿醫(yī)療馬杰超為本文共同第一作者；李為民教授、王成弟研究員為共同通訊作者。該研究得到國家自然科學(xué)基金委等經(jīng)費支持。
原文鏈接：https://www.cell.com/the-innovation/fulltext/S2666-6758(24)00086-9
川公網(wǎng)安備51010702002012
