近日，從上海市第六人民醫(yī)院官方公眾號獲悉，上海交通大學(xué)醫(yī)學(xué)院附屬第六人民醫(yī)院賈偉平教授和李華婷教授團(tuán)隊(duì)與上海交通大學(xué)電院計算機(jī)系 / 教育部人工智能重點(diǎn)實(shí)驗(yàn)室盛斌教授團(tuán)隊(duì)，攜手清華大學(xué)黃天蔭教授團(tuán)隊(duì)與新加坡國立大學(xué)覃宇宗教授團(tuán)隊(duì)，通過醫(yī)工交叉合作研究，構(gòu)建了全球首個面向糖尿病診療的視覺-大語言模型的多模態(tài)集成智能系統(tǒng) DeepDR-LLM，成果于 2024 年 7 月 19 日在 Nature Medicine 發(fā)表(題為 Integrated image-based deep learning and language models for primary diabetes care)。
據(jù)介紹，DeepDR-LLM 系統(tǒng)融合了大語言模型和深度學(xué)習(xí)技術(shù)優(yōu)勢，實(shí)現(xiàn)了醫(yī)學(xué)影像診斷與診療意見的多模態(tài)生成功能，能提供糖尿病視網(wǎng)膜病變輔助診斷結(jié)果及個性化糖尿病綜合管理意見。
該系統(tǒng)在覆蓋亞非歐三大區(qū)域七個國家的多中心隊(duì)列中進(jìn)行了回顧性驗(yàn)證，以及針對中國基層醫(yī)療實(shí)際開展了前瞻性真實(shí)世界驗(yàn)證，首次向全球提供了面向糖尿病醫(yī)療垂直領(lǐng)域的多模態(tài)大模型應(yīng)用成效的高質(zhì)量循證證據(jù)。研究團(tuán)隊(duì)表示，研究證明 DeepDR-LLM 系統(tǒng)可有效改善 DR 篩查和基層糖尿病管理水平，為未來全球糖尿病治理提供了革命性的數(shù)字解決方案。
既往的 AI 系統(tǒng)研發(fā)主要集中在糖尿病的并發(fā)癥篩查或輔助管理的單一領(lǐng)域。隨著全球范圍內(nèi)以 ChatGPT 為代表的生成式人工智能技術(shù)的迅猛發(fā)展，多模態(tài)大模型正不斷推動醫(yī)療領(lǐng)域的新應(yīng)用場景和模式的涌現(xiàn)，但這些模型尚不能根據(jù)患者的醫(yī)學(xué)影像和具體病情，提供準(zhǔn)確且安全的糖尿病綜合診療建議。
針對當(dāng)前的技術(shù)空白和臨床的實(shí)際需求，該團(tuán)隊(duì)成功研發(fā)了全球首個面向糖尿病基層診療的視覺-大語言模型多模態(tài)集成智能系統(tǒng) DeepDR-LLM。其可適配包括 LLaMA 在內(nèi)的大語言模型，LLM 模塊將訓(xùn)練網(wǎng)絡(luò)層與大語言模型的固有權(quán)重參數(shù)相融合，突破低算力資源約束下的多模態(tài)大模型優(yōu)化的瓶頸，并進(jìn)一步基于 37.2 萬條基層慢病診療和慢病管理數(shù)據(jù)和知識實(shí)現(xiàn)了高效優(yōu)化訓(xùn)練，使 DeepDR-LLM 系統(tǒng)可基于患者個體的臨床信息生成精準(zhǔn)糖尿病管理意見。
分享到微信 ×
打開微信，點(diǎn)擊底部的“發(fā)現(xiàn)”，
使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。
數(shù)據(jù)驅(qū)動的戰(zhàn)略：《孫子兵法》的啟示
