由企業大模型專家、AI算法工程師、醫院信息部門和臨床醫生組建聯合研發團隊，在醫院場景中直接開發、測試和應用大模型，實施研發應用一體化策略，加速大模型落地應用。基于多模態影像、通用文本、病歷文書等語料，構建醫療影像-文本大模型和醫療文本大模型。前者突破傳統AI影像的單病種、單器官的研發范式，充分利用大語言模型的文本理解能力，自動挖掘醫學影像和診斷報告的相關性，實現大規模數據快速標注，融合語言生成和圖像處理兩種技術，構建圖文混合模態的生成大模型，從醫學影像直接生成診斷報告，實現一掃多查。后者通過學習大量專業語料和臨床病歷，輔助醫生書寫病歷和進行質控，減輕醫生工作量，提升書寫質量和效率。

當前，醫學影像AI已有不少落地場景，但大部分長于計算分析，尚不能直接產生報告，且對每個應用都要訓練特定模型，訓練時需要人工/半人工標注數據，標注工作耗時費力。因此，能夠快速自動標注數據、實現多病同查、直接生成最終報告的影像AI更為符合臨床需要。

結構化、內容完整、數據準確、撰寫及時的高質量病歷是醫療安全和質量的重要保證，涉及醫保支付和醫院評價。完整病歷包括入院記錄、首程記錄、鑒別診斷、手術計劃、執行手術、手術記錄、出院記錄、術后隨訪等豐富內容，需要醫生記錄客觀數據并進行大量推理，大大增加了醫生負擔。病歷質控、結構化和輔助信息推斷臨床需求較大。

本項目主要基于自研的影智醫療大模型，直接采用“研發應用一體化”策略，組建由大模型專家、信息部門、算法工程師和臨床專家的混合團隊，在復旦大學附屬中山醫院內開展模型的訓練、測試和應用。一是在影像科，開發落地醫療影像-文本大模型產品，突破傳統的醫療影像AI模型的研發范式，實現從影像到完整報告的自動生成。二是在臨床科室（心外和呼吸內科），開發落地醫療文本大模型產品，實現臨床輔助診斷和電子病歷輔助結構化書寫。

醫生根據影像書寫報告的過程本質就是對影像進行專業的文本描述，我們基于這一點設計“圖像-文本大模型”。“圖像-文本大模型”具有顯著的優勢，不僅可以充分利用大語言模型LLM的語言理解能力，自動挖掘文本報告和醫學影像內容的相關性，跳過繁瑣的精細標注步驟，還可以打破單病種/單器官逐一攻克的研發范式，同時學習到多種器官、病灶的影像特征。

在中山醫院影像科的開發工作中，我們重點針對冠狀動脈CT血管造影 (CCTA)、乳腺鉬靶（FFDM)、胸部CT、腦部MR等多模態影像數據進行自動分析，目標是基于病人信息和醫學影像快速生成放射影像報告。目前已經實現第一步目標——開發出一種通用的醫學圖像分割大模型gMIS，該大模型可以只使用少量新樣本，就能快速拓展到新的器官或者病灶，如在大模型學習腎動脈血管分割任務時，僅需10個腎動脈訓練數據就可以達到傳統小模型需要使用200+個數據才能達到的性能水平，顯著提升了醫療AI的研發效率。

影智文本大模型是基于100B token的中英文醫學語料庫訓練而成，涵蓋醫學論文、教科書和診斷指南，確保了模型的專業性和準確性。該模型能根據住院病人的病歷記錄和醫患對話信息，自動生成患者住院期間全流程不同階段的結構化病歷，如首次病程錄、手術記錄、單病種上報文件及出院小結等。同時，模型還能根據病史輔助生成診斷建議，供醫生選擇使用。此外，醫生可利用本模型輕松完成臨床文本數據的導入與管理。該產品在嚴格標準下的診斷準確率已達80%以上。在推理階段，模型的處理速度高達50 token/s，USMLE 考試分數為74分（超過ChatGPT3.5得分），表明其專業水平符合醫療執業標準。此外，我們整合了RAG（檢索增強的生成）技術，使模型在生成文本時能進行動態檢索，提高生成內容的準確性和相關性，進一步提升醫療文本處理的效率和質量。

我們的模型能夠在影像分析中自動完成復雜的數據處理，顯著提升工作效率，減輕醫務人員負擔。此外，通過提供輔助診斷功能，模型能夠為醫生提供準確的診斷建議，幫助他們更快更精準地作出決策，從而提高醫療服務質量。

目前影智大模型已經在中山醫院的幾個科室落地使用。未來將通過知識服務收費和個人知識庫嵌入為醫生提供一個平臺，使其能夠根據個人需求進行自主創新，同時利用用戶反饋進行模型的持續迭代。除了通過入院模式與醫院進行合作外，也基于移動APP平臺，吸引普通用戶和醫生用戶參與。此外，我們也在構建算力生態和語料生態，以支持模型的廣泛應用和持續發展。

本項目形成的技術可以平移到其他醫院，從而構建一個開放和持續進步的商業模式。