人工智能(AI)技术在医学影像领域中有着广泛的应用,尤其是在医学影像诊断中。AI技术可以模拟和学习人类的思维过程,并且能够处理大量的数据,通过各种算法进行图像分析、特征提取和识别,辅助医生进行影像诊断,提高了影像诊断的准确性和效率。
AI模型已成功用于医学影像解读,涉及皮肤疾病诊断,心电图、病理切片和眼科等多个领域。美国食品药品管理局(FDA)已批准200多种商业化影像学AI产品,但在这些产品成功广泛应用于临床之前,还有诸多障碍必须克服。
今晨,《新英格兰医学杂志》(NEJM)发文讨论当前临床影像学AI系统优势和局限性、基于AI的临床路径,以及生成式AI和大型多模态基础模型的潜在影响。我们在此简介其主要内容,全文将于明天中午在《NEJM医学前沿》官网发布。
解读医学影像是影像科医师的核心工作。近年来,人工智能(AI)在该领域的应用日益增多。本文回顾了影像学AI模型开发工作的进展、挑战和机遇,以及临床应用。讨论了AI算法在协助影像科医师方面发挥的功能,包括检测、工作流程分流和量化,以及其他科医师应用医学影像学AI这一新兴趋势。还明确了在影像学领域推广应用AI算法的核心挑战,以及对涵盖临床医师-AI协作、透明度和部署后监控在内的验证保障措施的需求。最后,文中讨论了AI多模态大型语言模型开发工作的快速进展。这一进展为开发医学通才AI模型带来了重大机遇,该模型可处理各方面影像解读任务等。



图2. 影像学领域推广AI系统的检查机制
影像学领域推广AI系统有三项基本检查:临床医师-AI协作、透明度和部署后监控。临床医师-AI协作反映出需要从评估AI模型的独立性能转为评估它们在真实世界临床工作流程中作为辅助工具的价值。由于缺乏AI模型的相关信息,透明度方面的要求更加严格,措施包括根据清单进行检查和公开发布医学影像学数据集。部署后监控包括通过一些机制整合临床医师反馈和持续学习策略,从而定期更新模型。
在影像学领域,当前这一代AI模型只能处理有限的解读任务,并且严重依赖经过特定标记和分类的整理后数据。虽然将影像作为模型的单一输入信息具有一定价值,但它并不能反映影像学领域的真正认知工作,后者包含全面解读医学影像学检查结果、比较当前和既往检查结果,以及将这些信息与临床背景数据相结合,进而提出诊断和治疗建议。
现在有一种趋势是采用更全面方法来开发影像学AI,目的是实现更高价值,而不仅仅是将单个解读任务自动化。最近开发的模型可以识别胸片和脑部CT平扫中的数十甚至数百项发现,它们可以为影像科医师提供关于每项发现的具体细节。越来越多的公司正在提供可涵盖疾病(如卒中和癌症)整个诊断和临床工作流程(从筛查到直接临床转诊和随访)的AI解决方案。尽管这些全面的AI解决方案有可能帮助医疗专业人员更方便地实施和使用该技术,但验证和透明度方面的问题仍然存在。
新一代通才医学AI模型即将出现,它有可能在解读影像方面执行整个任务,甚至执行更多任务。这些模型将能够准确生成完整影像学报告,方法是解读各种发现(其不确定性和特异性取决于影像),将临床背景与影像学数据融合,并且在模型决策中利用以前的影像。
AI模型(包括自监督模型、多模态模型、基础模型,特别是用于文本数据以及用于影像和文本综合数据的大型语言模型)的快速发展有可能加快该领域进程。大型语言模型指的是由具有数十亿或更多权重的神经网络组成,在在大量无标签数据上进行训练的AI模型。对用于医学领域文本任务的大型语言模型进行的早期研究包括GPT-4等聊天机器人,结果表明这些模型在作医疗记录、回答问题和会诊方面达到临床专家水平。
我们预计,未来的AI模型将能够处理影像学数据、语音和医学文本,并输出反映高级医学推理的文本解释、语音建议和影像注释等。这些模型将能够根据输入的医学影像输出定制文本,满足各种最终用户的特定需求,而且能够对影像学检查提出个体化建议和实现自然语言交互。

鉴于大型语言模型的能力,使用大量真实世界医学影像和临床文本数据训练新的多模态大型语言模型虽然具有挑战性,但有望使影像学AI具备变革能力。然而,此类模型将在多大程度上加剧在广泛验证方面存在的问题,目前仍然未知,这是一个需要研究和关注的重要领域。总体而言,通才医学AI模型具备为影像解读任务提供全面解决方案的潜力,这可能不仅会改变影像学领域,还可能广泛改变医疗领域。
国际医疗器械设计与制造技术展览会认为,AI是技术突破的例证,为当前和未来的医学影像学领域带来了各种可能性。影像学见证了这些工具在临床上的应用,尽管迄今产生的影响不太大。预期和实际影响之间的差距可归因于多种因素,例如缺乏来自前瞻性真实世界研究的数据、外推性有限,以及在解读影像方面缺乏全面的AI解决方案。随着医疗专业人员越来越多地使用影像学AI,以及大型语言模型的不断发展,AI在医学影像学领域的未来似乎一片光明。但我们无法确定的是,当前这种形式的传统影像学是否也前景光明。
文章来源:NEJM医学前沿