今天和大家分享最新一期在nature medicine发表的一篇介绍人工智能在手术中应用的综述。
科学问题（研究目的）
回顾人工智能在外科领域的应用，重点介绍了具有代表性和创新性的人工智能在外科手术中的新兴使用案例。
重要发现（研究结论）
在术前，人工智能可以用于患者筛选和风险预测，以提高手术效果和患者选择。在术中，人工智能可以用于实时监测和决策支持，以提高手术效率和准确性。此外，人工智能还可以用于优化手术团队的协作和沟通，并提高手术室的效率。在术后，人工智能可以用于远程监测和康复指导，以促进患者的康复和减少并发症的发生。但人工智能的应用仍需进行更多的研究和评估，以确保其安全性和效果。故人工智能仍需要加强跨学科合作和临床证据积累，并可结合多模态结构体系Transformers，以推动其在手术领域的应用和发展。
文章简介
研究背景
人工智能在医疗领域蓬勃发展。在特定的医疗应用中，它们的性能可以超过专家医生。但全球资源严重分配不均的外科手术领域，人工智能仍进展较慢。然而，随着基础模型架构、可穿戴技术和不断改善的手术数据基础设施的发展，人工智能对外科手术的干预和利用能力正在迅速提高。
表格 1已发表的6项人工智能外科随机对照试验摘要
研究方法和内容
术前应用
1）术前诊断：
基于人工智能的诊断是外科人工智能中最成熟的领域之一，模型的准确性和泛化能力在早期临床应用中得到很好的体现。首先，人工智能可以通过处理不同格式的数据来帮助医生进行更准确的诊断和治疗计划制定，例如通过图像识别技术来进行肿瘤切除手术中的组织去除最大化，同时减少对功能器官的影响。此外，其还可以从电子病历中提取结构化数据，并结合自然语言处理技术来提高诊断准确性。例如，在乳腺癌诊断方面，放射学算法从电子健康记录中提取非结构化的放射学报告数据，以增强放射学诊断。然而目前大多数应用都是基于单模态数据的，未来可以结合多模态模型进一步发展。
2）临床风险预测：
目前人工智能在手术风险预测中的应用仍然是一个新兴领域。COVIDSurg死亡率评分、波特计算器、深度学习法都有一定的可取性。但由于缺乏随机试验和外部验证，并且有很高的偏差风险，大多数基于人工智能的风险预测工具与现有工具相比优势不显。Finlayson等人认为，这是由于研究人员将机器学习与经典统计学分开是忽略了其基本的统计学原理，并将创新和技术的复杂性与临床实用混为一谈。
3）对患者的术前沟通及教育：
人工智能中的大语言模型能够生成准确医学知识，并与患者进行初步沟通接触和提供医学教育。同时它们还可以增强医生的情感智能，有助于提高知情同意的有效性和减少文书工作负担。虽然目前还存在一些隐私和信任问题需要解决，但是这些模型在未来的数字化医疗领域具有巨大的潜力。特别是在手术护理方面，通过使用准确的深度学习风险预测技术，人工智能通信平台可以帮助患者更好地了解手术前后的优化和康复过程，并指导他们完成手术过程。
术中应用（图1）
1）术中诊断：
正如上文所提到，人工智能在外科手术决策中的应用成熟。研究人员可利用快速纳米孔测序的转移学习神经网络，在40分钟内完成准确的术中诊断，从而优化手术切除边缘并提高手术效率。而且，人工智能也能有助于术中确定相关或异常的解剖结构，增强外科医生的视觉审查能力。例如在寻找肠穿孔时使用AI“双眼”，为活检需求和恶性肿瘤风险评估提供信息。此外，能模仿人类直觉的深度学习也能帮助经验丰富的外科医生快速决策。例如，低血压预测指数在两个随机试验中显示出明显的益处。随着人工智能持续学习、不断迭代和外部验证，这些模型的性能也会进一步加强。但也更需要监管机构合作，以确保算法的安全和监控发展。
2）手术团队：
人工智能可逐步优化团队协作和决策过程。包括开发用于审计和监控术中事件和实践差异的手术黑匣子；开发AI教练建立共享心理模型，使团队对任务和目标有一个集体理解，减少医疗保健领域的决策错误；将生理指标和麻醉数据等数据量化，可增强团队在手术中的非技术技能包括沟通、情境意识和团队功能；使用数字跟踪手术团队，避免手术疲劳、麻醉师和外科医生沟通不畅、人员变动和短缺以及设备不可用等原因导致术中出错。
3）手术机器人和自动化：
外科机器人和自动化技术领域正在经历快速的技术进步。尽管早期的计算机视觉受限于特定任务并缺乏外部验证，但人工智能已被应用于单模态视频数据，以识别外科手术。Kiyasseh等人开发的外科AI系统，能准确识别和评估外科步骤和动作的质量。Meta的自我监督（SEER）模型也在计算机视觉领域显示出特别的前景。未来的努力可能通过多模态输入改进外科反馈方式，包括丰富的生理监测、快速组织学诊断和基于虚拟现实的指导。计算机视觉、手术机器人和自主机器人手术正处于早期发展阶段，但也取得良好的进展。且已经制定了合理框架，以促进外科机器人和辅助人工智能技术的发展，并为整个临床翻译阶段的评估、比较研究和监测制定指导方针。
4）手术教育：
手术教育以来一直依赖于学徒模式的学习，在客观评价标准和对受训手术者有用的反馈机制方面进展甚微。而手术室是一个数据机器丰富的环境，可以结合手术中诊断和手术训练模型的成功，以及计算机视觉和自动化的早期新兴能力，以自动化、统计方法来定制学习。
表格 1已发表的6项人工智能外科随机对照试验摘要
研究方法和内容
术前应用
1）术前诊断：
基于人工智能的诊断是外科人工智能中最成熟的领域之一，模型的准确性和泛化能力在早期临床应用中得到很好的体现。首先，人工智能可以通过处理不同格式的数据来帮助医生进行更准确的诊断和治疗计划制定，例如通过图像识别技术来进行肿瘤切除手术中的组织去除最大化，同时减少对功能器官的影响。此外，其还可以从电子病历中提取结构化数据，并结合自然语言处理技术来提高诊断准确性。例如，在乳腺癌诊断方面，放射学算法从电子健康记录中提取非结构化的放射学报告数据，以增强放射学诊断。然而目前大多数应用都是基于单模态数据的，未来可以结合多模态模型进一步发展。
2）临床风险预测：
目前人工智能在手术风险预测中的应用仍然是一个新兴领域。COVIDSurg死亡率评分、波特计算器、深度学习法都有一定的可取性。但由于缺乏随机试验和外部验证，并且有很高的偏差风险，大多数基于人工智能的风险预测工具与现有工具相比优势不显。Finlayson等人认为，这是由于研究人员将机器学习与经典统计学分开是忽略了其基本的统计学原理，并将创新和技术的复杂性与临床实用混为一谈。
3）对患者的术前沟通及教育：
人工智能中的大语言模型能够生成准确医学知识，并与患者进行初步沟通接触和提供医学教育。同时它们还可以增强医生的情感智能，有助于提高知情同意的有效性和减少文书工作负担。虽然目前还存在一些隐私和信任问题需要解决，但是这些模型在未来的数字化医疗领域具有巨大的潜力。特别是在手术护理方面，通过使用准确的深度学习风险预测技术，人工智能通信平台可以帮助患者更好地了解手术前后的优化和康复过程，并指导他们完成手术过程。
术中应用（图1）
1）术中诊断：
正如上文所提到，人工智能在外科手术决策中的应用成熟。研究人员可利用快速纳米孔测序的转移学习神经网络，在40分钟内完成准确的术中诊断，从而优化手术切除边缘并提高手术效率。而且，人工智能也能有助于术中确定相关或异常的解剖结构，增强外科医生的视觉审查能力。例如在寻找肠穿孔时使用AI“双眼”，为活检需求和恶性肿瘤风险评估提供信息。此外，能模仿人类直觉的深度学习也能帮助经验丰富的外科医生快速决策。例如，低血压预测指数在两个随机试验中显示出明显的益处。随着人工智能持续学习、不断迭代和外部验证，这些模型的性能也会进一步加强。但也更需要监管机构合作，以确保算法的安全和监控发展。
2）手术团队：
人工智能可逐步优化团队协作和决策过程。包括开发用于审计和监控术中事件和实践差异的手术黑匣子；开发AI教练建立共享心理模型，使团队对任务和目标有一个集体理解，减少医疗保健领域的决策错误；将生理指标和麻醉数据等数据量化，可增强团队在手术中的非技术技能包括沟通、情境意识和团队功能；使用数字跟踪手术团队，避免手术疲劳、麻醉师和外科医生沟通不畅、人员变动和短缺以及设备不可用等原因导致术中出错。
3）手术机器人和自动化：
外科机器人和自动化技术领域正在经历快速的技术进步。尽管早期的计算机视觉受限于特定任务并缺乏外部验证，但人工智能已被应用于单模态视频数据，以识别外科手术。Kiyasseh等人开发的外科AI系统，能准确识别和评估外科步骤和动作的质量。Meta的自我监督（SEER）模型也在计算机视觉领域显示出特别的前景。未来的努力可能通过多模态输入改进外科反馈方式，包括丰富的生理监测、快速组织学诊断和基于虚拟现实的指导。计算机视觉、手术机器人和自主机器人手术正处于早期发展阶段，但也取得良好的进展。且已经制定了合理框架，以促进外科机器人和辅助人工智能技术的发展，并为整个临床翻译阶段的评估、比较研究和监测制定指导方针。
4）手术教育：
手术教育以来一直依赖于学徒模式的学习，在客观评价标准和对受训手术者有用的反馈机制方面进展甚微。而手术室是一个数据机器丰富的环境，可以结合手术中诊断和手术训练模型的成功，以及计算机视觉和自动化的早期新兴能力，以自动化、统计方法来定制学习。
图 1 术中环境下新型人工智能数字介入治疗的整合
术后应用（图2）
1）术后监护：
医院至家庭服务的发展目标是通过医疗保健的解放和民主化，提高公平性和可及性，同时减轻医院的负担。然而，术后期仍然缺乏数据驱动的创新，这限制了进一步的进展。可穿戴设备为持续患者监测提供了机会，使得多模态输入生理参数可以促进数据驱动、针对患者的出院计划。这将有助于减轻护理人员进行繁琐的生命体征巡查的负担，也可以进一步指导出院康复目标和干预措施，指导镇痛处方，并预测不良结果。日后随着多模态数据技术的进一步驱动，实时生理感应伤口愈合、远程识别表浅皮肤感染和心肺传感器都是增强术后监测的潜在技术。
2）术后并发症预测：
术后并发症的预测对减少死亡率至关重要，但在复杂的术后环境中充满挑战。”MySurgeryRisk”利用机器学习算法，在单中心研究中取得进展，但其在不同卫生系统的应用仍不明确。荷兰的案例显示，算法在预测并发症和监测胰腺切除术后效果显著。Wellcome Leap的SAVE计划投资5000万美元，将术后并发症视为主要死因，强调了感测、监测和模式识别的重要性。随着多模态和时间丰富输入的传感器及可穿戴设备的发展，AI在并发症预测方面的潜力巨大。
3）居家保健：
美国人中50%的手术患者年龄超过65岁，随着年龄增长，他们的康复期可能延长，日常生活活动的恢复时间可能超过数月。人工智能驱动的家庭康复模型可以改善这个问题。该模型依托于实时数据收集、日常生活活动的细致评估，以及术后家庭环境中的创新ADLs评估。传感器技术在此模型中发挥关键作用，通过监测视频、位置、音频、运动和温度数据，实现活动模式的连续评估。这些数据有助于分析康复模式，预测不良结果。尽管ClinAIOps框架为AI在术后监测中的应用提供了新思路，但大规模实施、合作及创新评估的缺乏仍是推进远程术后监测的主要障碍，这需要遵循IDEAL框架的指导。
图 2 围术期和术后连续的传感器输入
讨论或亮点
l文章对人工智能在手术领域的应用进行了全面而深入的介绍，从术前期到术后期的不同阶段分别阐述了人工智能的应用场景和潜在优势；
l文章引入了多模态神经网络模型和基础模型的概念，探讨了它们在手术领域可能的应用前景及应用模式；
l文章提到了一些全球性的医疗资源不平等问题，并强调人工智能可以改善手术可及性、效率和手术教育培训体系。为未来的医学研究提供了新的思路和挑战。
文章来源：
