值此 MONAI 成立五周年之际,我们见证了开放式医疗 AI 愿景与生产就绪型企业解决方案的融合。
此公告带来两项激动人心的进展:MONAI Core v1.4 的发布 (扩展了开源功能),以及 VISTA-3D 和 MAISI 作为 NVIDIA NIM 微服务的全面推出。这一双重版本反映了我们对研究社区和临床部署的承诺。
五年的社区创新
MONAI 的发展历程非常了不起,下载量超过 350 万次,发表的论文超过 1000 篇,展示了 MONAI 对医学 AI 研究的影响。
最初是 NVIDIA 与伦敦国王学院的合作,现已发展成为一个充满活力的生态系统,并得到了全球领先机构的支持。GSK、DKFZ、Bristol Myers Squibb、Alara、Quantiphi、Dataiku 和 Newton’s Tree 等组织贡献了宝贵的专业知识和资源,帮助 MONAI 成为医学影像 AI 的标准平台。
MONAI Core v1.4:推进开放式医疗 AI 发展
最新版本的 MONAI Core 具有一系列新的算法功能和三个基础模型,展示了 MONAI 框架的通用性和强大功能。
基础模型 VISTA-3D、VISTA-2D 和 MAISI
VISTA-3D 是一种专门的交互式基础模型,擅长从 3D CT 图像中标注人体解剖结构。它的两个主要特性是:开箱即用的准确性能,涵盖超过 126 个解剖学类;以及零样本能力,能够学习使用交互式注释分割新结构。
该模型及其实现详情可在“ VISTA3D:用于 3D 医学成像的统一分割基础模型 (VISTA3D:A Unified Segmentation Foundation Model For 3D Medical Imaging)”论文中找到,您可以通过 MONAI Model Zoo 访问该模型。直接通过 NVIDIA API Catalog 体验 VISTA-3D 的交互功能,或将其部署为可扩展的便携式 NVIDIA NIM 微服务 。
VISTA-2D 为细胞生物学研究人员引入了显微镜分析功能。它使用具有约 1 亿个参数的 Transformer 网络架构,该架构基于 Meta 的 Segment Anything Model (SAM) 架构构建。它能够高精度处理多种细胞类型和成像模式。
该模型在 TissueNet、LIVECell 和 Cellpose 等数据集上的广泛验证证明了其在实际应用中的性能。有关更多信息,请参阅 使用 NVIDIA AI 基础模型 VISTA-2D 推进细胞分割和形态分析 ,并通过 MONAI Model Zoo 访问实施。
MAISI (Medical AI for Synthetic Imaging) 代表着我们在医疗健康领域的 3D 生成式 AI 的发展。此潜在扩散模型可以创建分辨率高达 512 × 512 × 768 体素的高分辨率 3D CT 图像,体素大小从 0.5mm 到 5.0mm 不等,用户可以控制 10 个身体习性类以及相应的分割遮罩。
最初在 MONAI 生成式存储库中开发的关键模块已集成到 MONAI Core 代码库中,并用于 MAISI 的开发。有关更多信息,请参阅 MAISI:用于合成成像的医疗 AI ,通过 MONAI Model Zoo 访问模型,或直接通过 NVIDIA API Catalog 进行体验。
企业就绪型 NIM 微服务:VISTA-3D 和 MAISI
基于这些开源模型的成功经验,我们很高兴地宣布 VISTA-3D 和 MAISI 作为 NVIDIA NIM 微服务全面推出。
这些生产就绪型解决方案作为 NVIDIA AI Enterprise 的一部分提供,可提供容器化的 GPU 加速推理功能,只需一条命令即可跨云端、数据中心和工作站进行部署。
VISTA-3D 和 MAISI 的 NIM 微服务实现为企业部署提供了几个关键优势:
使用 NVIDIA TensorRT 优化推理引擎,实现最佳性能
行业标准 API,可无缝集成到现有的医学成像工作流程中
基于 GPU 系统优化响应延迟和吞吐量
跨各种基础设施环境的灵活部署选项
Enterprise-grade 安全性和可扩展性功能
这些医疗 AI 模型受益于 NIM 架构。组织可以通过这些容器化部署使用 NVIDIA 性能优化专业知识,同时保持对其应用和数据的完全控制。
对于希望集成这些功能的开发者和医疗健康组织,我们通过 NVIDIA AI Enterprise 平台提供全面的文档、部署指南和支持资源。
无论您是在研究环境中实施这些模型,还是针对临床工作流进行扩展,NIM 微服务都能提供部署所需的基础架构基础。
M3:医学视觉语言模型的未来
在进行核心开发的同时,我们也很高兴分享 M3 (MONAI 多模态模型),这是一项探索医疗 AI 未来的研究计划。此框架弥合了视觉理解和自然语言处理之间的差距,展示了基础模型如何与专业专家模型协同工作。
通过 VILA-M3,我们将展示 AI 系统如何在分析医学影像时利用多种类型的专业知识。例如,在 MRI 扫描中查询肿瘤时,系统可以自动触发相关分割模型,以增强分析。 Hugging Face 上提供的 VILA-M3 具有多个模型参数大小,可支持各种部署需求。
有关 MONAI v1.4 功能的完整概述,请参阅 v1.4 版本说明 。您还可以通过我们录制的 MONAI Days 2024 演示视频 了解这些功能的实际应用,其中展示了 VISTA-3D、VISTA-2D、VILA-M3 和 MAISI。
MONAI 2024 日:社区实际应用
今年的 MONAI Days 活动是与 MICCAI Society 合作举办的,展示了我们社区的充满活力的精神。演示主题得到扩展,包括 开源 Holoscan SDK 。
第一天,在 300 个注册者的支持下,Holoscan SDK 作为开源基础呈现给了 MONAI Deploy 。Holoscan SDK 使 MONAI 模型能够轻松集成到放射工作流程以及实时手术指导和手术机器人系统中。
ARVE Error: src mismatchprovider: youtube
url: https://youtu.be/8cTjMtGdwZE?list=PLtoSVSQ2XzyDOjOn6oDRfEMCD-m-Rm2BJ&t=1
src: https://www.youtube-nocookie.com/embed/8cTjMtGdwZE?list=PLtoSVSQ2XzyDOjOn6oDRfEMCD-m-Rm2BJ
src gen: https://www.youtube-nocookie.com/embed/8cTjMtGdwZE?start=1&list=PLtoSVSQ2XzyDOjOn6oDRfEMCD-m-Rm2BJ
次日,超过 500 名注册者参加了会议,与会者聆听研究人员讨论了对 MONAI 的最新贡献、量化验证性能的指标,以及 MONAI Core v1.4 版本中宣布的生成式 AI 和 M3 功能。
在为期两天的活动中,其他与会者回答了与会者提出的许多问题。MONAI 社区已经实现了自我维持,这不仅体现在为其代码库提供的先进方法方面,也体现在为新用户和开发者提供的支持方面。
所有演讲均可在 MONAI YouTube 频道 观看。这种真正的合作显而易见,因为经验丰富的社区成员站起来回答新加入者的问题,展示了我们共同构建的支持环境。
塑造未来 5 年的医疗 AI
在展望 MONAI 的未来时,您将看到推动我们创新的几个关键方向。每个方向都在当前势头的基础上更进一步,同时进军对医疗 AI 的发展至关重要的新领域。
扩大临床影响
我们专注于弥合研究和临床部署之间的差距,与 MedTech 合作伙伴密切合作,将 MONAI 功能集成到日常医疗工作流程中。这包括扩展我们的企业就绪型解决方案,简化从开发到部署的过程。
多模式集成
医疗 AI 的未来在于将多个数据流 (从医学成像和电子健康记录到实时传感器数据) 结合起来。
基于 M3 等计划,我们致力于创建能够理解和集成各种医疗数据类型的全面系统。
实时处理演进
通过与 Holoscan SDK 等技术集成,我们正在突破实时医疗 AI 处理的极限,实现从手术指导到即时诊断协助的各种应用。