卷疯了!顶会顶刊为何偏爱SAM+医学分割?
医学图像分割领域因SegmentAnythingModel(SAM)的出现取得显著进展。本文精选20篇顶刊论文,展示SAM在医学图像分割中的创新应用:Self-PromptSAM实现自动提示生成和3D适配;SAMed通过知识蒸馏提升半监督分割性能;增强版SAM结合多模态提示优化分割结果;AutoProSAM改进3D多器官分割架构。这些研究通过自动提示生成、架构优化和多模态融合,显著提升了医学图像分
近年来,医学图像分割领域迎来了重大的技术突破,而 Segment Anything Model (SAM) 的出现,成为了研究人员的“必试之选”。SAM 的强大功能不仅推动了医学图像分割的精度提升,还激发了大量创新性的研究方向。无论是交互式分割、少样本学习,还是高效的3D分割应用,SAM 的变体都在不断地为临床诊断提供更精准、更高效的解决方案。
今天,我们整理了 20篇来自顶会顶刊的前沿论文,这些论文展示了如何通过优化 SAM 模型,进一步提升医学图像分割的性能。从自动化提示生成到跨域适应,再到隐私保护的联邦学习,这些创新成果无疑将对医学图像分析的未来发展产生深远影响。以下,我们将带您深入分析每篇论文的核心创新与方法,帮助您把握这一领域的最新动态。
1. Self-Prompt SAM: Medical Image Segmentation via Automatic Prompt SAM Adaptation

-
方法:本文提出了一种名为 Self-Prompt-SAM 的框架,将 SAM 应用于医学图像分割。该方法通过多尺度提示生成器自动生成提示(如边界框和点),无需人工提供额外提示。同时,设计了 3D 深度融合适配器,使得 2D SAM 模型能够处理 3D 医学图像。
-
创新点:
-
提出了 Self-Prompt-SAM 框架,无需手动提供额外提示即可自动分割医学图像。
-
设计了多尺度提示生成器,与 SAM 图像编码器结合生成辅助掩码,进而生成边界框和点作为提示。
-
引入 3D 深度融合适配器,将其注入 SAM 图像编码器和掩码解码器中,使 2D SAM 模型能够提取 3D 信息,适应 3D 医学图像分割任务。
-
2. Learnable Prompting SAM-induced Knowledge Distillation for Semi-supervised Medical Image Segmentation

-
方法:本文提出了 SAMed 方法,利用医学图像的标注信息生成提示(如点提示或框提示),并将这些提示输入到 SAM 中,从而实现对医学图像的自动分割。
-
创新点:
-
提出了 SAMed 方法,利用医学图像标注信息生成提示,无需手动标注即可进行分割。
-
将标注信息转换为点或框提示,有效引导 SAM 模型完成医学图像分割任务。
-
在多个医学图像数据集上验证了方法的有效性,证明其在自动分割中的高效性和准确性。
-
3. Enhancing SAM with Efficient Prompting and Preference Optimization for Semi-supervised Medical Image Segmentation

-
方法:本文提出了一种增强版的 SAM 方法,利用 BiomedCLIP、MedVInT 和 GPT-4 生成无监督视觉与文本提示供 SAM-Med2D 使用,减少人工干预。采用 DPO(直接偏好优化)设计损失函数,用于模拟人工对分割候选评级,并进行优化训练。
-
创新点:
-
结合 BiomedCLIP 生成视觉提示,MedVInT 与 GPT-4 生成文本提示,为 SAM 提供无监督多维度提示,减少人工干预。
-
利用 DPO 优化损失函数,模拟人工对分割候选评级,无需单独奖励模型即可优化模型。
-
提出的增强 SAM 框架在低标注多模态医学图像分割中优于传统模型(如 U-Net 和 SAM-Med2D)。
-
4. AutoProSAM: Automated Prompting SAM for 3D Multi-Organ Segmentation

-
方法:本文提出了 AutoProSAM 方法,优化了 SAM 用于 3D 医学图像分割。通过改造 SAM 的 2D 架构以适配 3D 数据,采用自动提示生成器替代人工提示,并优化掩码解码器(3D 卷积 + 多层聚合)来提高多模态 3D 医学图像分割的精度。
-
创新点:
-
提出了自动提示生成器,从 SAM 编码器特征图自动生成提示,无需人工干预,简化了 3D 医学图像分割流程。
-
用参数高效微调改造 SAM 的 2D 架构,使其适配 3D 医学图像,且仅微调少量参数。
-
优化了 SAM 掩码解码器,替换 2D 卷积为 3D 卷积,加入多层聚合机制,提升了小器官、低对比度医学图像的分割精度。
-
火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。
更多推荐
所有评论(0)