题目：Learning Heterogeneous Tissues with Mixture of Experts for Gigapixel Whole Slide Images

论文地址：https://openaccess.thecvf.com/content/CVPR2025/papers/Wu_Learning_Heterogeneous_Tissues_with_Mixture_of_Experts_for_Gigapixel_Whole_CVPR_2025_paper.pdf

代码地址：https://github.com/wjx-error/PAMoE

一、创新点

• 首次将Mixture-of-Experts (MoE)架构应用于全切片病理图像（WSIs）分析，通过专家选择路由机制（Expert Choice Routing）实现病理特征的自动识别与分配。
• 为解决专家选择过程中的偏好模糊问题，PAMoE创新性地将病理先验知识（如肿瘤、免疫浸润等组织类别）融入专家路由的监督中。

二、方法

本文主要研究方法是提出了一种基于病理感知专家混合模型（Pathology-Aware Mixture-of-Experts, PAMoE）的即插即用模块，用于全切片病理图像（Gigapixel Whole Slide Images, WSIs）的分析。该方法的核心在于结合专家混合模型（Mixture-of-Experts, MoE）与病理先验知识，通过端到端的可学习门控网络实现病理特征的自动识别与分配。具体而言，PAMoE采用专家选择路由机制（Expert Choice Routing），使每个专家能够自主选择感兴趣的病理区域（如肿瘤、间质、坏死等），而非为每个输入补丁分配专家，从而解决了传统MoE中专家负载不均衡和无关内容干扰的问题。

全切片病理图像分析中现有方法与PAMoE模块的对比示意图

本图通过对比典型的全切片病理图像（WSIs）分析方法（PANTHER、HEAT）与本文提出的PAMoE模块，直观展示了不同方法在处理组织异质性时的核心差异。 传统方法如PANTHER利用全局聚类中心作为原型引导补丁聚合，但依赖固定聚类结果且需额外推理步骤，限制了模型对新型相关因素的识别能力；HEAT则通过预训练分类器引入病理组织类别先验，构建异构图探索补丁间交互，但同样受限于固定先验，可能忽略特征的完整变异性。

基于专家选择路由的混合专家模型（MoE）架构示意图

本图详细展示了基于专家选择路由（Expert Choice Routing）的混合专家模型（Mixture-of-Experts, MoE）的核心架构与工作流程。传统MoE模型通过门控网络（Gating Network）为每个输入令牌分配专家，可能导致专家负载不均衡且无法有效过滤无关内容。而图中提出的改进架构中，门控网络对每个输入补丁计算与各专家的匹配分数（通过余弦相似度或线性变换实现），随后每个专家独立选择得分最高的前k个补丁（Top-k Selection），而非被动接受分配。这种设计使得专家能够主动聚焦于自身擅长的病理区域（如肿瘤、间质、坏死等），同时未被任何专家选择的补丁将被自动丢弃，从而在多实例学习（MIL）框架下实现任务无关的噪声过滤。

PAMoE模块架构与病理先验监督机制示意图

本图系统展示了PAMoE模块的核心架构及其病理先验监督机制，分为原型预提取与PAMoE层工作流程两部分。在原型预提取阶段，通过预训练分类器（如CONCH）对全切片病理图像（WSIs）的补丁进行病理组织类别分类（肿瘤、间质、坏死、免疫浸润等），并计算各类别补丁的特征均值作为病理原型，用于后续监督专家选择偏好。在PAMoE层工作流程中，模块将专家分为先验监督专家与自由专家两类：前者通过计算输入补丁与病理原型的余弦相似度生成选择概率，并利用交叉熵损失函数优化其偏好与先验原型的一致性；后者则通过门控网络自适应学习未知模式，无需额外监督。

三、实验

本表系统展示了PAMoE模块与多种经典方法在五种癌症数据集（COAD、LGG、LUAD、PAAD、BRCA）上的生存预测性能对比，采用C-index（一致性指数）作为评估指标，结果以均值±标准差形式呈现。实验结果表明，集成PAMoE模块的Transformer-based模型（如TransMIL+PAMoE、LongViT+PAMoE）在多数数据集上显著优于基线模型，例如TransMIL+PAMoE在LGG数据集上的C-index达到0.779，较原始TransMIL（0.770）提升0.009；LongViT+PAMoE在LUAD数据集上达到0.644，较原始LongViT（0.615）提升0.029。

这表明PAMoE通过专家选择路由机制有效捕捉了组织异质性，增强了补丁表示学习。相比之下，非Transformer模型（如PatchGCN）集成PAMoE后性能提升有限，例如PatchGCN+PAMoE在COAD数据集上仅从0.712提升至0.715，可能因其基于图神经网络的局部交互限制了全局异质性特征的利用。这些结果验证了PAMoE模块的通用性与有效性，为全切片病理图像分析提供了新的性能提升路径。

四、 AI大模型从0到精通全套学习大礼包

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

只要你是真心想学AI大模型，我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！

如果你也想通过学大模型技术去帮助就业和转行，可以扫描下方链接👇👇
大模型重磅福利：入门进阶全套104G学习资源包免费分享！

01.从入门到精通的全套视频教程

包含提示词工程、RAG、Agent等技术点

​

02.AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

​

03.学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

04.大模型面试题目详解

05.这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓