摘要

我们提出了一个强大的医疗大型视觉语言模型（Med-LVLM）HealthGPT，它在一个统一的自回归范式中整合了医疗视觉理解与生成能力。我们的引导原则是逐步适应异构的理解与生成知识到预训练的大型语言模型（LLMs）。这是通过一种新颖的异构低秩适配（H-LoRA）技术实现的，辅以定制的分层视觉感知方法和三阶段学习策略。为了有效学习HealthGPT，我们设计了一个全面的医疗领域特定理解与生成数据集，称为VL-Health。实验结果显示HealthGPT在医疗视觉统一任务中具有卓越的性能和可扩展性。我们的项目可以在

https://github.com/DCDmllm/HealthGPT 访问。

https://arxiv.org/abs/2502.09838

https://huggingface.co/lintw/HealthGPT-M3

核心速览

研究背景

1. 研究问题：这篇文章要解决的问题是如何在医疗领域统一视觉语言理解（NLU）和生成（NLG），以应对医疗应用中的复杂任务。

2. 研究难点：该问题的研究难点包括：医疗数据的高规模和质量限制，以及理解和生成任务之间的冲突。具体来说，医疗数据的规模和多样性不足，且理解和生成任务需要不同的视觉细节处理方式，难以在同一模型中同时优化。

   

3. 相关工作：该问题的研究相关工作包括：利用预训练的大型语言模型（LLMs）和视觉指令数据构建交互式诊断工具和治疗计划系统；开发能够跨多种视觉模态理解和生成内容的一体化LVLMs。然而，现有的研究和模型主要集中在视觉理解任务，缺乏医疗视觉生成能力，且未充分探索医疗领域的统一框架。

研究方法

这篇论文提出了HealthGPT，一种用于解决医疗多模态理解生成问题的医学大型视觉语言模型（Med-LVLM）。具体来说，

1. HealthGPT架构：HealthGPT通过离散令牌表示同时覆盖文本和视觉输出，将视觉理解和生成任务统一为自回归任务。其架构结合了分层视觉感知（HVP）和异构低秩适应（H-LoRA）技术。

   

2. 分层视觉感知（HVP）：HVP将图像压缩为多个层次上的离散视觉令牌。具体来说，图像通过多层ViT块转换为一系列特征，这些特征被分为具体粒度和抽象粒度两类。具体粒度特征适用于生成任务，而抽象粒度特征适用于理解任务。

3. 异构低秩适应（H-LoRA）：H-LoRA通过低秩矩阵分解将理解和生成任务的异构知识存储在独立的模块中，并通过硬路由选择动态提取任务相关的知识。H-LoRA的计算开销较低，特别适用于大规模任务。

实验设计

• 数据集：研究团队构建了VL-Health数据集，包括七个理解任务和五个生成任务。数据集涵盖了多种医疗图像模态和疾病类型，以确保模型的泛化能力。

  

• 模型选择：选择了CLIP-L/14作为视觉编码器，并使用其第二层和倒数第二层的隐藏状态作为具体粒度和抽象粒度特征。基础模型选择了phi-3-mini和phi-4。

• 训练阶段：采用三阶段学习策略：

• 第一阶段

  ：多模态对齐，分别训练医学理解任务和生成任务的视觉适配器和H-LoRA子模块。

• 第二阶段

  ：异构H-LoRA插件适应，微调词嵌入层和输出头，保持H-LoRA子模块冻结。

• 第三阶段

  ：视觉指令微调，引入额外的任务特定数据进一步优化模型。

结果与分析

1. 理解任务：在多个医学视觉理解任务中，HealthGPT表现优于现有的医学特定模型和通用模型。例如，在医疗多模态统一任务中，HealthGPT-M3的得分达到了61.3，显著优于现有统一模型。

   

2. 生成任务：在三个关键的医疗图像生成任务中，HealthGPT也表现出色：

• 模态转换：在CT到MRI的脑部和骨盆区域的转换任务中，HealthGPT-M3的SSIM得分为79.38，显著优于传统方法。

  

• 超分辨率：在IXI数据集上的4倍超分辨率实验中，HealthGPT-M3在SSIM、PSNR和MSE指标上均表现优异。

  

• 重建：与健康GPT-M3相比，统一模型在视觉重建任务中的可控性较差。

总体结论

这篇论文提出了HealthGPT，一种用于医疗多模态理解生成的医学大型视觉语言模型。通过异构低秩适应技术和分层视觉感知，HealthGPT在多个医疗任务中表现出色，显著提高了医疗应用的多功能性和准确性。研究结果表明，HealthGPT在医疗视觉理解和生成任务中具有显著的性能提升和应用潜力。

论文评价

优点与创新

1. 统一的医疗多模态模型

   ：HealthGPT是第一个在复杂医疗场景中实现多模态理解和生成的统一框架。

2. 有效的学习范式

   ：提出了H-LoRA（异构低秩适应），通过任务门控解耦来优化多任务学习，有效缓解数据冲突问题。

3. 全面的训练数据集

   ：设计了VL-Health数据集，包含七种理解任务和五种生成任务，为统一医疗多模态模型的训练提供了丰富的数据支持。

4. 下游任务的显著改进

   ：广泛的实验验证了HealthGPT在医疗视觉语言理解和生成任务中的有效性，性能优于或接近现有的最先进模型。

5. 分层视觉感知

   ：引入了分层视觉感知（HVP），将视觉细节学习与视觉变换器（ViT）分离，以适应理解和生成任务的不同需求。

6. 三阶段学习策略

   ：设计了三阶段学习策略（TLS），通过最小混合任务训练和H-LoRA插件的微调，显著提高了模型的适应性和灵活性。

不足与反思

1. 数据规模和质量的限制

   ：医疗数据的规模和质量的限制使得从头开始开发统一的医疗模型具有挑战性。

2. 理解与生成任务之间的冲突

   ：理解任务通常剥离视觉细节以关注抽象，而生成任务需要详细保留，这使得在自回归多模态训练中保持前后LVLMs的一致性成为一个难题。尽管一些方法探索了理解与生成任务之间的相互增强，但性能提升仍然表现出递减的回报，性能退化仍是一个显著问题。

关键问题及回答

问题1：HealthGPT的分层视觉感知（HVP）技术是如何设计的？它在理解和生成任务中如何发挥作用？

分层视觉感知（HVP）技术通过将图像压缩为多个层次上的离散视觉令牌来设计。具体来说，图像通过多层ViT（Vision Transformer）块转换为一系列特征，这些特征被分为具体粒度和抽象粒度两类。具体粒度特征适用于生成任务，因为它们包含了更多的全局信息；而抽象粒度特征适用于理解任务，因为它们更接近文本空间，包含了更多的语义信息。通过这种方式，HVP能够在不同任务之间灵活地调整视觉输入的粒度，从而提高模型在理解和生成任务中的效率。

问题2：异构低秩适应（H-LoRA）技术在HealthGPT中是如何实现的？它有哪些优势？

异构低秩适应（H-LoRA）技术通过低秩矩阵分解将理解和生成任务的异构知识存储在独立的模块中。具体实现过程中，H-LoRA将 bypass weight matrix分解为两个低秩矩阵，从而减少可学习参数的数量。H-LoRA的优势在于其较低的计算开销，特别适用于大规模任务。与混合专家（MoE）方法相比，H-LoRA通过矩阵合并和路由权重分配机制避免了多重矩阵乘法的延迟，显著提高了计算效率。

问题3：HealthGPT的三阶段学习策略是如何设计的？每个阶段的目标是什么？

HealthGPT采用了三阶段学习策略，具体目标如下：

• 第一阶段

  ：多模态对齐。在这个阶段，分别训练医学理解任务和生成任务的视觉适配器和H-LoRA子模块。通过使用高质量的图像-文本对，确保视觉嵌入与文本嵌入的对齐，从而建立初始的模型输出与视觉输入之间的对齐关系。

• 第二阶段

  ：异构H-LoRA插件适应。在这个阶段，微调词嵌入层和输出头，同时保持H-LoRA子模块冻结。通过少量的混合数据，确保不同任务的H-LoRA插件能够无缝衔接，形成统一的基础模型。

• 第三阶段

  ：视觉指令微调。在这个阶段，引入额外的任务特定数据进一步优化模型，使其能够适应具体的下游任务，如医学视觉理解（如医疗问答、医疗对话和报告生成）或生成任务（如超分辨率、去噪和模态转换）。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】