1.知识图谱引导的多模态数据融合

创新亮点：借助知识图谱引导多模态信息融合，增强语义理解能力。

具体操作：在多模态任务里，引入外部知识图谱为不同模态（例如图像、文本、视频）构建统一的语义框架，助力模型更出色地完成理解和推理工作。可借助知识图谱提升图像描述或视频问答等任务的性能表现。

模型参考：CLIP + Knowledge Graph

数据集：MSCOCO、VisualGenome

Baseline: CLIP

2.基于图谱的多模态情感分析

创新亮点：运用知识图谱为情感分析任务提供更丰富的上下文信息，提高准确度。

具体操作：在情感分析过程中，融入情感相关的知识图谱信息，辅助模型捕捉复杂的情感表达，尤其针对跨模态（如文本、图像、语音）的情感理解。

模型参考：BERT + Knowledge Graph

数据集：EmoReact、Affective Text

Baseline: BERT

3.跨模态知识图谱构建

创新亮点：基于多模态数据构建动态知识图谱，增强信息整合能力。

具体操作：利用多模态数据（图像、文本、语音）动态生成知识图谱，既能提升数据间的关联性，又能借助图谱结构优化后续的多模态推理任务。

模型参考：GCN + Vision-Language Models

数据集：Visual Genome、Flickr30k

Baseline: GCN

4.知识图谱增强的多模态对话系统

创新亮点：把知识图谱融入多模态对话系统，提升对话的深度和语义准确性。

具体操作：在对话系统中结合知识图谱，辅助系统获取更多背景信息和上下文，提高回答的合理性和信息量，特别是在多轮对话中的表现。

模型参考：T5 + Knowledge Graph

数据集：DSTC、KVMemN2N

Baseline: T5

📙另外，我整理了十篇关于多模态的最新论文及代码，方便大家参考。