本文提出ROC方法，将多模态关系抽取从传统分类范式转变为检索范式。通过多模态实体对编码器联合建模实体类型与位置信息，关系语义编码器将关系标签转化为自然语言描述，以及对比语义检索策略建立实体对与关系描述的匹配机制。该方法克服了传统分类方法在标签语义表达和细粒度关系区分上的局限，在MNRE和MORE数据集上均取得最优性能，为多模态关系抽取提供了新思路。

1

动机

关系抽取旨在从非结构化文本中自动识别实体间的语义关系。传统的基于纯文本的关系抽取方法面临两大挑战：

• 自然语言固有的歧义性使得基于文本的关系抽取方法常因上下文不足而产生错误判断。
• 现实数据常伴随视觉信息，这使得现实场景中的关系判别往往需要综合图文线索协同推理。

尽管近期的工作已经将传统的关系抽取扩展到多模态场景，但大多数方法仍采用将多模态特征映射到预定义关系类别的离散分类范式，这存在两个关键问题：

• 现有方法在全局特征空间执行分类时，忽略了实体类型之间的结构化约束。

例：对于"location_at"关系，其主体通常限定为"location"或"organization"类型，客体多为"location"类型。若不建模类型先验，模型往往需要在较大的实体对空间中搜索目标关系，这显著增加了判断难度，影响分类精度。

• 基于固定标签索引的分类机制存在语义表达瓶颈，难以捕捉关系间的细粒度语义差异。

例：“Peer” 与 “Couple” 在表示空间中的语义相似，分类模型容易将一对已婚夫妻误分类为 “Peer”。这种错误源于离散标签的表达力有限，难以区分语义相近但本质不同的关系，从而削弱了模型识别细微关系差异的能力。

为此，本文提出ROC，将多模态关系抽取重新表述为一个由关系语义驱动的检索任务。

2

方法概述

ROC主要由三个核心组件组成：

• **多模态实体对编码器：**联合建模实体类型与位置信息，引导模型排除语义或空间上不一致的实体组合，并有效融合文本和视觉特征；
• **关系语义编码器：**通过自然语言的方式构造关系描述，并利用语言模型将其嵌入至统一语义空间，从而显式建模关系类别的语义差异；
• **对比语义检索策略：**在多模态实体对表示与关系语义之间建立匹配机制，通过优化实体对与其真实关系描述之间的语义相似度，实现判别性更强的关系抽取。

1. 多模态实体对编码器

首先使用Stanford NER工具识别输入文本中的实体类型，再将识别出的类型信息作为显式语义提示嵌入原始文本序列中，引导模型在编码过程中感知类型先验。增强后的文本序列通过BERT进行编码，得到文本特征表示
同时，采用ViT提取视觉特征

并将其输入至多个Transformer编码层，通过多头自注意力机制实现深层的跨模态语义融合：

最终，实体对表示通过一层带非线性激活的全连接网络进行融合，得到用于关系预测的多模态实体表示：

2. 关系语义编码器

首先借助GPT-4o模型将训练数据中的每个关系标签扩展为一段自然语言描述，并通过人工审核确保描述内容的准确性与语义一致性。

3. 对比语义检索机制

受SimCLR方法启发，本文通过最大化正样本（即实体对与其对应的关系描述）之间的余弦相似度，同时最小化其与同一批次中其他负样本关系描述之间的相似度，优化模型对语义关系的判别能力。损失函数定义如下：

ROC充分利用实体对表示和关系语义，以检索的方式自然地缩小搜索空间，有效克服传统分类方法在标签语义表示和细粒度关系区分上的局限性。

3

实验结果

在两个主流多模态关系抽取数据集上进行评估：MNRE和MORE，分别代表社交媒体环境中的图文关系抽取与目标-实体关系分类任务，涵盖丰富的图文对齐及关系类型信息。

与现有多个具有代表性的模型进行比较：

• ROC在MNRE数据集上取得90.97%的准确率，在召回率（90.85%）和F1分数（91.22%）上超过其他方法。
• ROC在召回率上的提升表明，其基于检索的关系语义建模能够更深入理解实体间语义关系，从而比传统离散标签分类方法更准确地识别正样本。相比TMR和CAMRE等依赖额外信息（如生成图像描述或合成样本）的模型，ROC通过显式考虑负样本（“None”关系），在召回率上实现更明显提升，证明检索式范式对语义关系建模更全面。
• 在MORE这一更具挑战性的数据集上，ROC在F1、召回、准确率和精确率上全面领先，F1分数达到71.97%。

整体来看，ROC通过将实体对与潜在语义关系对齐，验证了基于检索的多模态关系抽取方法的有效性，在两个数据集上均取得最优F1分数，证明了模型设计在多模态语义理解和关系预测上的优势。

4

总结

1. 本文提出了一种基于关系语义检索的多模态关系抽取方法ROC。ROC利用以实体为中心的多模态编码、位置感知的结构建模和关系感知的语义检索，在不同场景下实现了稳健的性能。
2. 在MRE和MORE两个真实数据集上进行的大量实验表明，ROC在MNRE和MORE数据集上优于各类基线方法。
3. ROC突破了传统分类方法在标签语义上的缺乏以及对细粒度语义区分上的局限，为结构化关系抽取提供了一种新的范式。

读者福利大放送：如果你对大模型感兴趣，想更加深入的学习大模型**，那么这份精心整理的大模型学习资料，绝对能帮你少走弯路、快速入门**

如果你是零基础小白，别担心——大模型入门真的没那么难，你完全可以学得会！

👉 不用你懂任何算法和数学知识，公式推导、复杂原理这些都不用操心；
👉 也不挑电脑配置，普通家用电脑完全能 hold 住，不用额外花钱升级设备；
👉 更不用你提前学 Python 之类的编程语言，零基础照样能上手。

你要做的特别简单：跟着我的讲解走，照着教程里的步骤一步步操作就行。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

现在这份资料免费分享给大家，有需要的小伙伴，直接VX扫描下方二维码就能领取啦😝↓↓↓

为什么要学习大模型？

数据显示，2023 年我国大模型相关人才缺口已突破百万，这一数字直接暴露了人才培养体系的严重滞后与供给不足。而随着人工智能技术的飞速迭代，产业对专业人才的需求将呈爆发式增长，据预测，到 2025 年这一缺口将急剧扩大至 400 万！!

大模型学习路线汇总

整体的学习路线分成L1到L4四个阶段，一步步带你从入门到进阶，从理论到实战，跟着学习路线一步步打卡，小白也能轻松学会！

大模型实战项目&配套源码

光学理论可不够，这套学习资料还包含了丰富的实战案例，让你在实战中检验成果巩固所学知识

大模型学习必看书籍PDF

我精选了一系列大模型技术的书籍和学习文档(电子版)，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。

大模型超全面试题汇总

在面试过程中可能遇到的问题，我都给大家汇总好了，能让你们在面试中游刃有余

这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

👉获取方式：

😝有需要的小伙伴，可以保存图片到VX扫描下方二维码免费领取【保证100%免费】

相信我，这套大模型系统教程将会是全网最齐全 最适合零基础的！！