《LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities and Future Opportunities》系统地评估了大语言模型在知识图谱构建与推理方面的能力，并提出了未来发展的方向。以下是论文的核心内容总结：

研究目标

• 评估以 GPT-4 为代表的大语言模型在知识图谱构建与推理任务中的表现。
• 探讨LLMs是否真正具备泛化能力，还是仅依赖预训练中的记忆知识。
• 提出一种新型的自动化知识图谱构建与推理框架 AutoKG。

评估任务与数据集

• KG构建任务：实体与关系抽取、事件抽取
• KG推理任务：链接预测、知识问答
• 数据集：DuIE2.0, SciERC, Re-TACRED, MAVEN, FB15K-237, ATOMIC2020, FreebaseQA, MetaQA

主要发现

1. LLMs 在 KG 任务中的表现

• GPT-4 在零样本和少样本设置下表现优于 ChatGPT 和 text-davinci-003。
• 在推理任务（如问答、链接预测）中表现更佳，甚至接近或超越专门调优的SOTA模型。
• 在构建任务（如关系抽取）中表现较弱，尚未超越SOTA模型。

2. 领域适应性

• 在通用领域（如Re-TACRED）表现更好。
• 在专业领域（如SciERC）表现较差，可能因训练语料偏重通用性。

3. 虚拟知识抽取实验

• 提出 VINE 数据集，包含虚构的实体与关系，用于测试LLMs的泛化能力。
• GPT-4 在虚拟知识抽取任务中准确率达 80%，显著优于 ChatGPT（27%），表明其具备从指令中学习新知识的能力。

未来方向：AutoKG

• 提出 AutoKG：基于多智能体协作的自动化KG构建与推理框架。
• 智能体角色包括：
  • KG Assistant（咨询者）
  • KG User（领域专家）
  • Web Searcher（外部知识检索）
• 优势：
  • 减少人工干预
  • 结合外部知识源
  • 提升专业领域KG构建质量
• 挑战：
  • Token 限制
  • 人机交互效率
  • LLM 幻觉问题

结论

• LLMs（尤其是GPT-4）在KG推理任务中表现优异，具备较强的上下文学习与泛化能力。
• 在KG构建任务中仍有提升空间，尤其是在专业领域。
• AutoKG 展示了多智能体协作在KG构建中的潜力，是未来研究的重要方向。

关键词

Knowledge Graph, Information Extraction, GPT-4, Large Language Model, AutoKG, Virtual Knowledge Extraction, VINE