突破视频视角限制：InSpatio-World利用自回归框架实现时空演化；OpenAI发布GeneBench-Pro：专为AI Agent打造基因与生物医学科研评测环境
公共资源速递
10 个公共数据集：
* WGO-Bench 机器人视频基准数据集
* RedlineBench 法律合同谈判基准数据集
* OmniVideo-100K 音视频推理指令数据集
* FIFA World Cup 2026 世界杯比赛数据集
* Nemotron-SFT-SWE-v3 指令微调数据集
* Open-SWE-Traces 智能体指令微调数据集
* AgentWorldBench 语言世界模型基准数据集
* Agents Last Exam 智能体长周期任务数据集
* RadImageNet-VQA 医学影像视觉问答数据集
* GeneBench-Pro Public Package 基因案例基准数据集
11 个公共教程：
* InSpatio-World：实时 4D 世界模拟器
* Foundation-1：结构化文本到音乐采样生成
* DiaMoE-TTS：基于 IPA 的多方言语音合成教程
* SAM-Audio：用自然语言分离音频中的任意声音
* DreamOmni2：多模态指令驱动的图像编辑与生成
* PixelRefer：统一的图像与视频细粒度对象理解框架
* EdgeTAM：面向端侧设备的可提示图像与视频分割模型
* Step-Audio-EditX：零样本语音克隆与表达式音频编辑
* Irodori-TTS-500M-v3：日文语音合成与 Emoji 风格控制
* PrismAudio：基于分解思维链与多维奖励的视频到音频生成
* North Mini Code 1.0：面向代码生成与软件工程任务的 Agent 模型
访问官网立即使用：openbayes.com
公共数据集
1. WGO-Bench 机器人视频基准数据集
该数据集包含共包含 100 个视频片段（Episodes），涵盖 743 个黄金子任务片段（Segments）与 63 种独立任务指令，旨在评估视觉语言模型将机器人及第一人称操作视频转换为带时间戳的子任务标注的能力，主要面向边界检测与子任务标注两项任务，标注标签侧重于描述视频片段中可见的完整操作事件与状态变化。
* 在线使用：
2. RedlineBench 法律合同谈判基准数据集
该数据集包含 140 个可运行的 Harbor 任务，覆盖 3 个多轮谈判场景（两个 SaaS MSA 场景和一个专业服务 MSA 场景），每个场景分为 4 个交替回合，旨在衡量 AI 智能体在真实商业交易场景下的红笔批注与谈判决策能力。
* 在线使用：
3. OmniVideo-100K 音视频推理指令数据集
该数据集包含源自 5,214 个 YouTube 视频的 100k 个问答对，按任务格式划分为 70k 条开放式问答对与 30k 条多项选择题，涵盖 10 类音视频问答任务，分为对齐、理解与推理三个认知层级。
* 在线使用：
数据集示例
4. FIFA World Cup 2026 世界杯比赛数据集
FIFA World Cup 2026 是一个面向足球数据分析与机器学习建模的世界杯 2026 比赛数据集，旨在支持深度足球情报分析、统计建模与机器学习预测任务。该数据集包含结构化的比赛数据、球员数据以及球队数据三大核心部分，覆盖比赛级、球员级与球队级的多维统计信息。
* 在线使用：
5. Nemotron-SFT-SWE-v3 指令微调数据集
Nemotron-SFT-SWE-v3 是由 NVIDIA 于 2026 年发布的一个软件工程指令微调数据集，旨在提升大语言模型在 SWE-Bench 风格任务中的代码理解与修复能力。该数据集包含 237,970 条样本，数据来源于使用 OpenHands、SWE-agent 和 mini-SWE-agent 等多种代理框架收集的 agent 轨迹，并通过自动化与合成的方式进行采集与标注。
* 在线使用：
6. Open-SWE-Traces 智能体指令微调数据集
Open-SWE-Traces 是由 NVIDIA 于 2026 年发布的一个面向大语言模型智能体指令微调的数据集，旨在提升模型在软件工程领域的代码修复与多步工具调用能力，广泛应用于代码智能体训练、自动化软件修复系统开发、SWE-Bench 基准测试优化、以及大模型在软件工程任务中的监督微调与蒸馏研究。
* 在线使用：
7. AgentWorldBench 语言世界模型基准数据集
AgentWorldBench 是由 Qwen 于 2026 年发布的一个语言世界模型综合评估基准数据集，旨在评测语言世界模型的环境建模与推理能力，广泛应用于大模型 Agent 能力评测、工具调用与系统交互验证，以及自动化软件工程和操作系统级任务研究。
* 在线使用：
8. Agents Last Exam 智能体长周期任务数据集
Agents Last Exam（ALE）是一个专注于评估计算机智能体在长周期专业工作中表现的任务数据集，旨在为智能体评估提供结构化描述。该数据集是 v1.0 版本，包含 ALE 基准测试中的 153 个任务信息，涵盖任务标题、摘要、分类体系、完整指令提示词、必做动作清单、预期软件及输入文件描述符等数据。
* 在线使用：
9. RadImageNet-VQA 医学影像视觉问答数据集
RadImageNet-VQA 是一个用于放射学视觉问答（VQA）任务的大规模医学数据集，旨在提升医学多模态模型在 CT / MRI 影像中的视觉理解与问答推理能力，广泛应用于医学视觉问答任务、放射影像分析模型训练与评测、以及多模态医疗AI研究与应用开发。
* 在线使用：
10. GeneBench-Pro Public Package 基因案例基准数据集
GeneBench-Pro Public Package 是由 OpenAI 发布的公开基因分析基准评测数据集，旨在为人工智能代理（AI Agents）在基因与生物医学领域提供可复现的科研案例研究评估环境。该数据集包含 10 个面向基因组学与生物信息学领域的独立问题案例，覆盖统计遗传学、临床基因组学、群体遗传学、单细胞分析、三维基因组学及功能基因组学等领域。
* 在线使用：
公共教程
1. InSpatio-World：实时 4D 世界模拟器
InSpatio-World 是由 InSpatio 团队于 2026 年 3 月发布的一款基于时空自回归建模（Spatiotemporal Autoregressive Modeling）的实时 4D 世界模拟器，能够根据输入视频与指定的相机轨迹，生成稳定、可控的新视角视频，实现相机路径的自由控制与时序一致的世界演化。
* 在线运行：
项目示例
2. Foundation-1：结构化文本到音乐采样生成
Foundation-1 由 RoyalCities 团队于 2026 年 3 月发布，是面向专业音乐制作流程的文本转采样音频生成模型。官方实现支持分层可控生成，可自定义乐器大类、细分音色、音效修饰、乐理和弦、速度调号与小节长度，产出节奏同步、调性锁定的成品音乐循环片段。
* 在线运行：
项目示例
3. DiaMoE-TTS：基于 IPA 的多方言语音合成教程
DiaMoE-TTS 项目由 Giant AI Lab 于 2025 年 9 月发布，用于以国际音标（IPA）为统一前端的多方言语音合成。其创新在于把方言专属知识下沉到 Mixture-of-Experts（MoE）专家路由，并通过 LoRA / Conditioning Adapter 等参数高效方式实现对新方言的零样本快速适配。
* 在线运行：
项目示例
4. SAM-Audio：用自然语言分离音频中的任意声音
SAM-Audio 是由 Meta（Facebook Research）于 2025 年 12 月发布的音频源分离基础模型。SAM-Audio 能够根据自然语言描述、视频中的视觉线索或时间跨度，从复杂的音频混合中分离出特定的声音。
* 在线运行：
项目示例
5. DreamOmni2：多模态指令驱动的图像编辑与生成
DreamOmni2 是由香港中文大学 JIA Lab 于 2025 年 10 月发布的多模态指令驱动图像编辑与生成模型，已被 CVPR 2026 接收为 Highlight 论文。它基于 FLUX.1-Kontext-dev 基座模型和微调后的 Qwen2.5-VL-7B 视觉语言模型，支持以自然语言指令结合参考图像进行图像编辑和生成。
* 在线运行：
项目示例
6. PixelRefer：统一的图像与视频细粒度对象理解框架
PixelRefer 项目由 Alibaba DAMO Academy 于 2025 年 10 月发布，用于图像与视频中的细粒度对象指代、描述生成和问答理解。其创新在于提出统一的区域级多模态大语言模型框架，引入 Scale-Adaptive Object Tokenizer（SAOT）生成紧凑且语义丰富的对象表示，并通过 PixelRefer-Lite 的 Object-Only Framework 降低计算成本。
* 在线运行：
项目示例
7. EdgeTAM：面向端侧设备的可提示图像与视频分割模型
EdgeTAM 项目由 Meta Reality Labs 与新加坡南洋理工大学 S-Lab 于 2025 年 1 月发布，用于资源受限设备上的可提示图像分割与视频目标跟踪。其创新点在于引入 2D Spatial Perceiver，并结合蒸馏流程降低 SAM 2 记忆注意力机制带来的延迟与计算开销，在保持分割质量的同时实现高效的端侧 Track Anything 交互。
* 在线运行：
项目示例
8. Step-Audio-EditX：零样本语音克隆与表达式音频编辑
Step-Audio-EditX 项目由 StepFun 于 2025 年 11 月发布，用于零样本语音克隆与可迭代的表达式音频编辑。其创新在于使用 3B 参数 LLM + 强化学习架构，将情感、说话风格、副语言作为可叠加编辑的离散控制项，支持普通话、英语、四川话、粤语、日语、韩语。
* 在线运行：
项目示例
9. Irodori-TTS-500M-v3：日文语音合成与 Emoji 风格控制
Irodori-TTS 项目由开发者 Aratako 于 2026 年 5 月发布，用于日文文本转语音、零样本声音克隆和 Emoji 驱动的语音风格控制。其创新在于使用 Rectified Flow Diffusion Transformer（RF-DiT）在连续 DACVAE 潜在空间中生成 48 kHz 语音，并结合参考音频条件、自动时长预测和 Emoji 标注来控制音色、情绪与非语言发声。
* 在线运行：
项目示
10. PrismAudio：基于分解思维链与多维奖励的视频到音频生成
PrismAudio 是由通义实验室于 2025 年 11 月发布的视频到音频生成模型，已入选 ICLR 2026 主会。PrismAudio 是首个将强化学习（RL）引入 V2A 生成的框架，构建在 ThinkSound 的思维链规划机制之上，将单步推理分解为四个专门的 CoT 模块——语义、时序、美学和空间，每个模块配备针对性的奖励函数，实现多维度的 RL 优化，从而同步提升各感知维度的推理质量。
* 在线运行：
项目示例
11. North Mini Code 1.0：面向代码生成与软件工程任务的 Agent 模型
North Mini Code 1.0 由 Cohere 与 Cohere Labs 于 2026 年 6 月发布，是一个面向代码生成、终端任务和 Agent 软件工程场景的开源权重模型。该模型的核心特点包括长上下文、面向代码任务优化的推理能力，以及对工具调用和 interleaved thinking 的支持。
* 在线运行：
项目示例
中国智能体开发者社区，聚焦智能体与大模型开发，提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动，促进经验交流与协作，助力开发者快速构建创新智能应用。
更多推荐
9
0- 0
已为社区贡献8条内容
所有评论(0)