刚刚夙昔的 GTC Taipei 上,最备受暖和的,莫过于Cosmos 3。

这是一个十足开源的物理 AI 全模态模子。老黄示意,Cosmos 3 辞寰球生成这项上,在 Artificial Analysis、Physics-IQ、PAI-Bench、R-Bench 四个开源榜单上均列第一。

前三个 bench 都算业界比较眼熟的,而R-bench——我故意查了查,这个让 Cosmos 3 霸榜的榜单,竟出自一支北大团队。
这篇责任已被 ICML 2026 接收,名字叫《Rethinking Video Generation Model for the Embodied World》,来自北京大学、字节非常 Seed 等机构的研讨团队。
他们提倡了面向具身寰球的视频生成评测与数据基础设施:R-Bench+RoVid-X。

值得肃穆的是,在作家列内外,字节 Seedance 2.0 的预磨砺追究东说念主曾妍,也赫然在列。
R-Bench:专门给机器东说念主视频生成请的"考官"
Cosmos 3 是英伟达此次 GTC Taipei 的主角之一。
按老黄的说法,它是寰球首个十足开源的物理 AI 全模态模子,基于一种 mixture-of-transformers 架构,能在一个模子里同期相识和生成文本、图像、视频、环境声息,乃至机器东说念主的动作。
Nano 和 Super 两个尺寸,都也曾挂上了 Hugging Face。

换句话说,Cosmos 3 要作念的不是"拍出排场的视频",而是给机器东说念主、自动驾驶这些要在确切寰球里干活的系统,生成"物理上说得通"的数据。
但问题它就来了。
一个模子生成的机器东说念主视频,到底是不是"物理上说得通",该用什么来揣摸?
夙昔一年,视频生成的故事险些都绕着并吞个问题伸开:谁能拍得更了了、更踏实、更有电影感。
但在机器东说念主场景里,画质排场是一趟事,能不行用又是另一趟事。
要是一个模子能生成传神的机械臂,却让夹爪穿过物体;能让机器东说念主看起来"动起来",却无法完成抓取、摈弃、回身、相助等任务,那么它距离 Physical AI 需要的"寰球模子",仍然隔着一条鸿沟。
R-Bench的中枢起点,等于把视频生成模子从"视觉生成器"放到"物理寰球模拟器"的语境下重新评估。
它不单看画面是否传神,而是系统性揣摸模子是否能生成相宜具身任务逻辑和物理拘谨的视频。

具体而言,R-Bench 是一个以机器东说念主为中心的视频生成评测基准,包含650 个图像 - 文本评测样本,从5 类任务智力和4 类机器东说念主形态两个维度构建。
在职务维度上,R-Bench 粉饰操作实践、空间关系、多主体相助、万古策动和视觉推理;在机器东说念主形态维度上,粉饰单臂、双臂、四足和东说念主形机器东说念主。

这么的遐想让 R-Bench 不再只问"视频像不像",而是进一步追问:
机器东说念主有莫得信得过斗殴到主义物体?
任务环节门径是否完竣出现?
多个物体或多个主体之间的关系是否合理?
机器东说念主形态在畅通经由中是否保持踏实?
万古序动作是否相宜任务逻辑?
因此,R-Bench 不仅仅一个名次榜,更可以动作机器东说念主视频生成数据的"物理质地过滤器":
它能够评估生成视频是否称心斗殴关系、动作要领、形态踏实性和任务完成度等物理拘谨,从而匡助筛选出更相宜物理法则、可用于具身智能磨砺的数据。
为了捕捉这些问题,R-Bench 遐想了一套可复现的自动化评测方针体系,能够识别机器东说念主形态畸变、物体属性漂移、部件摇荡或穿模、无斗殴抓取、编造出现物体、环节动作缺失等常见失败模式。
值得肃穆的是,R-Bench 的自动打分,和东说念主工评测的 Spearman 联系悉数达到0.96。

这意味着它不仅仅个自动跑分器用,在很猛进度上对都了东说念主类对"物理合不对理""任务完没完成"的判断。
榜单上还能看到什么?
在最新 R-Bench Leaderboard 中,Cosmos 3 系列也曾成为开源社区最亮眼的模子之一。
Cosmos3-Nano 以0.584的详尽得分位列 RBench 开源模子第一,Cosmos3-Super 紧随其后,拿到0.581。

放到悉数这个词榜单里看,这传递出两个信号。
一所以物理 AI 为主义磨砺的视频寰球模子,也曾驱动在机器东说念主图像到视频生成上展现竞争。
比拟传统通用视频模子,它的上风不单在画质,更在于更接近具身智能需要的物理模拟与动作延展智力。
二是闭源交易模子详尽智力仍然着手,但开源正在快速追逐。
对研讨社区来说,尊龙凯时官方网站这种"开源能打"的信号,比单个模子更强更垂危。

而比排名更有价值的,是 RBench 照出来的几处共性短板:
雅致操作照旧老浩劫。移动、回身这类大幅动作模子也曾作念得可以,但抓、合手、拧、插、摈弃这些对斗殴建模条件高的动作,最容易出错。
万古策动仍是弱项。视频看起来连贯,不代表任务逻辑正确,模子可能动作灵通却漏掉环节门径,或者把要领搞反。
通用常识和机器东说念主数据没"合上"。纯通用视频有丰富的寰球常识但缺机器东说念主交互,纯机器东说念主数据又每每鸿沟有限、形态单一。
从这个角度看,R-Bench 更像一面镜子,把视频模子在物理寰球里的确切软肋照了出来。
RoVid-X:400 万条机器东说念主视频,开源了
发现了问题,下一步等于喂数据。这恰是RoVid-X要处治的事。
团队也曾在 Hugging Face 上开源了 RoVid-X 的垂危子集(300 万条机器东说念主视频),上线后热度攀升很快——它在 Datasets Trending 的 Video 模态大鸿沟数据伙同排名第一,在沿路 6.5 万多个 Video 模态数据集的合座 Trending 里也位列第九。
这响应了 RoVid-X 动作面向机器东说念主视觉 / 视频相识的大鸿沟数据资源,在开源社区中的快速影响力。
数据集的完竣版鸿沟达到400 万条机器东说念主视频片断、1300+ 细粒度手段、1 万 + 小时实质,分辩率 720P,并附带 RGB、深度、光流等多模态物理标注。

和通用互联网视频不同,RoVid-X 要让模子斗殴的是更接近确切的机器东说念主交互经由:物体怎么被抓取、机械臂怎么接近主义、任务怎么被分解、动作和环境怎么共同造成物理拘谨。
这种数据关于视频寰球模子尤其环节。因为物理相识不是粗拙靠教导词补出来的,而需要模子在多量交互数据中学习斗殴、要领、力学关系和结构踏实性。
实验完毕也涌现,引入 RoVid-X 数据后,模子在具身任务中的发扬能够获取踏实擢升。
举例在 Wan 系列模子上,经过 RoVid-X 微调后,模子在操作实践、万古策动和空间相识等维度均有深切改善。

这领悟高质地、结构化的机器东说念主视频数据,照实能够擢升视频生成模子面向具身场景的可实践性与踏实性。
这项责任的意旨,不单在于多了一个 benchmark 和一个 dataset,而是把视频生成放进了物理 AI 的语境里重新注目。
夙昔视频生成更多管事于实质创作:告白、短片、殊效。往后,它可能成为机器东说念主磨砺、仿真环境构建和具身智能数据闭环的基础设施。
当模子驱动相识斗殴、要领、结构踏实性和动作后果,"生成一段看起来合理的视频"就在向"可用于物理寰球推演的寰球模拟引擎"鸠合。
R-Bench 和 RoVid-X 是在这个转向中补上两块环节拼图:一个修起"怎么评估",一个修起"怎么磨砺"。
跟着 Cosmos 3 等 Physical AI 视频寰球模子参加 R-Bench 榜单并取得开源 Top-1,具身视频生成的竞争也正在从单纯比拼视觉后果,转向更接近确切寰球的物理相识和任务实践智力。
关于开源社区而言,这大约是一个更垂危的信号:Physical AI 的进展,不单属于闭源模子和交易系统,也可以成立在怒放评测、怒放数据和怒放模子共同演化的基础之上。
按团队的策动,下一步还会去作念从生成视频反推可实践动作的 Inverse Dynamics Model,进一步买通视频生成、战略学习和真机部署之间的闭环。
视频生成模子的下一站,大约简直不仅仅拍电影,而是模拟、相识,并参与确切的物理寰球。
团队配景
这支团队叫DAGroup,来自北京大学,追究东说念主是周大权。

周大权的经验,碰巧踩在此次责任的题眼上。
他从 2022 年就驱动作念视频生成,是最早一批入场的东说念主之一——
代表作 MagicVideo 是业界最早的隐空间扩散视频模子之一,其后还有 MagicVideo-V2、StoryDiffusion、Magic-Me 等一系列责任。

在腾讯混元视频模子 HunyuanVideo 中,他携带了模子预磨砺与扩散算法遐想团队。
更早之前,他在模子与硬件效用标的也颇有蕴蓄,Coordinate Attention 曾被列为 CVPR 2020 最具影响力论文第 2 名。

如今回到北大作念助清醒说,他把研讨重点放到了机器东说念主、AIGC 和 VLA 上。
他自述,我方的研讨长期带着一条"用最少的算力和内存,跑最强的算法"的干线。
K8凯发中国官方网站除 R-Bench/RoVid-X 外,DAGroup 还在股东 HumanNet、StableVLA 等多个具身与寰球模子标的的开源风景。
论文地址:
https://arxiv.org/abs/2601.15282
Project Page:
https://dagroup-pku.github.io/ReVidgen.github.io/
GitHub 地址:
https://github.com/DAGroup-PKU/HumanNet
R-Bench Leaderboard:https://huggingface.co/spaces/DAGroup-PKU/Leaderboard
RoVid-X Dataset:https://huggingface.co/datasets/DAGroup-PKU/RoVid-X/
— 接待 AI 居品从业者共建 —
� �「AI 居品常识库」是量子位智库基于历久居品库跟踪和用户行动数据推出的飞书常识库,旨在成为 AI 行业从业者、投资者、研讨者的中枢信息关节与有策动复古平台。

一键暖和 � � 点亮星标
科技前沿进展逐日见尊龙凯时官方网站