2024年的最后一天，一条年终盘点在科技圈引发热议。这条推文来自Jim Fan（范麟熙），一位在AI领域举足轻重的科学家。

“再说一次AI，我们就提前结束2024”——这个略带调侃的开场白背后，是他对这一年AI发展的深度洞察。

Jim Fan（范麟熙）博士目前在NVIDIA担任高级AI研究科学家，带领GEAR（Generalist Embodied Agent Research）团队，致力于打造能在虚拟和现实世界中"通用"的AI系统。

在 AI 圈子里，他可能是最懂机器人的"大模型专家"，也是最懂大模型的"机器人专家"。

作为李飞飞教授在斯坦福大学视觉实验室的关门弟子，Jim Fan（范麟熙）博士的研究足迹遍布AI领域的顶级机构：

他是OpenAI的首位实习生，还曾在Google Cloud AI、百度硅谷AI实验室和Mila-魁北克AI研究所积累经验。

他在NeurIPS 2022上凭借"MineDojo"项目斩获杰出论文奖，研究成果经常登上《纽约时报》、《福布斯》、《麻省理工科技评论》等主流媒体的头条。

最近，Fan带领团队开发的Eureka项目再次引发关注。

这个项目巧妙结合了大语言模型和NVIDIA的GPU加速仿真技术，让AI能自动写出奖励算法，教会机器人完成复杂任务。

而在具身智能、多模态基础模型、通用机器人等前沿领域，他的研究始终走在世界前列。

在这篇年终盘点中，Fan以一个既是亲历者又是引领者的视角，为我们展现了2024年AI领域的重大突破。

让我们一起走进这个观察敏锐、见解独到的科学家的世界，看看他眼中的AI百花齐放的2024…

---

《再聊一次"AI"，2024就可以提前结束了！》

这一年堪称疯狂。就像扩散模型一样——我们亲眼见证那些科幻愿景逐渐从模糊到清晰。

让我们快速回顾这六大篇章：

1. 机器人硬件
2. 具身智能（机器人大脑）
3. 计算硬件
4. 视频生成与世界建模
5. LLM（大语言模型）
6. AI 赋能科学

第一章：机器人硬件

我们或许是最后一代——身边还没有高级机器人随处可见的人类。

未来，一切可移动的事物都将实现自主化。

1）高端人形机器人的崛起：

这个世界本就是为人类形态设计的，从设施到家电，从工具到器械，都是围绕我们的身体规格而建。

让我们看看几个引人注目的项目：

• Tesla Optimus： 在"We, Robot"活动上敢于做实时交互演示的人形机器人企业很少，特斯拉做到了。第三代机械手配备22个自由度，走在行业前列；
• 1X Neo：立志成为你家附近"友好的小区机器人"，目标是大规模进入家庭；
• 波士顿动力e-Atlas：重型机器人中的佼佼者，360度关节让它能完成令人惊叹的体操动作；
• Figure：从原型到工厂部署，迭代速度惊人；
• 傅立叶智能：GR-1系列已实现规模化生产（数千台）并在全球发货；
• Clone：用"西部世界"风格的仿生肌肉和肌腱设计，为人形机器人实现提供了全新思路。

还有许多新玩家如雨后春笋般涌现。

2）平价机器人硬件的崛起：

成本低于汽车，可规模化生产，不久的将来大多数中产家庭都能负担得起：

• 宇树G1人形机器人：约4万美元，重35公斤，身高1.27米，体型虽小但灵活性出众；
• 宇树B2-W：配备4个轮子的机器狗，机动性能比地球上大多数动物都强；；
• ALOHA：斯坦福出品的低成本开源机器人，配有 2 个抓手。可通过远程遥控完成做蛋卷、叠衣服等复杂操作。

3）Apple Vision Pro在机器人领域扮演着独特角色：

在机器人领域或许能充当数据采集设备的有趣角色。它可实时解析你的头部和手部动作，并将这些动作映射到机器人身上。

第二章：具身智能（机器人大脑）

这里有点"王婆卖瓜"的意味，毕竟这是我的主攻领域 😉

1）Tesla FSD v12：史上最大规模的"实体AI数据飞轮"，将十年自动驾驶积累压缩成一个从感光到行动的神经网络，带来范式转变。

2）NVIDIA的"Project GR00T"：这是英伟达的登月计划，要为通用机器人打造AI大脑。黄仁勋在SAP中心的演讲现场，身后站着10台人形机器人，场面震撼。

3）HOVER：我们团队训练出一个150万参数级的基础模型，让人形机器人的电机协调运作，就像人类小脑每毫秒进行的"潜意识处理"一样。

4）DrEureka：团队纯靠模拟就训练机器狗在瑜伽球上保持平衡行走，并成功零样本迁移到真实硬件。更妙的是，让LLM自动编写奖励函数、调参，研究员可以安心看Netflix等结果。

5）pi0（Physical Intelligence团队）：开发出"视觉-语言-动作（VLA）"模型，能完成叠衣服等多步复杂任务。借助ALOHA这类低成本方案实现数据规模化。

6）OpenVLA（斯坦福）：基于全球实验室共享的机器人运动轨迹数据集（OXE）训练的开源VLA模型。

第三章：计算硬件

1）向上突破：NVIDIA推出Blackwell架构新巨兽，DGX GB200单机架就达到1 Exaflop算力。

2）向下延伸：Jetson Nano Super，249美元就能获得67 TOPS的AI算力，专为边缘设备上的小型LLM设计。这是英伟达的"树莓派时刻"！

3）Google Willow量子芯片：量子计算就像在"多元宇宙"中跑GPU。5分钟内完成的随机电路采样（RCS）任务，普通计算机需要天文数字般的时间（10的25次方年）。

第四章：视频生成与世界建模

1）Sora：2月发布时惊艳全球，12月才面世导致热度略减。首个高分辨率长视频生成模型，仅靠降噪和梯度运算就掌握了复杂渲染和直觉物理。

2）Veo：趁OpenAI迟迟未发，谷歌带着更精准的物理引擎和细腻的物体互动强势补位。

3）动作驱动的世界模型：

• GameNGen：在扩散模型里运行DOOM不是梦
• Oasis：Minecraft也能在扩散模型中畅玩
• GENIE-2：用手柄在扩散模型中操控更多游戏

4）World Labs（李飞飞领衔）：展示了具备强几何一致性的3D生成基础模型，效果令人叹为观止。

第五章：大语言模型（LLM）

【能力前沿】

1）Claude Sonnet-3.5：Anthropic的黑马之作，这款强力模型打破了所有人的预期，实现了惊人突破。

2）Gemini 1.5 pro（支持千万级上下文）：仅靠上下文学习就掌握了英语到卡拉芒语（新几内亚仅存200位使用者）的翻译能力。只用了500页教程、一本词典和400个例句，在神经激活中实现即时学习，而非传统的慢速梯度下降。

3）o1（代号"Strawberry"）：普及了推理时的规模化计算，找到了广泛部署的方法。印证了Sutton的"痛苦教训"：只有"学习"和"搜索"这两种技术能无限扩展，现在该轮到"搜索"唱主角了。

4）o3：强化学习的华丽回归。给一个奖励函数就能"撼动世界"。核心突破在于将单点的强化学习超级智能（如AlphaGo）扩展到更广泛的实用领域（数学、编程等）。

5）真正的AGI测试：完成以下序列：

4o -> o1 -> o3 -> (?)

【人机交互新篇章】

目前的UI/UX设计远远跟不上LLM的能力进化，这个领域被严重低估。

6）实时语音模型崛起：以GPT-4o（高级语音模式）为代表，将传统的三段式流程（语音识别->LLM处理->文本转语音）压缩为一步到位。

7）NotebookLM：重新定义了LLM交互方式。能把任何内容"播客化"，无需提示词，无需阅读，上传文件即可收听生成过程。

【开源社区精彩纷呈】

8）llm.c：Karpathy用纯C语言实现推理，不要Python、不要框架、不要依赖，就是数学与硬件的纯粹对话。这代码写得像诗一样优雅。

9）Llama-3：把GPT-4级别的能力装进每个人的口袋。

10）DeepSeek：来自国产的大模型，开源界本年度最大黑马。资源受限反而激发出惊人的创新。

第六章：AI赋能科学

1）诺贝尔物理学奖：AI研究者请注意，给"机器学习"改名叫"统计力学"，就有资格角逐最高奖了（笑）。

2）诺贝尔化学奖：再提一次"诺贝尔"…开个玩笑。恭喜Demis和AlphaFold团队创造百年突破。先把AI搞定，再用AI搞定一切！

3）Neuralink：脊髓损伤患者现可用意念控制鼠标浏览网页、直播、玩文明6，甚至玩Switch上的马里奥赛车。通过将生物电信号转换为人工神经脉冲，再映射到鼠标操作，这成就被严重低估了。

结语：

ChatGPT发布已两年，Transformer论文面世七载。

在炒作、承诺与忧虑并存的时代，我们需要更高的"信噪比"。

用威尔逊的话作为总结：

“人类真正的问题是：我们依然有着旧石器时代的情感，中世纪的制度，却拥有如神般的技术。”

好在我们能参与打造这项技术，定义它在制度、社会和文化中的角色。

AI必将成为人类未来的重要组成，只要运用得当，就能成为改变世界的正向力量。