相信大家刚接触具身智能时，经常会被各种各样的名词难倒。
    
今天，就来讲一讲LLM,VLM,VLA ，这三个比较容易混淆的名词以及他们的本质
    
LLM（Large Language Model ），即大语言模型，包括大家熟知的ChatGPT等等模型。LLM以文本为核心输入/输出的模型，通过学习海量语言数据，具备语义理解、生成和推理能力
    
当然，LLM的缺点也很明显，就是只能通过语言文字进行交互，只能当作一个对话机器人，实用性较差
    
VLM（Vision -Language Model ），即视觉语言模型。传统的transformer中，我们将文字作为token输入给模型，用以预测及输出
    
而VLM在语言的维度之上加入了视觉这个维度，采用CLIP或是BLIP等方法，将视频或是图像这样的视觉特征转换为token，输入到模型之中，用以预测

VLA（Vision-Language-Action ），就是现在热门的视觉-语言-动作大模型了。前面的视觉-语言，采用的还是和VLM类似的结构，但在视觉感知的输入层，会根据机器人各种传感器的不同而微调一些

当然，输入也不局限于视觉，动作也可以被编码而作为token输入大模型用来辅助预测

VLA的难点之一，在于如何将Language维度映射到Action维度

目前业界有两种思路，一种是强映射，也就是直接在prompt中强行设定，比如看到什么东西或者什么命令就做什么动作

另一种则是让模型自主决定做什么动作，通常这种模型，不仅要求数据集多样，也要求结构上有所改进

比如helix，pi系列，都是采用分层结构，高层处理语义信息，生成动作，下层则根据动作，映射到各个关节。也就是上层负责想，下层负责做