邓志东：大模型时代的新能源汽车自动驾驶发展趋势免费下载

2025 中国汽车流通行业新春启航大会暨促消费大会大模型时代的新能源汽车自动 驾驶发展趋势演讲人 ：邓志东教授 / 博士生导师北京信息科学与技术国家研究中心清华大学计算机科学与技术系清华大学人工智能研究院视觉智能研究中心2025.2.22一、范式变革：基于多模态大模型的自动驾驶技术二、世界模型驱动的一段式端到端解决方案可望获得突破三、发展趋势：从感知智能到认知智能清华大学人工智能研究院视觉智能研究中心Visual Intelligence Research Center (V IRC), Institute for Artificial Intelligence, Tsinghua University提纲 OUTLINES一、范式变革：基于多模态大模型的自动驾驶技术二、世界模型驱动的一段式端到端解决方案可望获得突破三、发展趋势：从感知智能到认知智能清华大学人工智能研究院视觉智能研究中心Visual Intelligence Research Center (V IRC), Institute for Artificial Intelligence, Tsinghua University提纲 OUTLINESVLA 融合了感知空间与动作空间 ，给出了两个空间与三大任务：• 两大空间： 从感知或观察空间到动作空间 ，还是从动作空间到感知空间？• 两个空间之间的单段式或单模型一体化相互作用；• 三个下游微调模型 ， 即三大任务： 具身理解、 具身推理与具身动作生成大模型；• 基于上述三大微调模型 ， 可优化训练更多的下游微调模型一、范式变革： 基于多模态大模型的自动驾驶技术• VLM ：视觉 - 语言（文本）模型• VLA ：视觉 - 语言 - 动作模型本质上将 VLM 面向数字空间的理解与生成推向了面向物理世界的理解与生成！1 、多模态大模型推动具身智能体发展决策推理或策略2025 中国汽车流通行业新春启航大会暨促消费大会动作空间感知空间- 性能增强的 VLA ： 可望提升图像、 视频、 3D 点云与语义地图等多模态数据的语义对齐水平 ，从而获得更好的交叉理解；一、范式变革： 基于多模态大模型的自动驾驶技术• VLM ：视觉 - 语言（文本）模型• VLA ：视觉 - 语言 - 动作模型1 、多模态大模型推动具身智能体发展2025 中国汽车流通行业新春启航大会暨促消费大会- 性能增强的 VLA ： 也可望改善开放场景下的实例分割与目标检测准确率 ， 实现更好的视觉 “分词”；一、范式变革： 基于多模态大模型的自动驾驶技术• VLM ：视觉 - 语言（文本）模型• VLA ：视觉 - 语言 - 动作模型1 、多模态大模型推动具...