新闻 | 滚动 | 上海 | 政务 | 评论 | 国内 | 社会 | 政法 | 国际 | 军事 | 财经 | 体育 | 娱乐 | 历史 | 汽车 | 图片 | 视频 | 曝光 | 微博 | 专题 | 旅游 | 彩票 | 健康 | 百货 | 导购

BEV“超融合”感知部署 轻舟智航迈出量产从0到1的关键一步

2023-11-01 20:27 来源: 华龙网

为了加强对车端道路几何认知能力的训练,轻舟智航研发了高精地图预标注模型MapBEV,可通过半监督方式进行自动化数据标注,最高可减少60%的人工标注工作,从而更高效地训练车端BEV道路几何模型,增强对车道线、车道类型、地面标识等信息的认知和理解,更好地支持实际量产中对于去高精度地图的需求。

除了高效标注采集的数据,还需要通过数据挖掘,在尽可能多样的场景数据中,挖掘出对算法提升真正能够起到实质性帮助的高价值场景。

基于离线点云大模型,轻舟智航可进行高质量的3D数据挖掘,不断提升目标识别能力。不仅如此,轻舟还创新构建了基于文字到图像的多模态模型,只需通过自然语言文字描述,便可在无监督的情况下自动检索相应场景图像,挖掘出很多在平常数据使用中很难发现的、生活中也很难遇到的长尾场景,提高挖掘长尾场景的效率。例如,输入“夜间雨天行驶的大卡车”、“躺在路边的人”等文字描述,系统就能自动反馈相应的场景,便于专项分析和训练。

基于文字到图像的多模态模型,实现了基于文本的场景挖掘能力。 轻舟智航供图 华龙网发

在模型训练环节,轻舟智航可以利用离线点云大模型训练车端BEV检测模型。通过对比离线点云大模型和车端BEV检测模型的输出结果,可快速发现模型性能问题,诸如车辆分类错误、行人漏检等,由此可以进行针对性的解决。

同时,轻舟智航还提出了一种高效的跨模态知识蒸馏方法,可利用离线模型提升车端线上基于BEV的3D物体检测模型精度。通过特征对齐的方式,使线上模型的特征分布尽可能与离线模型接近,从而使线上模型能够学习离线模型的能力。这种离线到线上的知识蒸馏方法与直接做自动标注形成互补,能够进一步提升模型精度。

利用离线模型的知识蒸馏,使车端感知BEV模型检测精度得到提升。 轻舟智航供图 华龙网发

上一页 1 2 3 4 下一页
查看更多精彩