为了加强对车端道路几何认知能力的训练,轻舟智航研发了高精地图预标注模型MapBEV,可通过半监督方式进行自动化数据标注,最高可减少60%的人工标注工作,从而更高效地训练车端BEV道路几何模型,增强对车道线、车道类型、地面标识等信息的认知和理解,更好地支持实际量产中对于去高精度地图的需求。
除了高效标注采集的数据,还需要通过数据挖掘,在尽可能多样的场景数据中,挖掘出对算法提升真正能够起到实质性帮助的高价值场景。
基于离线点云大模型,轻舟智航可进行高质量的3D数据挖掘,不断提升目标识别能力。不仅如此,轻舟还创新构建了基于文字到图像的多模态模型,只需通过自然语言文字描述,便可在无监督的情况下自动检索相应场景图像,挖掘出很多在平常数据使用中很难发现的、生活中也很难遇到的长尾场景,提高挖掘长尾场景的效率。例如,输入“夜间雨天行驶的大卡车”、“躺在路边的人”等文字描述,系统就能自动反馈相应的场景,便于专项分析和训练。
基于文字到图像的多模态模型,实现了基于文本的场景挖掘能力。 轻舟智航供图 华龙网发
在模型训练环节,轻舟智航可以利用离线点云大模型训练车端BEV检测模型。通过对比离线点云大模型和车端BEV检测模型的输出结果,可快速发现模型性能问题,诸如车辆分类错误、行人漏检等,由此可以进行针对性的解决。
同时,轻舟智航还提出了一种高效的跨模态知识蒸馏方法,可利用离线模型提升车端线上基于BEV的3D物体检测模型精度。通过特征对齐的方式,使线上模型的特征分布尽可能与离线模型接近,从而使线上模型能够学习离线模型的能力。这种离线到线上的知识蒸馏方法与直接做自动标注形成互补,能够进一步提升模型精度。
利用离线模型的知识蒸馏,使车端感知BEV模型检测精度得到提升。 轻舟智航供图 华龙网发