结合发布会给出的示例图像,小米的超分辨率矢量算法的计算逻辑分为四步:1、收集目标障碍物图像;2、障碍物图像与神经网络确认特征,与矢量图像库对撞其应该拥有的形状与细节;3、优化重构图像,还原高分辨率的图像;4、芯片根据图像生成体素,构建占用网络空间。
同样,由于超分辨率技术对画面的重构还原,雨雪天自动降噪功能则同样可以依靠类似逻辑实现,只不过在AI计算流程中需要着重处理现有画面与该障碍物应有画面进行对比,裁切雨雪天气所增加的矢量区域而已。由于超分辨率技术本身就需要对画面的细节进行比对,实际上并没有增加AI判断环节,从而保证了超分辨率技术的还原效率。
简单来说,小米的超分辨率占用网络,就是通过标准分辨率图像与AI大模型进行多次比对,生成符合常理的高分辨率画面(此时已经完成相应降噪工作),之后再进行占用网络搭建。
不过超分辨率技术的加入,对算力的要求明显提高了一个档次,或许这也是小米选择双英伟达Orin-X芯片的原因。小米在搭建占用网络时,大概率会调用1颗Orin-X芯片单独进行超分辨率计算,以减少因超分辨率技术的加入造成占用网络延迟。变焦BEV技术,为的是给汽车加入情景模式?
在占用网络之外,小米发布了变焦BEV技术,这也是小米针对不同场景化的使用需求进行的技术创新。实际上这也是基于超分辨率技术的一个延展应用,即根据不同级别的场景增加or减弱建模精度与范围,来满足不同场景下的使用需求。
小米在设计变焦BEV中设置了三个不同的使用场景,范围较小的泊车场景、范围中等的城市行车场景与范围更大的高速场景。其工作原理则是根据不同的场景有针对性的进行不同等级的硬件调用与建模调整。