芝能智驾 | 感知技术中的传感器融合

星星之嘉

芝能科技出品


智能驾驶技术中,关于基于视觉的端对端是目前大家研究的重点,所以从目前来看,动态目标感知,是否需要做多传感器融合,这个问题是至关重要。

感知模块对周围环境中的动态目标进行检测和跟踪,在激光目标感知、视觉目标感知、毫米波目标感知等多个模块的基础上,将各传感器的感知结果进行综合处理,这个问题变得很关键。


01

融合模块


在基于安全的设计中,充分考虑传感器在不同天气和场景下的作用很关键。所以传感器融合模块不仅是感知系统的最后一环,更是系统的定义者。

根据动态目标的需求,搞清楚感知系统的最终目标,明确迭代方向,融合模块能够有效引导各个感知模块,在不同的天气下进行(扬尘、飞雪、雾霾、雨天水雾)。

多源数据融合算法在感知融合领域扮演着关键角色。通过将多个传感器获取的数据在不同级别进行融合处理,可以提高对目标的描述精度。主流的融合算法包括加权平均法、贝叶斯方法、卡尔曼滤波原理、DS证据理论推理和深度学习,各自有不同的适用环境和优缺点。

加权平均法简单直观,但权值分配主观且过于简单,导致融合效果不稳定。贝叶斯方法基于先验概率,但需要大量数据统计。卡尔曼滤波理论通过状态方程对系统状态进行估计和预测,适应复杂环境。

DS证据理论将不确定性转化为集合的不确定性,具有灵活度高的优点,但时间复杂度高且在多源输入存在冲突时效果不佳。深度学习模型通过大量数据和多次迭代训练来优化网络参数,具有较强容错能力和自适应能力,常用于处理不确定信息的融合。


02

多源数据融合


多源数据融合可分为目标级融合、特征级融合和数据级融合三个层次。

● 目标级融合提取原始数据中的目标信息,然后将不同传感器的信息进行关联匹配;

● 特征级融合接收特征信息进行匹配;

● 数据级融合对原始数据进行融合。

不同层次的融合具有不同的优缺点,选择取舍需考虑融合精度和速度。


数据处理方式可分为分布式、集中式和混合式。

● 分布式融合利用分布式结构进行假设生成和验证,可根据不同传感器生成感兴趣区域;

● 集中式融合利用不确定推理,每个传感器设置置信度后汇总信息;

● 混合式融合兼顾两者优点,具有灵活性和融合精度。

空间同步和时间同步是多源数据融合的关键问题。

● 空间同步涉及不同传感器坐标系的联合标定和转换;

● 时间同步涉及系统各模块同步到主时钟源,确保数据精确性。

基于深度学习的集中式、数据级、端到端融合框架可能成为主流,但面临数据同步和数据特性不一致等挑战。


小结

融合需要熟悉各传感器的性能和问题,还需要理解下游使用感知目标的具体策略和业务需求。在制定兜底策略时,必须明确“有所为有所不为”的原则,不仅要考虑系统的稳定性,更要着眼于功能的完整性和优化。目前来看,更多还是围绕安全去思考和解决问题的。