设计了多用户并行卷积神经网络推理框架

时间:2021-02-01浏览:87

在自动驾驶领域,通常使用卷积神经网络CNN 处理来自多路摄像头数据进行一系列的感知任务,如障碍物识别、车道线识别等。虽然CNN 网络有着较高的识别准确率,但是它在车载设备上的推理延迟较高,导致吞吐率较低,难以支持多路摄像头平均达到每秒30帧的实时性要求。为了应对这一挑战,我们提出了MPInfer这一支持多路摄像头的基础系统,它通过考虑CPU/GPU的流水并行、单GPU上的任务并行、CPU和GPU的数据传输以及输入传感器数目、并行线程数目等各个维度,在 GTX 1660 上,达到147.06 FPS 的吞吐率,14.5 ms 的延迟,能够同时支持5路摄像头达到实时性要求。

本研究由中国科学技术大学在本项目支持下完成,结果发表在CCF推荐C类国际会议NPC 2020上,同时申请获得软件著作权。