在自动驾驶领域，通常使用卷积神经网络CNN 处理来自多路摄像头的数据，进行一系列的感知任务，如障碍物识别、车道线识别等。虽然CNN 网络有着较高的识别准确率，但是它在车载设备上的推理延迟较高，导致吞吐率较低，难以支持多路摄像头平均达到每秒30帧的实时性要求。为了应对这一挑战，我们提出了MPInfer这一支持多路摄像头的基础系统，它通过考虑CPU/GPU的流水并行、单GPU上的任务并行、CPU和GPU的数据传输以及输入传感器数目、并行线程数目等各个维度，在 GTX 1660 上，达到了147.06 FPS 的吞吐率，14.5 ms 的延迟，能够同时支持5路摄像头达到实时性要求。

本研究由中国科学技术大学在本项目支持下完成，结果发表在CCF推荐C类国际会议NPC 2020上，同时申请获得软件著作权。