车载摄像头是自动驾驶汽车的主要视觉传感器，预计未来五年内单目摄像头依然是主流
车载摄像头是自动驾驶汽车的主要视觉传感器，也是技术成熟的“汽车之眼”。车载摄像头获取图像信息的前端，借由镜头采集图像后，摄像头内的感光组件电路及控制组件对图像进行处理并转化为电脑能处理的数字信号，随后图像信息在视觉处理芯片上通过算法进行处理，提取有效信息后进入决策层用于决策判断，从而感知与判断车辆周边的路况情况。车载摄像头具有目标识别能力，应用图像识别技术让自动驾驶汽车能够精准分辨出驾驶过程中的行人、车辆、交通标志和障碍物，目前主要应用在360 全景影像、前向碰撞预警、车道偏移报警和行人检测等ADAS功能中。
自动驾驶摄像头主要包括软件与硬件两个部分。从硬件结构上来看，车载摄像头的主要组成包括镜头、CMOS 图像传感器、DSP 数字处理芯片等，整体部件通过模组组装而成。
车载摄像头结构
资料来源：公开资料
在硬件性能方面，车载摄像头比工业级别摄像头要求更高。1）温度要求：车载摄像头需要应对多种复杂环境，温度范围要求一般在在-40 度~80 度；2）像素要求：为降低芯片处理的负担，摄像头的像素并不需要非常高，30 万-200 万像素已经能满足要求。3）探测范围与角度：对于环视和后视，一般采用135度以上的广角镜头，探测距离在10 米以内，前置摄像头对视距要求更大，一般采用40-70 度的视角范围，视距要求一般在120 米以上，双目摄像头视距一般小于单目；4）功耗：车载摄像头功率不宜过大，一般在10W以下。
部分主流摄像头性能
资料来源：公开资料
与传统摄像头不同的是，自动驾驶摄像头产业最重要的部分并非摄像头硬件本身，而是自动驾驶芯片以及基于芯片的视觉系统自动驾驶算法和解决方案。
车载摄像头的算法和解决方案主要依靠于计算机视觉(Computer Vision)与机器学习。车载摄像头在图像采集之后，经过图像预处理，将数据传输给无人驾驶系统。无人驾驶系统通过以深度学习为核心的计算机视觉技术进行目标检测，即对周围的环境、车辆、行人以及交通基础设施做出精准的分割和目标分类。在图像分割和目标分类完成后，对于不同的分类对象的特点，无人驾驶感知层系统还需要分别进行针对性的探测和认知，从而通过有效的图像识别指导指导汽车对周围的环境做出反应。
车载摄像头进行环境识别的原理
资料来源：公开资料
车载摄像头分类较多，根据其在自动驾驶汽车上的安装位置，车载摄像头可以分为前视、后视和侧视等多种类型。
前视摄像头覆盖的ADAS 功能最多，通过对其获取的图像进行不同的处理之后，可以实现LKA 车道保持、LCA 变道辅助、EAB 电子刹车辅助、TSP 交通标志识别、LDW 车道偏离预警等多项功能；后视摄像头用于探测车身后方的情况，可以实现的功能包括PA泊车辅助、SVP 全景泊车等；低级别的自动驾驶汽车只安装前后视摄像头，视野范围有限，存在视野盲区，为解决这个问题需要安装侧视摄像头，它可以实现的功能包括BSD 盲点检测、LCA 变道辅助等。
不同类型摄像头在ADAS 中的应用情况
资料来源：公开资料
根据镜头个数的不同，摄像头可以分为单目、双目和多目摄像头。
单目摄像头通过计算机视觉与人工智能算法对摄像头获取的信息进行分析，获取有用的信息并做出相应的判断。Mobileye 即是单目摄像头解决方案的领先者。目前。单目摄像头解决方案已经相对成熟，且成本低廉，广泛搭载于各类汽车上，用于对路况的判断。但同时，单目摄像头也存在一定的劣势。由于单个摄像头无法获取景深，在测量车辆与障碍物之间的距时需要根据算法在图像识别匹配目标物体之后，通过其在图像中的大小去估算目标距离。这一方式对算法水平要求极高，同时需要大量的数据训练保证准确率。同时，由于车载单目摄像头很难频繁变焦，导致了视觉系统难以采集不同焦距下的环境图像。因此，Mobileye、特斯拉等厂商逐渐开始倾向于使用双目或多目摄像头来解决不同距离下摄像头看清、看准的问题。
相比于单目视觉，双目视觉（Stereo Vision）的关键区别在于可以利用双摄像头从不同角度对同一目标成像，从而获取视差信息，推算目标距离。在ADAS 应用中，如果采用单目摄像头，为了识别行人和车辆等目标，通常需要大规模的数据采集和训练来完成机器学习算法，并且难以识别不规则物体；而利用毫米波雷达和激光雷达进行测距的精度虽然较高，但是成本和难度亦较高。所以，双目视觉的最大优势在于维持开发成本相对较低的前提下，保证了一定精度的目标识别和测距。但同时，双目摄像头也存在一定的缺点。首先，因为增加了一个镜头，带来更多运算量，整个摄像头模组的性能要求和成本都更高，系统也容易产生更大的误差。其次，在两者都有的标定工作上，双目要比单目更加复杂，而且选择双目方案依然要需要一个庞大的数据库训练模型从而实现目标识别，因此算法的开发难度也不低。目前市场上采用双目摄像头系统的主要是斯巴鲁的Subaru EyeSight 系统、百度推出的部分ApolloL4 摆渡车以及欧盟自主泊车项目V-Charge。整体而言，双目摄像头功能更加强大、测度更加精准，但成本比单目摄像头高，因此目前多搭载于高档汽车，属于较为常用的视觉解决方案。
除了较为多见的单目与双目摄像头方案，多目（三个及以上）摄像头也被一些厂商所使用，如蔚来的ES8 和特斯拉的Model 3 就采用了三目摄像头，采用三个不同焦距的前向摄像头覆盖不同范围的场景，解决了摄像头无法来回切换焦距的问题，也可以通过立体视觉技术实现三维成像；Mobileye 在最新的方案中则采用了7 个摄像头采集不同焦距的图像数据，随后使用SFM（Structure from Motion）技术将不同焦距与角度的图像拼接在一起绘制成三维点云，从而构建立体视觉进行环境感知。多目摄像头可以通过不同的摄像头来覆盖不同范围的场景，并通过摄像头之间的配合实现景深的测量，因此受到越来越多厂商的关注。然而，多目摄像头单是硬件成本就是单目的N 倍，而且在算法的复杂度和成本上也会成倍增加，因此目前只应用于小部分车型中。随着自动驾驶的推进，多目摄像头有望获得进一步发展。
双目摄像头通过时差测距
资料来源：公开资料
目前来看，双目及多目摄像头的方案在成本、制造工艺、可靠性、精确度等综合因素的制约下，导致其难以在市场上推广，而单目摄像头低成本可靠性的解决方案，搭配毫米波雷达与超声波雷达，完全可以满足L1,L2,以及部分L3 场景下的功能。因此，在现有的市场环境下，预计未来五年内单目摄像头的解决方案依然会是主流。
单目、双目、多目摄像头特征对比
资料来源：公开资料
