暗网下载 理想800万像素前置摄像头模组（图片来源：汽车之家）

前言

自动驾驶涵盖感知、判断以及执行，其中感知作为整个环节的起始源头部分，是极为重要的自动驾驶系统模块。在车辆进行行驶的进程当中，感知系统会借助传感器实时开展采集周边环境信息的工作，它等同于自动驾驶汽车的“眼睛”，能够助力汽车达成和人类驾驶员类似效果的观察能力。

汽车智能网联技术青年专家程增木老师，为我们带来了车载摄像头的技术入门介绍，还进行了目前主流车型车载摄像头搭载方案的优劣比较与未来车载摄像头发展趋势的阐述，本文就源自于此。

什么是车载摄像头？

用于车载的摄像头，其主要的硬件构成部分，涵盖了光学镜头，该光学镜头之内含有光学镜片、滤光片以及保护膜等，还包括图像传感器，以及图像信号处理器 ISP，还有串行器、连接器等器件。其结构的表示图呈现为如图所示那样：

车载摄像头的结构构成（图片来源：安森美半导体公司）

光学镜头扮演着聚焦光线的角色，它会把视野里的物体投射至成像介质表面，鉴于成像效果的要求存在差异，这里面也许会需要多层光学镜片。那滤光片能够对人眼无法看到的光波段予以滤除，仅留人眼视野范畴内实际景物的可见光波段。

运用光电器件所具备的光电转换功能，成像面上的光像会被转换为跟光像形成相应比例关系的电信号这一器件，就是图像传感器，它主要分成 CCD 和 CMOS 这两种 。

使用硬件构造对图像图传感机器输入的图像频源 RAW 样式上的数据做前处理的是 ISP 图像信号处理器，其能转变为 YCbCr 等样态暗网下载，除此以外，并能够完成图像大小的变缩、自动达到曝光、自动达成白色与均一的平衡、自动实现焦点汇聚等多种多样的工作 。

串行器，它具备将经过处理的那些图像数据予以传输功用，这传输所涵盖的图像数据种类有RGB这种，还有YUV这样的，以及其他多种图像数据的类别可传哦。

连接器：用于连接固定摄像头。

就制造工艺而言，车载摄像头的要求，高于工业摄像头以及商用摄像头，就可靠性要求来讲，同样高于它们。由于汽车需要长时间处于恶劣环境里工作，所以车载摄像头得在高低温环境下稳定工作，得在强振动情况下稳定工作，还得在高湿热这种复杂工况环境中稳定工作。而对于工艺制造方面，其要求主要如下：

车载摄像头的工艺需求

现在，车上所搭载的车载摄像头，按照安装位置来划分，主要分成了五种类别，分别是前视摄像头，环视摄像头，后视摄像头，侧视摄像头，还有内置摄像头 。

特斯拉前视摄像头模组（图片来源：特斯拉）

具有主摄像头功能的设备，在 L2 的 ADAS 系统里被当作主摄像头运用，放置于前方位置，其视场角通常有 30°、50°、60°、100°、120°这些角度尺码，检测距离普遍范围是 150 - 170 m，摄像头输出格式是 RCCB 或者 RCCC。

添加了 8MP 摄像头之后，前视的主摄像头 FOV 能达到 120°，这个摄像头或许就没必要了。检测距离大概处于 60 m 左右。

环视摄像头，主要是安装于车身的四周区域，通常会运用4至8个摄像头，其可被划分成，前向鱼眼摄像头，左侧鱼眼摄像头，右侧鱼眼摄像头，后向鱼眼摄像头。该摄像头是用以全景环视功能的展示，以及融合泊车功能的视觉感知与目标检测；其常用的色彩矩阵是为RGGB，这是由于存在色彩还原的需求。

安装于后备箱的后视摄像头，其作用主要是达成泊车辅助，它的视场角处于120至140°这个范围，探测距离约为50 m 。

用于检测侧向车辆及自行车的侧前视摄像头，安装于B柱处或者是车辆后视镜处，该摄像头视场角一般处于90°至100°的范围，其探测距离大概是在80m左右，这是它的主要作用所在，是这样的。

侧后用来进行摄像的装置：通常是安装在车辆前面的翼子板那个位置，这个用于摄像的工具的视场角大体是90°上下，其探测的间距处在80 m左右，主要是在车辆进行变道，以及汇入别的道路等场景方面发挥作用。

内置摄像头：主要用于监测司机状态，实现疲劳提醒等功能。

当中，前视摄像头价钱相比较高了些，当下市场价钱处于300至500元的水准。而剩余的那些摄像头，价格大约在150至200元之间。

车载摄像头搭载方案优劣比较

特斯拉 —— 纯视觉感知的深度拥护者

装有 Autopilot 系统的特斯拉，配备有 8 个摄像头，其中前方摄像头模组由 3 个摄像头构成，这 3 个基于安森美半导体公司 2015 年发布的 120 万像素图像传感器所开发的摄像头，配备有针对 3 个 AR0136A 的 CMOS 图像传感器，其像素大小为 3.75 um，分辨率显示为 1280×960（1.2MP）。

主视野摄像头：视野能覆盖大部分交通场景。

鱼眼镜头，其视野可达120度，这种镜头能用来拍摄交通信号灯，能拍摄行驶路线上的障碍物，还能拍摄距离较近的物体，它非常适用于城市街道这种场景，也适用于低速缓行的交通场景。

具有长焦距的镜头，其视野相对而言较为狭窄，它适用于那种处于高速行驶状态的交通场景，并且能够清晰地拍摄距离远至达到250米的物体。

位于特斯拉两侧 B 柱上的前方侧视摄像头，视场角是 90°，最大探测距离为 80 m，它能探测到高速公路上突然并入当前车道的车辆，还能在进入视野受限的交叉路口时进行探测。

侧方的，用于后视的摄像头，其最大的探测距离是为100m，它可以监测车辆两侧的，后方的盲区，在进行变道以及汇入高速公路这个行为的时候，起着重要的作用。

后视摄像头：探测距离为 50 m，主要进行泊车辅助。

小鹏 P7 —— 搭载最多摄像头的车型代表

小鹏P7配备了14个摄像头个体，从中遴选出最为关键的若干摄像头个体予以讲解 。

位于前方的摄像头模组，是由三个摄像头共同组建而成的，此三个摄像头，每一个的像素均为200万，其帧率是15/60fps。

其当中划分出来远距感知摄像头，视场角处于28°，它乃是窄视角范畴的前向摄像头，它能够对远处路面状况进行高达150米以上距离的探测。

主要的前向摄像头，中距感知摄像头它的视场角为 52°，能够探测 30 - 70 m 的范围。

远距离能实现感知功能的摄像头，其视场角是 100°，它能够对 40 m 的范围展开探测。

小鹏P7那安装在后视镜处的侧前视摄像头，其视场角是100°，具备100万像素，分辨率是457*237 ，fps为30 ，它用于对防加塞以及侧向车辆进行检测。

小鹏P7位于翼子板之处设有后视侧边摄像头，其参数几乎等同于侧视摄像头，该摄像头主要被应用于ALC（自动变道）功能、开门预警以及盲区检测等方面 。

小鹏P7的后视摄像头是安装在后备箱那里的，它的视场角是52°，像素为200万，fps是30，其作用是用于ALC、盲区检测以及追尾预警 。

奔驰 S 级 —— 传统主机厂方案的代表

奔驰 S 级配置了 7 个摄像头，前方摄像头模组方面，2 个双目立体摄像头是它构成部分，这 2 个摄像头其中一镜素以 1.3MP 为像素特性之一端，彼此镜头光轴之遥距大略落在 22 - 25 cm 这样的范围之数称左右，其探测可有成效之距离约且大概而为 120 m 这般，摄像头所具有的视场角大概在 50° 这样的度数之标称左右，其自身刷新频率处于 10Hz 这样的频率之位数左右。

奔驰 S 级于保险杠处安设了一枚摄像头，那摄像头是前向鱼眼摄像头，其视场角大概为 120°，凭借与其他视像头相配合达成 360°环视功能。

奔驰 S 级前鱼眼摄像头

奔驰 S 级于两个后视镜的位置处各装设入了一个摄像头，此摄像头乃是为侧向的鱼眼摄像头，其视场角大概是 120° ，并且该装置能够结合其他各个视像头达成 360° 环顾四周的功能。

奔驰 S 级侧视鱼眼摄像头

奔驰S级的后视摄像头，被安装于后备箱处的位置，其视场角大约是 120°，具备 200 万像素，与其它视像头共同去配合，借此实现 360°环视功能。

奔驰 S 级后视鱼眼摄像头

方案对比：

从方案当中我们能够看到，特斯拉的8个摄像头，都和行车系统存在关联，这跟其一贯宣传的不借助激光雷达纯视觉的自动驾驶方案有着较大的关联呀，特斯拉的这一套方案的最大优势在于，高性价比，特斯拉运用在成本方面相当低的自研1.2MP摄像机达成了L2+级别的自动驾驶。

小鹏P7运用了好几个摄像头，这一整套方案的最大优点在于，具备较强的可拓展性。前期方案在开展设计工作之时，得提高硬件成本，然而在后期进行OTA升级而后，它的自动驾驶功能拥有特别良好的兼容性以及可拓展性。

凭借这套传感器模型，小鹏达成了具备较好体验的 L2+ 级自动驾驶功能，其中涵盖了小鹏特别地极富特色的高速自主导航驾驶（NGP）以及停车场记忆泊车功能。

奔驰 S 级作为传统主机厂方案的代表，其最大优势是双目立体摄像头方案，相较于单目摄像头，双目摄像头能计算出当前检测目标在 X、Y、Z 坐标下的运动情形，判断出检测目标的姿态以及目标类型，并且奔驰在 L2 级别的 ADAS 功能的体验效果比另外两家要好一些。

于上文针对已然量产车型的摄像头方案所进行的分析之中，我们察觉到那些皆是运用中低像素摄像头去达成自动驾驶功能，伴随技术的发展以及更新之后，未来更多的量产车型以及自动驾驶解决方案将会采用800万摄像头 。

800 万像素摄像头未来发展趋势

800万像素的摄像头，相较于120万像素的摄像头来说，它能够探测在100至150m范围之内的行人，而且在属于窄视角的场模式情形下，大概能够探测到500m左右的处于动态的车辆，以及180m左右的小目标 。

大陆MFC535摄像头（图片来源：大陆集团德国官网）

在2019年的时候，豪威科技发布了两款800万像素的前向摄像头，它们分别是OX08A和OX08B 。这两款摄像头，都具备极为良好的高动态范围，也就是有着HDR ，其中集成于芯片上的是 HALE合成算法，也就是HDR和LFM引擎 。而OX08B，还拥有极为优秀的LED闪烁抑制性能，也就是LFM 。

这两款摄像头均可实现提供 4 次读取 HDR，具备 3840x2160 图像分辨率（8MP），帧捕捉率可设置为 36 fps，呈现 16:9 比例的图像，在多重操作基础之上，能进一步提供多种 CFA 排列方法，以此来满足自动驾驶的性能需求，能够针对很远之处的人和物体开展精度不错的定位探测，而且在诸如驶出隧道这类极暗的漆黑环境或亮度过高得刺目环境之下所实施的应用需求也都可以予以满足，这两款摄像头均能达到 ASIL-C 功能安全要求 。

说到车规级800万像素的摄像头，国内的蔚来ET7正在使用，2021款理想ONE也在使用，极氪001同样在使用。

蔚来：

2021年1月，蔚来发布了ET7，这款车有个大亮点，是搭载了11颗800万像素的高清摄像头，ET7基于NT2.0平台打造，前向摄像头有4颗，环视摄像头是4颗，感知摄像头为3颗。

供应商为均胜电子的蔚来汽车的那 11 颗摄像头，其中一颗 800 万像素的高清摄像头，探测能力方面，能对距离最远约 687 m 左右的车辆进行探测，对约 262 m 左右的锥桶进行探测，对約 223 m 左右的人进行探测。而这些摄像头，分布于前保险杠处、后视镜位置、翼子板部位、后备箱那儿、鲨鱼鳍那里、车顶部之上。

前保险杠处的 800 万像素摄像头。

后视镜处 800 万像素环视摄像头。

翼子板处 800 万像素侧后视觉摄像头

后备箱处 800 万像素后环视摄像头。

鲨鱼鳍处 800 万像素后环视摄像头。

车顶侧 800 万像素前侧感知摄像头。

理想：

理想800万像素前置摄像头模组（图片来源：汽车之家）

极氪：

2021年发布的极氪001配备了15个摄像头，这当中，有12个摄像头被用于推行自动驾驶，而在这12个当中，又有8个是远距离摄像头，并且它们均为800万像素的高清摄像装置，这8个800万像素的高清远距离摄像头能够覆盖车辆感知的全部视野范围句号。

对于芯片的要求：

存在着一个摄像头，它是有着800万像素的、用于前视的、为16位的摄像头，该摄像头是以每秒60帧这样的速度来运行的，此摄像头能够达到的数据速率可达1GB/s。有着800万像素的那个摄像头，它在每一秒的时间需要去处理的数据量极大，并且与此同时，其对于不同的场景以及不同的神经网络，另外耗费的算力也是不一样的。。、。和。。。。有。；。，。，。，。。。，，。。，。。。。。。

在往后，八百像素数目变为标准配置之后，计算平台也要使得自身的算力有所提高哟。每一单个的八百万像素当采用到半精度数据时的状态下，此种摄像头的数据的速率是每秒一吉伯特，于内存带宽为每秒六十四吉伯特，用电的供应压力以及温度等均处于正常的状况时而言，它需用力需求较显著的会偏向集中围绕在深度进行学习形成的那种模型里面计算批次构成的大小范围之中啦。

倘若运用 ResNet-50 来做图像处理，每秒所要处理的是 1 GB 数据图像量，大概能够处理 159 张图像，此网络在「修枝」之后需要大概每秒 70 亿次的运算，大致估算需要 1.14 TOPS 的算力。（以上情形为简单估算）。

由此能够看出，在进行了800万像素的升级之后，伴随深度学习网络不断地发展，它对于算力有着更高的要求。

蔚来超算平台NIO Adam采用了四颗NVIDIA Drive Orin芯片来构成，其中包含了两颗主控芯片和一颗冗余备份芯片以及一颗针对群体智能与个性训练特殊打造专用的芯片，并能实现作为算力最高可达1016 TOPS的运算表现，同时具备图象接口拥有超高带宽，ISP每秒能够处理64亿像素，这样的性能对于装载11颗800万摄像头的ET7而言是足够用的。

2021款理想ONE采用的是地平线征程3芯片，该芯片制程以台积电16nm FFC工艺为基础，它运用双核BPU AI引擎，其等效算力大于或等于5 TOPS，它还配备4核 Arm Cortex-A53处理器，此处理器能支持4K@30fps图像处理、HDR宽动态、3D降噪以及畸变矫正。

极氪001采用2颗Mobileye EyeQ5H，这2颗芯片由台积电运用7 nm FinFET工艺打造，并且单颗芯片拥有24 TOPS的算力。

算法层面的思考：

使用有着八百万像素的摄像头之后引发的一个相对较大的问题是存在过多的数据量，在进行融合以及处理这个情形的时候能够借助一些办法予以处理 ，作者于查阅了大量文献过后，推荐采用CenterNet网络的处理办法思路来处理多目标，处理多数据量 。

上文所呈现的关键办法乃采用 CenterNet 算法，凭借摄像头数据来预估目标的中心点，进而回归得出目标的 3D 坐标、深度、旋转等信息。高像素摄像机适宜运用 CenterNet，和先前的 one-stage 以及 two-stage 的目标检测相比，鉴于图像输入是高分辨率的，图像中有待传输的物体，其特征具备较高的可提取性，CenterNet 的「anchor」只会现身于当下需要去检测的目标位置比方说行人、车辆等所在之地，并非是在整张图片之上，在高分辨率图像予以支持的状况之下能够准确径直地检测出目标的中心点以及大小。

此后，把高精度摄像头所检测出的目标中心点数据，与激光雷达采集到的目标数据予以关联，此关联能够采用视锥的方式来进行。能够依据对象的三维边界生成ROI的截锥体，情况如下所示。

来源于CenterFusion: Center-based Radar and Camera Fusion for 3D Object Detection的ROI的截锥体， 被用于3D物体检测， 它是基于中心的雷达和摄像头融合的一种方式 。

在边界处，生成了对 ROI 的截锥体，其 BEV 方面，跟雷达检测到的特征做了融合，如此一来，最终呈现出的情况如图所示 。

截锥体的ROI的BEV，与雷达检测到的特征融合图相结合，该图来源为CenterFusion: Center-based Radar and Camera Fusion for 3D Object Detection 。

随后，把关联之后目标的特性与雷达数据探测到的深度信息以及速度信息所构成的特征图进行并联，而后开展对于3D目标深度方面、旋转相应纬度、速度有关内容以及属性相关情况的回归。

算法检测得出的结果图，其来源是CenterFusion: Center-based Radar and Camera Fusion for 3D Object Detection 。

随后将关联后的目标的特征和雷达数据检测到的深度和速度信息组成的特征图并联，再进行 3D 目标深度、旋转、速度和属性的回归。

作者于 nuScenes 数据集范畴内展开了验证，该方法能够显著提升检测精度。伴随着具备 800 万像素的车载摄像头在未来的推广运用，也随着检测图像所涵盖的信息愈发丰富，精度持续提高，坚信后续会有更多更为高效、迅速的视觉检测网络以及算法被应用于汽车之上。

车载摄像头的未来改善需求

摄像头像素大幅提升，这带来的并非仅仅是对芯片算力等性能的要求，还带来了对于功率、热管理等层面的需求。为达成更好的性能，摄像头需要更大功率的电源，所以摄像头热管理也是要考虑的一个大问题。传统摄像头基本上都是采用内置ISP，不过一些行业也在运用无ISP的摄像头模组，数据直接传至域控制器，由外部ISP来进行处理。

摄像头产生热量以及提升功耗的主要元器件，是ISP，并存在一些公司提出，要将ISP集成到的控制器里，以此来开展热管理 。

诸如安波福所给出的那种方案呈现这样一种情况：摄像头要留存光学镜头这部分不改变，然后要让图像传感器部分维持原样，之后将 ISP 迁移到对应的那控制器主板里面去，同时借助以太网这种方式来开展数据传输活动。众多图像传感器制造商做这样一个行为：把 ISP 模块从摄像头模组那里拿掉，进而以此来对摄像头的功耗以及热量产生情况加以限制。

与此同一时间，ISP被整合融合为专用的视觉处理器也就是SoC，能够提升提高图像的成像质量品质，并且还能在同一时间处理多个摄像头的数据资料，借此以此来降低成本费用。

相信未来，单个高精度摄像头的成本，会出现大幅下降，后续，当高精度摄像头成为标配时，整体成本，会有比较大，的下降空间。