苹果12配置中的所谓LiDAR,使用了SONY的模组(dToF),这颗所谓雷达结合3D dTOF结构光+CMOS传感器和算法设计,共同完成了拍照景深的计算和表达、以及AR实物场景下的各个3D物体的位置和距离的识别标定等。——— 这就像在车载摄像头CMOS / 传统LiDAR方案中也需要3D ToF传感器一样,根据雷达还原前方道路街景的深度图(位置和距离和障碍高度等)。
通常说到LiDAR, 基本就会有发射和接收端两部分,其中VCSEL激光器给物体发射一束红外光,经反射被 CMOS 接收,光束经历的这一段时间叫做飞行时间(ToF)。已知光速并通过计算就可以能得到与目标物之间的距离。这样的测距原理与雷达类似,不过LiDAR 基于的是脉冲激光,比雷达利用的无线电波波长更短、频率更高,可以得到分辨率更高的图像,精度可达厘米-毫米级。因此LiDAR 也被应用在地图测绘、自动驾驶等用途。
iPhone12这颗LiDAR模组工作时先要发射出9*64大小的矩阵光束,捕捉并绘制最远5米范围内的位置深度图,通过多个摄像头和机器学习算法的帮助制造出景深效果,测量&区分了物体层次/距离/高度,主要靠颜色分布、光照明暗程度和物体尺寸计算。尤其对于曝光度不够均匀且景物繁杂而主题不明显的图片会更加考验传感器精度和算法还原度。所以,加入LiDAR就能带来更精准的深度信息,以便于让手机理解物体之间的前后关系,通过算法绘制出一张空间位图。这个功能同样对AR更有用,毕竟实物场景中有太多复杂的3D物体干扰,不能让第一人称/第三人称的人体透视穿越这些东西,所以带有测量深度的空间位图格外有意义,让AR中的虚拟角色与实物场景区分清楚,互动更真实,物体边界不冲突。
部分内容引用了回形针PaperClip的今日头条文章。