A discussion about DTOF technology of Apple iPad Pro

Time:2020-06-08 Reading times:8665

       2020年苹果发布了新一代的iPad Pro,其中,基于TOF技术的激光雷达扫描仪是这款平板电脑的亮点,一时间引起了行业内外激烈的探讨,苹果官方宣:"特制的激光雷达扫描仪利用直接飞行时间(DToF),测量室内或室外环境中从最远五米处反射回来的光。它可从光子层面进行探测,并能以纳秒速度运行,为增强现实(AR)及更广泛的3D传感应用领域开启无尽可能"。究竟什么是DToF,该技术在iPad中又是如何工作的呢,未来的改进空间又在哪里,本文会带来详细的解读。 

       DTOF,全名"Direct-Time-of-Flight"(直接飞行时间测距法),是3D深度摄像的方案之一, DTOF投射整个面,根据反射时间计算深度信息,具有测距范围远的特点。优势在于针对需要一定距离测绘的应用,如人的动作识别,建筑物识别,场景识别建模等。


 0.jpg

图1. 苹果对于DTOF的宣传


       DTOF(Direct Time of Flight)是一种利用直接飞行时间来进行测距的激光雷达,其测距原理为计算光脉冲从发射到与目标反弹并接收的时间,从而通过光速求出目标距离。iPad搭载的这款DTOF视角约为60°×48°。光在一个较大视场角的情况下会随距离迅速衰减,为了保证探测距离,苹果采用了DOE元件进行点阵发射,每个点阵覆盖约1°×1°的范围。

   1.jpg

图2. iPad DTOF发射点阵图


       iPad的DTOF分为两种工作模式,分别为正常工作模式和省电模式,上图2中左边为正常工作模式,共计576个发光点,而右边为省电工作模式,仅有144个点在同时工作。而且这些点也并不是同时都发光的,使用高速相机拍摄的情况下,不同的发光点交替发光,如下图3所示。

 2.jpg

图3. iPad DTOF发射点阵瞬时图


       经过测试,发现其发光点分为四组,轮流发光,以一个单元为例,其发射顺序如下图所示:

 3.jpg

图4. iPad DTOF发射点阵顺序图。


       图中我们用不同的颜色标记了不同的发光顺序,我们可以看到在每一行,发光的顺序为1-2-1-2重复或者3-4-3-4重复的。这也是源自于特殊的VCSEL设计。据悉这款VCSEL是由Lumentum提供,整个VCSEL采用共负极设计,正极分为四个大区域,驱动信号可以分别控制这四个大区域中的一个。激光器部分的结构图如下图5所示:

 6.jpg

图5. iPad DTOF发射点阵顺序图,(图片来源网络)


       由图中可以看到每一排为4个发光点,分为16排,分四组,共计64个光点。然而实际中却出现了576个光点。这是因为在发光端采用了DOE元件,在上、下、对角线三个方向分别产生了±1级的衍射,将一个发光点扩展为了9个。从下图6可以看到,除了红色方框内为原本的0级,±1级衍射之外,其余的光点均为DOE元件衍射的结果。


 4.jpg

图6. iPad DTOF发射点阵衍射图。


       对于DTOF测距,最重要的是使用多个脉冲产生一个直方图,其工作原理大致可用下图7解释:

 5.jpg

图7. DTOF测距原理(图片来源网络)。


       产生距离核心为生成光子计数的直方图。而直方图的粗细程度则直接决定了测距的精确度。当光脉冲的功率大的时候,产生的直方图需要少量的脉冲即可,但是直方图与原始的光强度包络相差较大。而当光脉冲功率较小时,虽然产生一张直方图所需要的光脉冲数量较多,但是直方图描绘的包络与光强本身的包络曲线符合度较好。

       在这一代的DTOF sensor上,其全局帧频为30fps,每一帧包含8个子帧。按照前面的四组发光点,每组发光点负责两个子帧。在每个子帧内,则为很多个脉宽约2-3ns的脉冲,每个子帧大约包含80,000个脉冲,每秒会产生约480万个脉冲。

       这里对于索尼所选择的的脉冲数量和功率还是很有争议的。对于SPAD来说,每个脉冲内信号光子数尽量的多才能保证每个脉冲有更大的概率被探测到。而且,脉冲数量越多,储存直方图所消耗的内存、传输直方图消耗的带宽都会成比例增加。这也对芯片内部的数据存储和传输带来了极大压力,据估算,当前需要超过10Gbit/s的数据传输速率才能将所有的信号完整传输出来。既然苹果和索尼这样选择,那么他们对于自己的技术也是有相当的信心的。