dTOF传感器的产业化之路应该怎么走

3D sensing是智能手机创新的趋势之一，当前正加速向中低端手机渗透。目前实现3D sensing共有三种技术，分别为双目立体成像、结构光和ToF，目前已经比较成熟的方案是结构光和ToF。其中结构光方案最为成熟，已经大规模应用于工业3D视觉，ToF则凭借自身优势成为在移动端较被看好的方案。

ToF的多场景应用呈现出了比结构光更为广阔的发展前景。作用距离的劣势限制结构光的应用，ToF技术则弥补了距离上的缺陷，可以被应用于包含3D人脸识别、3D建模以及手势识别、体感游戏、AR/VR在内的更多场景中，能够为智能手机带来更娱乐性和实用性的体验。此外，相比结构光技术，ToF的模组复杂度低，堆叠简单，可以做到非常小巧且坚固耐用，在屏占比不断提高的外观趋势下，更得到手机厂商的青睐。

ToF（Time of Flight），通过测量发射光与反射光的飞行时间计算出光源与物体之间的距离，本质上是时间维度测量。根据测距的方式不同，目前存在两种ToF技术路线：iToF（间接飞行时间，indirect-ToF）和dToF（直接飞行时间，direct-ToF）。dToF直接测量飞行时间，原理是通过直接向测量物体发射光脉冲，并测量反射光脉冲和发射光脉冲之间的时间间隔，得到光的飞行时间，从而直接计算待测物体的深度。iToF则是通过发射特定频率的调制光，检测反射调制光和发射的调制光之间的相位差，测量飞行时间。

iToF间接测量飞行时间，具备低成本、较高分辨率优势，适用于短距离测距。iToF原理为把发射的光调制成一定频率的周期型信号，测量该发射信号与到达被测量物反射回接收端时的相位差，间接计算出飞行时间。由于iToF sensor的pixel相对较小，可实现相对高图像分辨率。但iToF问题在于的测距精度的实现限制了最大测距距离，从原理上看，调制频率越高则测距精度越好，高调制频率意味着对应的测距距离不能太大，并且环境光会对电路产生干扰。因此目前iToF主要应用在手机面部识别、手势识别等测距距离较短的场景中。

iToF传感器电路相对简单，难点主要在深度算法，安卓阵营自2018年引入iToF并推动其主流化。目前如三星、华为、OPPO、vivo等品牌均有在中高端机型中配臵，除此之外，iToF在物体识别，3D重建以及行为分析等应用场景中能够重现场景中更多的细节信息，因此还被广泛应用于机器人、新零售等领域。

dToF直接测量飞行时间，具备低功耗、抗干扰等优势，适用于对测距精度要求高的较远距离测距场景。dToF原理为向被测物体发射光脉冲，通过对反射和发射光脉冲时间间隔的测量，直接计算待测物体的深度。测距原理使得 dTOF测量精度不会因距离增大而降低，功耗更低同时对环境光的抗干扰能力更强。

dToF深度算法相对简单，难点在于用以实现较高精度的SPAD。dToF要检测光脉冲信号（纳秒甚至皮秒级），因而对光的敏感度要求会很高，因此接收端通常选择SPAD（单光子雪崩二极管）或者APD（雪崩光电二极管）这类传感器来实现，集成度弱于普通的CMOS图像传感器，像素尺寸一般大于10μm，从而分辨率通常较差，成本更高。SPAD是dTOF技术的核心，技术难度大且制作工艺复杂，目前世界上极少厂家具备量产能力，集成难度很高难以小型化应用在手机等小型消费电子上，因而除传统热门应用领域车载LiDAR之外，消费电子领域目前仅有苹果一家实现商用（iPad Pro首次搭载）。

未来TOF会向更高集成度、更小的传感器尺寸、更高分辨率发展。目前传统的CIS单像素尺寸最小可达到0.7μm，而目前0.6μm也已经在研发中。但ToF传感器更要求单像素获取信号的能力，因而需要更大的单像素尺寸；dToF传感器电路设计比较复杂，需占据较大的片上尺寸；iTOF像素尺寸则需暂时让步于更高的集光效率。种种原因使得ToF图像传感器的小型化存在一定困难。

半导体工艺改进将有望实现TOF传感器小型化。ToF传感器厂商通过半导体工艺方案的改进，如背照式（BSI）、堆栈式（Stacked）CMOS等技术，将原本位于光电二极管上方的布线层移至下方，以及将光电转换器、电子倍增器（electron multipier）这些部分垂直堆叠，增大像素开口率，同时减小像素尺寸。目前根据松下最新的研究成果，dToF传感器也可以用CMOS工艺实现，集成度已经在数量级上逼近iToF方案。

目前ToF技术低分辨率的固有缺陷仍然存在，未来有望随技术更迭而实现突破。目前ToF测量精度量级仍然相较结构光方案落后，但近两年其传感器分辨率已经在提升。iToF方面，英飞凌面向消费市场的一般REAL3™传感器（iToF）也达到了3.8万像素，2019年推出的IRS2771C则达到15万像素；dToF方面，例如iPad Pro 2020的LiDAR分辨率达到了3万像素；另外TDC电路设计进步也逐步提升着CMOS电路中的TDC时间分辨率精度，有望带来dToF的分辨率的提升。

ToF未来最有潜力的应用在AR领域

目前手机是ToF在消费电子中的主要应用领域，随着市场对3D视觉与识别技术的兴趣日益浓厚，头部终端厂商推动TOF技术在3D感知和成像方向上不断拓展，我们看到TOF技术在智能手机端加速渗透，TOF的使用进一步丰富着3D sensing的应用场景。伴随AR/VR的发展，ToF有望成为智能手机摄像头的下一个风口。

ToF助力消费级AR普及。ToF技术的应用亦是AR、VR时代的催化剂。考虑到ToF的两个独特的优点——作用距离长、刷新率高，存在远距离3D测距需求的AR/VR是最能体现TOF优势的功能之一。3D摄像头技术提供的手势识别功能将成为未来AR/VR领域的核心交互手段。目前各大厂商推出的VR设备大都需要控制器，游戏控制器的优势在于控制反馈及时、组合状态多。

根据Markets and Markets，2019年全球AR市场规模达到107亿美元，预计到2024年将达到727亿美元，复合增长率达46.6%。过去几年中，以Facebook、英特尔、高通和三星为代表的公司在AR领域进行了大量投资，推动了全球AR市场的快速增长。中国AR市场规模预计在2024年将达到约59亿美元，从下游应用来看，工业应用占比最大，约占42%，其次是汽车（18%），零售（15%）以及航空与国防（10%）等。

AR室内设计。2020款iPad Pro使用了dToF LiDAR技术，通过这一技术可以获得3D空间的深度信息，建立详细的室内环境空间数据，模拟出摆放了新家具后的情况。宜家的IKEA Place应用，利用AR让家居产品的外观和在家中的摆放效果直接呈现在用户眼前。

医疗学习。Complete Anatomy是一款教医学院学生通过虚拟技术了解心脏、实时肌肉运动、神经系统等人体结构的软件，在2020款iPad Pro上可以使用这一软件，它将帮助专业人士更准确的评估病人的身体运动情况，为未来医学发展带来更多可能性。

3D摄像头技术提供的手势识别功能将成为未来AR/VR领域的核心交互手段。目前各大厂商推出的VR设备大都需要控制器，游戏控制器的优势在于控制反馈及时、组合状态多。以HoloLens为例，就拥有一组四个环境感知摄像头和一个深度摄像头，环境感知摄像头用于人脑追踪，深度摄像头用于辅助手势识别并进行环境的三维重构。

拍照虚化。ToF具备更好的景深信息采集功能，加入智能手机后摄模组后，能够实现快速、远距离获取更高精度的深度图（depth map），从而完成较结构光范围更大的3D建模，而且由于自带红外光源，其在暗光环境下获得的景深信息同样准确。因此，有TOF摄像头参与的成像在虚化效果上会更加真实，富有层次。华为2019年发布的旗舰机P30 Pro在后臵3D成像与感知模组中加入ToF镜头辅助，ToF镜头获取的更多景深信息加强背景虚化功能，相比双目视觉更加精准，使得得到的图像虚化边缘更加清晰、更具表现力。

手势识别。目前不少手机具备的悬浮手势识别功能，不用直接接触手机屏幕，仅借由前臵ToF的对手势的3D感知，通过如在手机前挥挥手这样简单的操作来实现翻页、滚屏等普通操作。体感游戏相比前者更具交互性，通过TOF技术能够采集到被拍摄人的身体深度信息，捕捉和采集身体的动作，进行手势判定，控制预制的3D建模人偶的形象和动作，实现真人和3D虚拟形象跟随，用身体、动作和手势做游戏交互。

ToF技术的应用是AR、VR时代的催化剂。考虑到ToF的两个独特的优点——作用距离长、刷新率高，存在远距离3D测距需求的AR/VR是最能体现TOF优势的功能之一。3D摄像头技术提供的手势识别功能将成为未来AR/VR领域的核心交互手段。

dTOF技术的应用有望推动AR内容的完善，加速消费级AR普及。苹果2017年便针对开发者们发布了用于iOS设备上AR应用开发的ARKit开发工具，2020年发布的iPad Pro为消费电子设备首次搭载dToF模组，可视为苹果针对5G时代AR领域的进一步布局。iPad Pro搭载的LiDAR（激光雷达扫描仪），采用Sony 3万像素10μm dTOF图像传感器，SPAD阵列的探测器，并集成了Lumentum的VCSEL芯片和TI的VCSEL驱动芯片，能达到ps级时间分辨率，可实现5米范围内的3D感知与成像，具备更快的AR建模速度、更高的测量精度和更少的抖动、错位。

Sony的dTOF方案首次采用3D堆叠工艺，像素内连接通过混合键合互连技术将探测器晶圆和逻辑电路晶圆键合实现，同时，深沟槽隔离（Deep trench isolation）也被应用，充满金属的沟槽完全隔离了像素。从而有效控制了dTOF传感器的尺寸，使其成功的应用在iPad这类小型消费电子设备中。

目前iPad Pro的LiDAR共呈现出三种典型场景的应用。AR测量、AR游戏和AR装修设计。

AR测量：LiDAR可以快速计算人的身高，并展现垂直和边缘引导线。通过开发者开发的app可实现对物体尺寸、建筑物更精细的测量。

AR游戏：LiDAR通过对周围真实环境的扫描和快速获得深度信息能力，为AR游戏开辟了更广阔的设计空间。如官网展示的《炽热熔岩(Hot Lava)》电子游戏，可以把客厅变成一个虚拟的熔岩环境，游戏中的玩家可以跳到家具上以此来避开模拟中的地板熔岩。iPad Pro上市后带动开发者不断丰富iOS平台上AR游戏内容，也使一些原有的AR游戏因为玩法升级而更具有生命力。

AR装修：iOS上的Shapr3D app，借助LiDAR对房间进行扫描创建3D模型，用户可以对该模型展开编辑或添加新对象，使用AR可以查看实际房间在编辑后的虚拟效果，帮助用户在装修动工前更真切体验设计效果。宜家Place应用同样可以通过扫描一个房间获得与之匹配的家具推荐，然后使用AR查看家具摆放效果。

dTOF在iPad Pro上的应用，可以视为苹果打通AR生态硬件基础的第一步。未来苹果通过技术改进和突破，有望将dTOF引入手机端以及更多地AR设备，促进AR硬件设备的发展同时，也激发设计师基于dTOF的特性开发如建筑、教育、医疗等更多场景的AR内容应用，推动AR应用生态持续完善。

华为河图（Cyberverse）定义地球级XR应用（包括VR、AR、MR等扩展现实技术），将AR应用拓展到更广阔的数字世界。华为河图（Cyberverse）被定义用来提供地球级的虚拟现实融合服务的数字平台，华为AR地图是其推出的第一个商业产品，主要功能包括AR实景导航、全息信息展示、虚实融合拍照及其他虚拟活动等。全场景空间计算能力是河图的核心，这一能力所需的宏观地图可以使用卫星定位，而室内及一些微观场所的建模定位则依赖智能手机的3D Sensing来完成。目前华为P40系列机型已经能够支持华为AR地图。

下一波移动终端创新将围绕AR进行革命性创新。AR/VR开发平台的搭建和完善，及增强现实内容市场的蓬勃发展，必然会推动TOF产业的发展。TOF有望接力结构光，从生物感知到虚拟现实，从人脸识别到3D建模，带来产业端升级和用户体验优化，前臵人脸识别+后臵虚拟现实功能可能成为手机的下一个形态。伴随AR/VR的发展，ToF有望成为5G时代智能手机摄像头的下一个风口。

下一波创新性革命，TOF市场空间巨大

下一波移动终端创新将围绕AR进行革命性创新。随着增强现实内容市场的蓬勃发展，内容厂商不断推动AR/VR开发平台的发展，必然会推动TOF产业的发展。TOF有望接力结构光，从生物感知到虚拟现实，从人脸识别到3D建模，带来产业端升级和用户体验优化，前臵人脸识别+后臵虚拟现实功能可能成为手机的下一个形态。伴随AR/VR的发展，ToF有望成为智能手机摄像头的下一个风口。

我们看到2019年3D感测手机大多集中在高端机等旗舰机型，结构光以苹果为代表，自iPhoneX后的机型都已经搭载结构光功能，而华为搭载TOF的机型数量最多。根据Yole的预测数据也显示，全球3D成像和传感器的市场规模在2016–2022年的CAGR为38％，2017年市场规模18.3亿美元，2022年将超过90亿美元。其中，消费电子是增速最快的应用场，2016–2022年的CAGR高达160％，到2022年消费电子市场规模将超过60亿美元。

从出货量上来看，我们预测智能手机3D感测需求将从2017年的4000万部增加至2019年的2亿部以上，其中2019年的ToF机型还主要集中在几款高端旗舰机，从2020年开始TOF的出货量将进一步爆发，在整体3D感应中占比有望达到40%。