English|中文
English|中文

灵明光子dToF助力高通骁龙旗舰，成就安卓全新“导演模式”

发布时间：2022-11-19
11月16日，骁龙8 Gen 2处理器正式亮相高通骁龙技术峰会。三亚站发布会上，高通产品市场部资深总监徐恒生动展示了骁龙8 Gen 2上备受瞩目的“导演模式”。该模式由高通携手虹软和灵明光子共创而成，首次实现安卓全新的“导演模式”，给安卓用户带来无与伦比的视频拍摄体验。

11月16日，骁龙8 Gen 2处理器正式亮相高通骁龙技术峰会。三亚站发布会上，高通产品市场部资深总监徐恒生动展示了骁龙8 Gen 2上备受瞩目的“导演模式”。该模式由高通携手虹软和灵明光子共创而成，首次实现安卓全新的“导演模式”，给安卓用户带来无与伦比的视频拍摄体验。

高通产品市场部徐恒介绍高通与灵明光子、虹软的三方合作的“导演模式”


手机感知2D到3D 人人都是大导演

今天，Vlog（Video Blog）已经逐渐成为了人们记录生活，表达个性最主要的方式。一次旅行，一场聚会，又或者一次下厨，一次游戏，都可以成为视频记录生活的素材。专业视频博主的Vlog呈现，离不开精良的拍摄、规划、剪辑，有一定的创作门槛。为了让更多普通消费者能随时随地，想拍就拍，“手机导演模式”应运而生。

在“导演模式”中，随着人物视线的移动，虹软提供的AI算法会检测到画面兴趣点的变化，然后引导相机对焦和跟焦，实现导演运镜的效果。同时，软件也通过复杂的深度估计算法，对人像焦平面以外的区域进行模拟光学镜头的虚化渲染，从而实现高画质的电影效果。

而灵明光子提供的dToF硬件，则在“对焦”、“深度估计”、以及“复杂光线环境”的效果提升上有突出贡献，通过感知3D世界，超越了目前大部分手机的纯视觉（无ToF）方案。

Spot dToF是一种利用发射分散的点光斑获得散点位置下直接飞行时间的深度感测方案。在“导演模式”中，相比传统的PDAF(相位对焦法)，Spot dToF方案在暗光或者逆光情况下，可将对焦速度提升1-2倍，对焦可以在2帧以内完成，并且不需要调整曝光的“拉风箱”动作。这对于流畅的视频拍摄非常关键。此外，基于dToF的工作原理，它能够很好地区分玻璃等类似透明物对目标距离的干扰，甚至实现玻璃的识别，也就是视频展示中的玻璃对焦跟踪功能。并且，由于Spot dToF深度测量实现了高空间分辨率（大于24x24），也让我们可以在视频拍摄全画面任意位置上完成视频焦点切换、焦点追踪等高级操作。现有的有限点dToF激光对焦类产品实现该功能有不小的挑战。最后，Spot dToF还可以增强在弱纹理的墙面、桌面，以及弱光和逆光下的深度估计效果。


灵明光子dToF方案 解锁专业电影效果

本次导演模式的demo硬件，实际是一个由灵明光子Spot dToF芯片以及基于此的模组组成的激光雷达。利用外置的专用线路和外壳，将激光雷达和两个RGB摄像头一并置于搭载骁龙8 Gen 2的Qualcomm Reference Design(QRD) 手机上。QRD手机经过虹软的标定和算法的注入，在展会现场供参观者和媒体现场演示和体验。得益于高通骁龙8 Gen 2强大的运算能力，dToF深度计算和导演模式算法计算的功耗和时延都大大降低。
相比iToF方案，dToF具有更低功耗，更高准度，更远室外距离，还有玻璃检测等功能。灵明光子高性能Spot dToF芯片，采用最先进的3D stacking（hybrid bonding）工艺，在940nm波段具有高达20% 的光子探测效率，帧率实现15-60FPS可选。并且该芯片测距范围覆盖0.1m ~ 19m，Rx功耗低至70mW，室外性能至少达到6m@100klux。



站在巨人的肩膀上 导演模式登录安卓

用Spot dToF来实现类似激光雷达Lidar Scanner的功能，最早出现于iPhone 12 Pro的弱光人像模式。2021年iPhone发布“电影模式”，帮助用户以简洁的方式拍摄出类似电影导演的画质。而装配有Lidar Scanner 的iPhone 13 Pro，在隔着玻璃、暗光、还有逆光场景下都有更好的电影模式表现。
而此次，经过高通，虹软和灵明光子的打磨，安卓手机上的“导演模式”应运而生，成功发布。未来，借助Spot dToF的3D感知能力，弱光人像模式以及基于AI图像语义分割技术（segmentation ）的智能相机，都可以在安卓手机上继续提升。

展会现场众多媒体进行拍摄

体验以人像互动模式为载体的“导演模式”

灵明光子和虹软在之前的合作过程中，也完成了基于神经网络的RGB+ToF深度补全算法，以及基于ARCore SLAM的网格化（Mesh）。深度补全算法通过提供高分辨率的深度图，能实现视频虚化效果，AR虚实遮挡，甚至动作捕捉；Mesh算法则展示了基于ToF更快速的SLAM效果以及更准确的3D场景建模能力。        


协同合作创新 突破影像边界

导演模式的开发，灵明光子得到了高通中国产品市场和研发团队的鼎力支持。在高通产品市场部的领导下，三方精诚合作，仅仅三个月就完成从立项到展出样机的效果。这体现了国内良好的软硬件生态系统，也进一步彰显了灵明光子自身的技术实力和产品迭代能力。灵明光子将持续发力，为手机3D传感、车载雷达、AR设备等多样化的应用打开“第三只眼”，并从此推开三维世界的大门。

灵明光子联合创始人&CEO臧凯协同本次展示合作方虹软在会场为高通全球副总裁侯明娟女士做产品演示讲解

返回