Post

手机拍照中的防抖技术

简介

手持成像设备拍照的过程中,很难控制设备处于完全保持静止状态,特别是使用长曝光(比如夜景拍照)或者长焦镜头进行拍摄(抖动对应的实际位移大),很容易由于相机抖动带来运动模糊。在拍摄视频的过程中,机身抖动也会导致视频画面的连续稳定性降低,特别是一些抖动比较厉害的拍摄场景(比如运动中拍摄),过大的画面晃动幅度让视频的视觉质量直线下降,非常影响观感。为了解决这些问题,就需要通过光学防抖或者电子防抖的技术来保持画面稳定、提升图像细节和暗光拍摄效果。

三维空间中的抖动一般包括横滚(roll),俯仰(pitch),偏航(yaw)三类旋转抖动和横(x 轴)线和纵向(y 轴)的两类平移抖动。其中,横向和纵向的防抖因为解决的是二维平面内的抖动,所以相对容易实现,但是比较全面的防抖技术应该尽可能实现更多轴的防抖功能。

光学防抖

Optical Image Stabilization,OIS

光学防抖技术通过监测机身抖动的位移信息,让防抖模块反向移动抵消这种抖动,从而有效抑制抖动对手机成像的影响。2020 年以来,不同光学防抖方案已经在各大主流手机厂商的拍照技术中得到应用,包括镜头 OIS 光学防抖、传感器 OIS 光学防抖以及悬浮防抖等。

根据镜头模组物理驱动方式的不同,目前市场上的光学防抖主要有三种解决方案,分别是弹片式、滚珠式和 SMA 记忆金属式。弹片式方案代表企业有阿尔卑斯和 Mitsumi,代表性手机用户是苹果”;滚珠式方案代表企业有 SEMCO、Jahwa,代表性手机用户有三星;记忆金属式方案代表企业有 TDK,最具代表性的用户就是华为。

镜头 OIS 光学防抖

镜头模组为可移动设计,或者在镜头模组中增加一个使用磁力悬浮的可移动镜片。可移动的镜头/镜片配合陀螺仪获取到的手机抖动数据,在音圈马达或者记忆金属机械结构推动下,反方向移动以补偿机身抖动所影响的光线路径,使得抖动后的光线仍旧能落在原本的位置,这样就能带来更加稳定清晰的成像效果。镜头 OIS 光学防抖在各种成像设备中是比较常用的防抖技术。

传感器 OIS 光学防抖

和镜头 OIS 光学防抖不同,传感器 OIS 光学防抖通过移动手机传感器抑制机身抖动,同样也是让抖动的光线路径落到原本位置。因为要移动的是传感器,所以不需要考虑镜头光线折射问题。相比笨重的镜头模组,移动传感器相对要容易很多,能够实现更加灵活敏捷的移动响应,提升防抖性能。

2020 年发布的 iPhone 12 Pro Max 上,首次使用了传感器位移式光学防抖,能够实现每秒 5000 次防抖调整,在高速抖动场景要有更好的防抖效果。

综合方案

悬浮防抖

OPPO Find X5 Pro 首次搭载了全新的悬浮防抖功能。悬浮防抖就是上面提到的镜头位移防抖 + 传感器位移防抖两者的结合体。该方案把机身不同方向、不同幅度、不同频率的抖动进行拆分,通过算法将抖动补偿分配到镜头和传感器两个防抖组件上,协同合作,充分利用硬件优势,实现更好的双重光学防抖效果。

根据官方公布的数据,OPPO Find X5 Pro 所采用的悬浮防抖最高支持±3° 防抖 (传统的手机 OIS 光学防抖通常只能支持±1° 防抖补偿) 以及 0.7° 旋转防抖角度,能够实现 x 轴,y 轴,pitch 轴,yaw 轴,roll 轴五轴光学防抖,覆盖更广的抖动场景。

微云台防抖

vivo 采用的防抖方案是自研的微云台防抖方案,该方案支持 5 轴 VIS 视频防抖,在 vivo X50 等机型上开始采用,并在 vivo X60 Pro 等后续机型上进一步迭代升级。

微云台防抖技术的初衷是考虑到,传统防抖技术中镜头模组和传感器不是作为一个整体进行防抖移动,而是分别移动。这种防抖方式有可能会降低画面边缘画质,影响视频质量。而微云台则把镜头模组和传感器绑定在一起,通过整体移动的方式,改善画面边缘模糊的问题,整体画面稳定效果拥有更高的一致性。当然, 微云台防抖方案同样会占用比较大的机身内部空间,并且对技术要求也极高。

电子防抖

Electronical Image Stabilization,EIS

电子防抖没有光学防抖那样的独立元器件,仅仅是依靠算法后处理进行图像恢复和增强来达到类似于光学防抖的效果。算法的具体实现中,一般结合机身陀螺仪等 IMU 传感器检测到的机身姿态变化,对视频画面边缘进行动态裁剪,部分还会在算法中加入 AI 算法预测,实现更好的稳定效果。

需要注意的是 ,电子防抖主要用于解决视频帧间抖动问题,一般在拍照场景中是不起作用的。此外,经过电子防抖裁剪后,虽然画面更加稳定,但画面视野会有一定程度缩减,而且对于较大的抖动可能会导致拉伸后画面变形的问题。部分手机在开启电子防抖后,会通过超广角拍摄画面,利用超广角开阔的视野降低裁剪画面带来的视野缩小问题。

总结

光学防抖是从物理层面解决抖动可能带来的图像降质问题,通过成像过程的优化,提高采到的图像的质量,因此效果更加直接显著,改善效果上限比较高,一般用在镜头倍数高画质要求严格的大型高端摄像机上。但是它也存在一些局限性。从结构上来说,光学防抖需要预留给镜头组更多空间来完成自适应移动,在手机有限的空间中,这也意味着光学防抖需要更复杂的内部结构设计,尽量保持紧凑。从成像质量上来说,光学防抖在镜头组浮动时会让解析力有所下降。因为光学镜片像场中央和边缘对光线汇聚能力不同,所以边缘解析力下降更为突出。

相比之下,电子防抖是通过算法后处理来对已经降质后的图像进行恢复增强。它的优点是不需要复杂的光机结构设计,但是缺点是由于采到的图像本身就是降质图像,所以有很多信息已经丢失,图像防抖的效果有限。电子防抖一般用在低端的相机和摄像机上

目前主流的方案是结合光学防抖和电子防抖,通过联合优化成像模组和 ISP 图像增强算法来实现更低成本、更高质量的拍摄防抖效果。

Reference

This post is licensed under CC BY 4.0 by the author.