智东西 作者云鹏 编辑漠影
今天无疑是图像视频大爆发的时代,随着生活水平的提高、人们表达自我意愿的增强,人们对于高质量照片、视频的需求越来越高。
一方面,短视频、视频直播火爆,人们希望能够随时随地通过画面来分享自己的快乐;另一边,人们追求生活品质,希望记录生活的美好瞬间。这些需求的快速增长对智能手机影像素质提出了更高的要求。
智能手机作为人们日常生活最紧密的便携智能设备,无疑已成为人们记录世界的核心入口。 在顶级旗舰智能手机的较量中,影像愈发成为最核心的战场之一。
近年来,智能手机的影像技术飞速发展,软件层面,从早年基于传统算法的计算摄影时代,到如今随着生成式AI的融入,AI与影像的结合愈发深入;硬件层面,从硬件规格的较量,超高像素、超大尺寸传感器的迭代,到如今细致到图像传感器中每一颗像素的极致打磨。
一颗微米级的像素,方寸之间,也大有乾坤: 高像素并非决定手机摄影质量的唯一因素,单个像素的性能才是关键。
在移动影像领域,三星和索尼一直都是旗舰智能手机CMOS图像传感器芯片的头部玩家,三星旗下三星半导体的ISOCELL系列传感器在超高像素和超大尺寸传感器方面都曾引领了当时的行业趋势。
如何更进一步?如何将手机向“高端专业影像”再推进一步,进一步缩小和专业相机的差距?三星选择从每一颗像素入手,继续挖掘技术的深度。
近年,ISOCELL图像传感器在像素隔离、小像素优化和像素合并技术等方面实现了诸多硬核技术创新,带来了不少像素黑科技,也让图像传感器在色彩还原、图像清晰度和感光能力方面进一步提升,给用户提供了更多拍摄场景和创作可能。
正如ISOCELL的名字一样, 影像是光的艺术(ISO:感光度),而像素就如同传感器中的每一个“细胞”一样,是一个一个的“CELL(细胞)”。
今天ISOCELL几乎已经成为旗舰影像的标配,也成为高端像素技术的代名词。 三星究竟如何实现像素技术的突破,将手机影像体验带上新台阶?我们将深入技术细节找到答案。
一、1颗像素到2亿颗像素的艺术之旅:颠覆手机影像体验,从革新原始画质开始
正如苹果、华为是高端旗舰智能手机的代表,其两者均在芯片、操作系统等核心技术层面实现了关键自研技术的突破,想要真正打造高端品牌,做好高端市场, 核心还是要有真正的硬核技术创新,能够真正给消费者带来独特的体验和价值。
1、“吃饱”光子、扩大“胃口”,ISOCELL如何实现“人无我有,人有我优”?
在智能手机移动影像赛道,三星聚焦像素技术突破,带来了诸多填补行业空白的硬核黑科技,也将手机拍照的体验推上了一个新的台阶。
一块CMOS图像传感器上可能包含了数千万上亿个像素, 从像素接收光、感知光、计算光到存储光,而三星ISOCELL在像素微米之间完成了一次光的艺术之旅。
首先,三星ISOCELL通过提升光线捕捉能力,让每个像素都“吃饱”光子。
为了实现这一目标,三星首先从每个像素上方的微透镜着手进行改进。ISOCELL图像传感器使用了折射率更高的材料来制作微透镜,提升光线收集效率,这样每一个微透镜都可以将更多光线汇聚到像素的感光区域。
在我们拍摄夜晚星空时, 高精度微透镜 可以更精确地捕捉到微弱星光,进而呈现出更清晰通透的星空画面。
除了改进微透镜,三星还在微透镜和光电二极管之间的抗反射涂层中加入了新材料,使其具有更高透光率。这种新的 高透光率抗反射涂层(ARL) 可以减少光线在进入像素过程中发生的反射和散射,进而提升像素感光率。
比如当我们在拍摄光线在水滴中折射产生彩虹颜色这类具有混合色彩和色调的复杂场景时,高透光率抗反射涂层就可以减少镜头表面对光线的反射,让拍出的画面更加通透清晰、色彩还原更真实。
接下来,三星ISOCELL进一步通过 前深沟隔离技术(FDTI)和高敏感度DTI技术 优化临近像素之间的光线影响。
其中FDTI技术就像在像素之间筑起“隔离墙”,防止光线“串扰”,这样最终成像画面就会更干净纯粹、色彩更精准。
高敏感度DTI技术则会减少隔离结构对光线的吸收,减少对感光率降低的影响。
可以说,FDTI与高敏感度DTI结合,既能够防止光线串扰,又能够减少隔离结构带来的负面影响,提升像素感光灵敏度,可以说是实现了 “鱼和熊掌兼得”。
在这两项技术的加持下,我们在暗光环境下就可以拍出更明亮、清晰的画面,噪点被有效抑制,同时画面还可以保留更多细节。
比如在明亮场景中色彩丰富的动植物,其色彩纹理不会相互影响,画面更真实自然。
仅仅捕捉更多光线还不够,三星ISOCELL继续扩大像素“胃口”,让像素可以存储更多光信息。
三星ISOCELL在每个像素中集成两个VTG,进而扩大像素存储空间,这就是三星独创的 双垂直传输门(Dual VTG)技术, 更大的像素存储空间可以容纳更多电子,从而避免像素信号饱和。
在一些高亮高光场景中,传感器既能捕捉更广的动态范围,还能原更加丰富的画面细节。比如在日落场景中,传感器可以同时捕捉到天空和地面的细节,高光和阴影部分都能呈现出丰富的色彩层次和细节。
可以看到,在既有的技术基础上,三星通过材料、工艺、设计等方面的技术升级,让体验进一步优化, 补齐传统技术的短板, 实现在行业同类技术中的领先。而在一些行业此前难以攻克的痛点上,三星则直接独创了FDTI、Dual VTG等技术,实现行业首发, 填补了行业“空白”。
可以说是做到了 “人无我有、人有我优”。
2、单个像素黑科技满满,多像素处理大有乾坤
在多像素处理方面,三星ISOCELL进一步迭代 像素重塑技术(Remosaic), 突破像素极限,实现高画质和高效率的兼顾。
从原理上来看,像素重塑技术可以将多个像素合并成一个更大的像素,这样在不同光线条件下,图像传感器就可以通过不同合并方式实现更好的图像质量。
光线充足时,图像传感器就可以开足马力,全分辨率输出,进而获得更极致的图像细节。光线不足时,多个像素合并在一起,提升感光能力,从而拍出更纯净明亮的画面。
具体来看,三星ISOCELL提供了多种像素合并方式, 从四合一、九合一到最高十六合一, 这些合并方式可以覆盖更多不同像素数的传感器,提供更多解决方案、覆盖更多拍照需求和场景。
比如5000万像素可以通过四合一实现1250万像素成像;1亿像素可以通过像素九合一实现1250万像素成像;2亿像素则能够通过十六合一实现1250万像素拍照。
▲像素四合一
▲像素九合一
▲像素十六合一
不论是想要超高像素带来的极致细节,还是想要更出色的感光能力,拍出更好的暗光照片,亦或是单纯希望提升拍照效率,减少像素处理压力,三星ISOCELL的Remosaic技术都有对应处理方式来满足这些需求。
值得一提的是,三星ISOCELL还引入了 E2E AI Remosaic技术, 利用AI优化像素合并过程,进一步提高图像传感器处理效率、降低功耗、提升图像质量。
这对于拍摄高速运动物体是十分有价值的,E2E AI Remosaic可以让传感器更快完成图像处理,捕捉更清晰锐利的画面。
三星ISOCELL的像素重塑技术, 既保证高像素,又优化了数据处理效率,给专业影像创作提供更多发挥空间和技术支持,打破了此前行业只能“二选一”的难题。
3、HDR、变焦、对焦多项技术升级,拉进手机影像与真实世界的距离
在提升单像素性能、解决高像素数据处理瓶颈后,三星进一步在HDR、变焦、对焦技术方面实现了不少硬核技术创新。
HDR技术决定了图像传感器能够捕捉的光线信息的丰富程度,而对焦技术则决定了图像传感器捕捉画面的速度和精度。
在一张照片中同时记录下更亮和更暗的细节,对传统图像传感器来说挑战很大,传统采用多次曝光的方式容易在拍摄运动物体时出现伪影。
在HDR技术领域,三星ISOCELL研发了 单帧逐行高动态范围图像(staggered-HDR)技术, 该技术在同一像素矩阵中使用卷帘快门,在短、中、长曝光时捕获多个帧,然后将每行像素分别发送到移动处理器,相比传统多次曝光合成,可以快速、省电地生成HDR图像。
更进一步,三星还研发了通过一次曝光就实现HDR效果的成像技术。
在三星ISOCELL的单次曝光HDR技术中,包含了 Smart-ISO Pro和DSG(Dual Slope Gain,双斜率增益)两项关键子技术。
Smart-ISO Pro可以智能地调整像素的感光度(ISO),实现传感器动态范围的调整。
在一次成像过程中,低ISO模式可以让传感器在高光部分避免信号饱和,高ISO模式可以减少传感器在暗光部分成像的噪点,保证画面纯净,最终,两种ISO模式下拍摄的图像进行合并处理,从而获得高光和阴影细节都更丰富的HDR照片。
在Smart-ISO Pro基础上,三星进一步研发了DSG技术,通过1-2 个模数转换器为相同的像素输出提供两种不同的转换曲线,分别对应不同的光线强度,从而在单次曝光中捕捉更广的动态范围,并减少噪点。
值得一提的是,DSG技术可以应用在5000万像素HDR成像中,与像素Remosaic技术结合,而此前HDR成像的像素上限为1250万。
在视频拍摄方面, 三星ISOCELL推出了 Zoom Anyplace技术, 其基于AI算法,可以自动识别并追踪画面中的移动物体,并根据需要进行画面放大,从而始终保持被摄主体的清晰。
这样我们就可以在不损失画质的情况下,实现更流畅变焦体验,还能同时记录广角画面和特写画面。
在我们拍摄各类运动物体,比如舞台上的表演者、玩耍中的孩子时,都可以获得更清晰的画面。基于这种流畅变焦体验,专业影像创作者也可以实现 “滑动变焦”这样的电影级拍摄手法,同时记录更多视角,为后期剪辑提供更多素材,给移动影像提供更广阔的创作空间。
此外,三星ISOCELL还推出了多种自动对焦技术,包括 Dual Pixel(双像素)、Super QPD(超级四相位检测自动对焦)以及Super PD(超级相位检测自动对焦)。
全像素双核对焦可以在所有像素中捕捉自动对焦信息,比较每个像素中左右两侧的相位差,快速准确计算出对焦距离,而超级四相位检测自动对焦则在每个像素上集成了四个光电二极管,可以检测水平和垂直方向的相位差,从而实现更加精准的对焦。超级相位检测自动对焦采用了椭圆形的微透镜,能将更多光线汇聚到光电二极管上,提升对焦灵敏度。
在这些技术的加持下,拍摄奔跑的宠物时传感器可以快速准确地对焦到宠物的眼睛上。
微距拍摄花蕊上的昆虫,传感器能精准地对焦到昆虫的触角上;
拍摄夜晚的城市灯光,传感器可以快速准确地对焦到远处的灯光上。
整体来看,三星ISOCELL对像素技术的创新十分突出,这些技术实现了高画质和数据处理能效的兼顾、突破了自动对焦技术边界以及传统变焦技术的限制。
三星的技术创新以像素为核心聚焦点,让影像一定程度上跳出后期处理的“枷锁”,真正在原生画质上实现突破,从“源头”提升成像质量。
如今不少人认为手机影像摄影已经进入“风格大战”阶段,但真正还原世界,还原我们所见,不应该仅仅依靠风格,风格更多是一种“妥协”,在原生画质、在技术还未能达到体验要求的时候的一种妥协。
三星ISOCELL在像素层面的一系列技术创新,打破了这种妥协,实现了真正的原生影像画质跃迁。
二、移动影像大战进入新阶段,生成式AI带来智能化新机遇
今天,旗舰智能手机影像大战已经迈入新的阶段,不仅单纯依靠硬件,也不能单纯依靠软件, 是综合实力的比拼。
三星半导体这样的图像传感器厂商,无疑扮演着 打好“地基”的角色, 三星搭好舞台,终端厂商融入自己对影像的理解,通过算法优化、不断调教,最终实现更好的成像效果。
移动影像发展至今,旗舰智能手机已经具备了非常接近专业相机的拍摄能力,在拍摄体验上更是显著超越了传统相机,但是其拍摄画面与我们人类用自己的眼睛观察到的世界还有很大差距, 移动影像的提升,至少从目前来看,还远未达到“天花板”。
更清晰的图像、更真实的色彩还原、更逼真的光影效果、更丰富的明暗细节,对这些影像方向的追逐,不断给手机CMOS图像传感器的研发迭代提出更多技术挑战。
为了满足这些需求,三星一直在像素技术上持续深耕,并持续迭代高像素传感器产品线,进一步巩固自身优势,从引领1亿像素、2亿像素时代,到像素层面一系列行业首发技术的亮相。
与此同时,基于AI大模型的 生成式AI与智能手机的深入融合,也给计算摄影带来了新的动能、新的机遇和挑战。
从基于AI的ISOCELL Zoom Anyplace技术到E2E AI Remosaic,三星在AI与图像传感器融合方面一直持续深入。
需要注意的是, 不论使用何种AI功能,利用像素技术生成清晰准确的图像都是至关重要的,是一切AI功能实现的基础,而这正是ISOCELL的优势所在。 面向AI的未来,三星ISOCELL显然已经打好了基础。
我们相信三星ISOCELL很快将在移动影像领域给我们带来更多惊喜。
结语:突破手机影像天花板的背后,是对每一颗像素的专注聚焦
毫无疑问,三星ISOCELL实现的一系列前沿影像技术创新,从底层突破,革新了手机拍照的原始画质,给用户侧实现拍照体验的大幅提升打下了牢固的基础。
展望手机影像未来迭代的方向趋势,超高像素、超大底、超大单像素依然是厂商们竞争的焦点,AI与图像传感器的融合也势在必行。三星在这些领域一直在持续布局。
三星ISOCELL图像传感器用高质量像素技术激发了人类对世界的体验想象,进一步加速了专业移动影像的普及化, “每个人都可以随手拍大片”的时代,已经来了。