首頁(yè)>資訊 >
手機(jī)影像“內(nèi)卷”的下半場(chǎng)是AI算法? 2021-10-23 15:48:19  來(lái)源:36氪

今年秋季密集的手機(jī)發(fā)布會(huì)告一段落,恐怕局外人也看出了手機(jī)的影像實(shí)力已成為手機(jī)行業(yè)“內(nèi)卷”的焦點(diǎn)。連一向在手機(jī)影像功能上宣傳較少的蘋(píng)果,也在iPhone 13背面植入兩顆超大攝像頭,并稱(chēng)新款iPhone 是我們迄今最具創(chuàng)新的攝像更新?!?nbsp;

不管是外部環(huán)境的變化還是手機(jī)內(nèi)部硬件的要求,都驅(qū)使著手機(jī)廠商們鐘情于升級(jí)手機(jī)的影像實(shí)力。 

在外部需求端上,據(jù)統(tǒng)計(jì),手機(jī)拍攝功能已成為中國(guó)消費(fèi)者最關(guān)注的手機(jī)要素,而以Instagram、小紅書(shū)為首的線(xiàn)上圖片社交平臺(tái)的火爆,則帶動(dòng)了更多人加入隨時(shí)隨地拍照的行列,這都對(duì)手機(jī)的影像功能提出了更高的要求。 

在手機(jī)的內(nèi)部硬件端上,手機(jī)的處理器和屏幕幾乎都被高通和三星包攬,唯一能動(dòng)刀的手機(jī)的鏡頭模組也因物理尺寸的限制,難以在有限的手機(jī)可利用空間內(nèi)展開(kāi)身手。 

當(dāng)手機(jī)硬件堆料受上述各原因限制,給手機(jī)影像能力帶來(lái)的提升越來(lái)越小時(shí),各廠商要突破硬件限制,做出成像的差異化,計(jì)算攝影 (computational photography) 成為其競(jìng)爭(zhēng)的焦點(diǎn):通過(guò)AI優(yōu)化影像算法,讓用戶(hù)輕松獲得一張質(zhì)量不錯(cuò)的照片。 

用計(jì)算攝影解決“疑難雜癥”

如今,強(qiáng)大的手機(jī)拍照技術(shù)既離不開(kāi)性能優(yōu)異的硬件,也離不開(kāi)迅猛發(fā)展的圖像處理算法,在硬件短時(shí)間難以打出差異化的現(xiàn)實(shí)條件下,從谷歌Pixel開(kāi)始,押注AI算法助力手機(jī)影像能力的提升基本上已經(jīng)成為了手機(jī)行業(yè)的常態(tài)。因此,在計(jì)算攝影市場(chǎng)規(guī)模不斷擴(kuò)大的同時(shí),計(jì)算攝影的算法水平也越來(lái)越重要,競(jìng)爭(zhēng)越來(lái)越激烈。 

計(jì)算攝影,簡(jiǎn)而言之就是使得手機(jī)生成的照片不再僅僅依賴(lài)圖像傳感器和拍照者的專(zhuān)業(yè)攝影知識(shí),而是將手機(jī)硬件與軟件相結(jié)合,讓AI算法以及處理器算力加入到手機(jī)攝影中來(lái)。基于這樣的理念,人工智能企業(yè)曠視提出了“AI重新定義光感知系統(tǒng)”。 

以往的“光+感+知”系統(tǒng)獨(dú)立優(yōu)化,先聚焦在硬件升級(jí),然后再以算法輔助、優(yōu)化后期處理等運(yùn)作方式相對(duì)流程化,如今,“光 x 感 x 知”光感知系統(tǒng)協(xié)同配合,軟硬協(xié)同升級(jí),實(shí)現(xiàn)光感知系統(tǒng)全流程的能力提升。這意味著整個(gè)手機(jī)影像系統(tǒng)數(shù)據(jù)處理規(guī)模以及資源調(diào)度能力增強(qiáng),能支持更廣泛的應(yīng)用場(chǎng)景。 

目前,曠視已為多款主流安卓智能手機(jī)提供一系列計(jì)算攝影解決方案,其中,包括超畫(huà)質(zhì)、降噪和圖像增強(qiáng)等在內(nèi)的技術(shù),已在當(dāng)今的智能手機(jī)中廣泛應(yīng)用。 

超畫(huà)質(zhì)是一個(gè)很大的概念,不僅包括景物原有的細(xì)節(jié)紋理還原,還有著提高畫(huà)面亮度、對(duì)比度以及色彩、層次感等功能,簡(jiǎn)單來(lái)說(shuō),就是讓手機(jī)最后生成出來(lái)的圖片更“完美”。如果要從硬件上達(dá)到這一標(biāo)準(zhǔn),鏡頭和感光元器件都需要足夠的尺寸,這對(duì)不少專(zhuān)業(yè)單反相機(jī)來(lái)說(shuō)都是難以完成的目標(biāo)。 

曠視則通過(guò)AI來(lái)對(duì)高畫(huà)質(zhì)數(shù)碼相機(jī)的成像特性進(jìn)行學(xué)習(xí),還原拍攝場(chǎng)景原有的細(xì)節(jié)紋理,使畫(huà)面品質(zhì)得到整體提升。 

降噪一直是攝影圈的一個(gè)難點(diǎn),對(duì)單反攝影愛(ài)好者來(lái)說(shuō),想要拍攝一張?jiān)朦c(diǎn)少、成像好的照片需要在單反感光度、曝光時(shí)間上尋找一個(gè)平衡,這也通常會(huì)導(dǎo)致在光線(xiàn)條件不足的情況下一些轉(zhuǎn)瞬即逝的瞬間難以被抓住。 

為解決噪點(diǎn)的問(wèn)題,傳統(tǒng)的解決方案是,分別拍一張長(zhǎng)曝光圖片和短曝光圖片,然后在后期軟件上進(jìn)行合成。如今的AI降噪,會(huì)在算法降噪的基礎(chǔ)上,再自動(dòng)拍攝數(shù)張長(zhǎng)短曝光的照片進(jìn)行合成,快速生成圖片,免去了人工在后期軟件上合成的步驟。 

AI算法降噪的原理是對(duì)自然光譜進(jìn)行學(xué)習(xí)并總結(jié)特性,對(duì)相機(jī)傳感器所捕捉的信號(hào)進(jìn)行分辨,哪些是噪聲,哪些是成像需要的信號(hào),最后把需要的部分還原,把噪聲的部分去掉,最大程度地保留細(xì)節(jié)同時(shí)提升信噪比,這樣能讓畫(huà)質(zhì)提升的同時(shí),細(xì)節(jié)也能夠清晰的表現(xiàn)出來(lái)。 

攝影師通常喜歡用大光圈拍人像,這樣可以虛化背景中雜亂的場(chǎng)景,讓拍攝的主體更加突出。過(guò)去,手機(jī)受限于單個(gè)鏡頭中的光圈大小難以拍出自然的虛化效果,即便有算法的幫忙也經(jīng)常被用戶(hù)吐槽為“摳圖+粘貼”。 

圖像增強(qiáng)技術(shù)不像專(zhuān)業(yè)相機(jī)的光學(xué)景深效果,而是利用手機(jī)雙攝和AI算法來(lái)進(jìn)行虛化。隨著手機(jī)多個(gè)攝像頭的出現(xiàn)以及AI算法的進(jìn)步,曠視通過(guò)不同攝像頭之間的間距,利用算法計(jì)算出深度圖像,進(jìn)而形成可以媲美專(zhuān)業(yè)相機(jī)大光圈效果的圖像。 

AI算法在多攝時(shí)代大顯身手

歸功于AI算法與手機(jī)硬件系統(tǒng)的協(xié)同進(jìn)化,AI算法在手機(jī)廠商的影像“內(nèi)卷”中扮演的角色也愈加重要。根據(jù)艾瑞咨詢(xún)近期發(fā)布的《2020中國(guó)人工智能手機(jī)白皮書(shū)》數(shù)據(jù)顯示,截至2019年,AI拍攝算法在國(guó)內(nèi)不同價(jià)位安卓手機(jī)中覆蓋率達(dá)已經(jīng)到91.6%,在AI+光感知手機(jī)算法領(lǐng)域,以曠視為代表的頭部企業(yè)份額占比接近80%。 

人工智能企業(yè)能在手機(jī)影像領(lǐng)域立足,其中一部分原因也是AI算法迎來(lái)了手機(jī)多攝像頭的時(shí)代。如今,即使是對(duì)手機(jī)影像功能最不敏感的用戶(hù),也能明顯感覺(jué)到手機(jī)背后的攝像頭明顯變多了,主攝、廣角、超廣角、長(zhǎng)焦、潛望式、微距、ToF……雙攝已落伍、三個(gè)勉勉強(qiáng)強(qiáng)、四個(gè)、五個(gè)也不嫌多。 

手機(jī)廠商們熱衷于增加攝像頭的背后,并不是簡(jiǎn)單的營(yíng)銷(xiāo)和噱頭,除了近年來(lái)多攝技術(shù)的穩(wěn)步發(fā)展,還有一部分原因在于AI算法為手機(jī)多攝提供了跨越式發(fā)展的契機(jī),AI算法已逐漸成為攝像頭之間聯(lián)動(dòng)的紐帶,在AI的驅(qū)動(dòng)下攝像頭之間的聯(lián)動(dòng)可以形成“1+1大于2”的效果。 

具體來(lái)說(shuō),手機(jī)后置攝像頭數(shù)量和類(lèi)別的不斷增加,對(duì)AI算法意味著光線(xiàn)、景深、像素等多種可收集類(lèi)型數(shù)據(jù)傳感器的增多。有些傳感器鏡頭對(duì)色彩更敏感,有些捕捉紋理效果較好,有些則在運(yùn)動(dòng)焦點(diǎn)的追逐中效果最好。在AI算法與多個(gè)攝像頭的協(xié)調(diào)配合下,通過(guò)雙攝變焦實(shí)現(xiàn)多種傳感器之間的強(qiáng)強(qiáng)聯(lián)合獲得最佳拍攝效果,如,利用雙攝虛化實(shí)現(xiàn)媲美單反相機(jī)的光圈效果、多攝融合有效提升圖片質(zhì)量等。 

多個(gè)攝像頭雖然使得AI算法能收集到的數(shù)據(jù)類(lèi)型和數(shù)據(jù)信息更加豐富,但同時(shí)也帶來(lái)了系列算法和算力的技術(shù)難點(diǎn),如何在手機(jī)有限的算力以及電量限制的情況下盡可能達(dá)到成像的完美,這對(duì)AI算法本身也提出了不低的要求。 

例如,當(dāng)手機(jī)利用不同焦段的鏡頭來(lái)實(shí)現(xiàn)數(shù)碼變焦功能時(shí),多個(gè)攝像頭的切換需要使用到“平滑縮放算法”,該算法的質(zhì)量高低將決定手機(jī)應(yīng)用變焦功能時(shí)各焦段畫(huà)面“接縫”的順滑程度,越好的算法將使得這種過(guò)渡更加自然。 

基于多年的技術(shù)積累和項(xiàng)目工程落地經(jīng)驗(yàn),曠視的雙攝虛化、多攝平滑變焦、多攝融合等算法均具有很強(qiáng)的泛用性,可適配多種模組組合和排布方式。以多攝融合為例,曠視的多攝融合算法采用神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)模型,可有效解決清晰度不均勻、主體邊緣線(xiàn)條彎曲、部分位置重影、線(xiàn)條斷裂錯(cuò)位、重復(fù)紋理錯(cuò)位等傳統(tǒng)多攝融合算法中的常見(jiàn)問(wèn)題。 

AI算法在手機(jī)影像中扮演的角色日益重要,并不意味著AI算法在未來(lái)將取代硬件,而是AI與硬件的協(xié)同互動(dòng)。曠視研究院研究員范浩強(qiáng)在近日的曠視MegTech Lite漫談AI技術(shù)分享會(huì)上表示:“手機(jī)的整體影像能力提升不是僅依靠鏡頭多和像素高就可以實(shí)現(xiàn),最重要還是成像系統(tǒng)各個(gè)要素間的協(xié)同?!?nbsp;

手機(jī)的成像過(guò)程本質(zhì)是“光電算”一體化的過(guò)程,即從光學(xué)感知到電子信號(hào)傳遞最后還原成圖像的過(guò)程。AI算法在其中扮演的角色不僅僅是在最后一步進(jìn)行優(yōu)化,而是在一開(kāi)始時(shí)就加入到光和電的協(xié)同配合中來(lái)。 

用戶(hù)是拍攝風(fēng)景還是人像,是拍攝星空還是運(yùn)動(dòng)中的細(xì)節(jié),AI會(huì)在一開(kāi)始便判斷需要調(diào)動(dòng)的不同鏡頭組合,來(lái)實(shí)現(xiàn)用戶(hù)想要的拍攝效果。例如,當(dāng)用戶(hù)選擇風(fēng)光模式時(shí),AI算法便已將主攝像頭和廣角攝像頭調(diào)動(dòng)起來(lái);當(dāng)用戶(hù)選擇人像模式時(shí),AI算法便會(huì)調(diào)動(dòng)主攝像頭和人物細(xì)節(jié)解析力更好的黑白攝像頭結(jié)合起來(lái),在雙攝像頭模擬大光圈效果的同時(shí)獲得更優(yōu)的人像表現(xiàn)能力。 

未來(lái)的手機(jī)拍攝,將會(huì)向著利用AI技術(shù),理解用戶(hù)意圖,利用算法自動(dòng)調(diào)配攝像頭,完美捕捉到用戶(hù)想要拍攝的畫(huà)面,從“所見(jiàn)即所得”到“所想即所得”,生成出傳統(tǒng)專(zhuān)業(yè)相機(jī)無(wú)法拍攝出來(lái)的圖片效果。 

當(dāng)然,除了AI算法之外,更美好的影像世界的實(shí)現(xiàn)也依賴(lài)于未來(lái)更多新形態(tài)傳感器的發(fā)明。如今,AI計(jì)算攝影不僅在推動(dòng)更多傳感器解決方案的出現(xiàn),也在硬件之外開(kāi)啟了手機(jī)影像的“下半場(chǎng)”。 

本文來(lái)自微信公眾號(hào) “品玩”(ID:pinwancool),作者:洪雨晗,36氪經(jīng)授權(quán)發(fā)布。

關(guān)鍵詞: 手機(jī) 影像 內(nèi)卷 下半場(chǎng)

相關(guān)閱讀:
熱點(diǎn)
圖片 圖片