計算式散景評鑒:我們如何測試智能手機的人像模式

發表於:2018-11-12

閱讀量:0

1541562136323426.jpg

現代智能手機攝像頭得益於雙攝像頭或多圖像堆疊等創新技術,已經可以在許多領域與傳統攝像頭相媲美,再加上它的超級便攜性,也難怪智能手機不僅在業餘紀錄片、風景和街頭攝影者之間大受歡迎,就連一些專業攝影師和記者有時也會使用自己口袋裡的手機來拍攝有償作品。

然而,迄今為止,人像仍然是數碼單反相機和其他大型傳感器相機系統專美於前的領域。人像攝影通常將拍攝對象置於一個模糊的焦外背景前,以凸顯人物。在物理定律下,只需將一個大光圈鏡頭安裝於配備有全幀型圖像傳感器的相機,即可輕鬆實現這種效果。反觀智能手機卻必須奮力模糊圖像的背景,因為其圖像傳感器較小,產生的景深範圍幾乎無限遠,因此智能手機拍出的背景通常與拍攝對象本身一樣清晰,所以,即使對於非攝影專家來說,數碼單反相機和智能手機拍出的人像之間的差異也是顯而易見的。

bokeh1.png

左側的人像照片是用入門級數碼單反相機拍攝的,其他照片則是由智能手機拍攝的。第一張智能手機圖像的背景清晰,無法凸顯拍攝對象。第二張照片是用搭載遠攝副鏡頭的手機拍攝的,因此人像的透視效果更好,但背景仍然非常清晰。第三張智能手機圖像添加了計算式散景以達到與數碼單反相機非常接近的效果。

也就是說,智能手機製造商正在研發算法來模擬數碼單反相機和鏡頭的淺景深和散景效果,使得目前的情況逐漸改觀,因此我們決定在新版DxOMark Mobile評測基準中納入這項新功能的測試。我們在一個實驗室設置中測試淺景深模擬(即所謂的散景模式),然後檢查散景的質量(景深、形狀),以及隔離拍攝對象時所造成的偽像。在本文中,我們描述了測試智能手機的計算式散景的方法,如果您想深入了解更多詳情,請在這裡下載我們關於這個主題的科學論文。有關用於計算式散景處理的技術及其對攝影性能的影響的更多詳細信息,請閱讀我們智能手機成像的顛覆性技術一文。

散景是什麼?

散景最初是指圖像焦外的模糊部分的美感特質,尤其是焦外的光點,散景不像景深擁有精確的定義,光圈的光闌片、光學暈影、球面和色像差都會影響鏡頭的散景效果。最近,這個術語已經成為焦外模糊的代名詞,而且通常包括焦外光點的大小,這些光點的半徑越大,散景效果也就越強烈。

智能手機的計算式散景

當前一些高端智能手機配備了第二個後置攝像頭來模擬數碼單反相機的散景和淺景深,其等效焦距為35毫米,比主攝像頭的焦距更長。然而光是加長鏡頭的焦距並不能產生像數碼單反相機那樣的散景效果,因為它雖然可以顯著改善攝影的透視效果,但其景深範圍卻可能比主攝像頭還要大。這是因為智能手機製造商必須使用非常小的圖像傳感器和光圈,將具有更長等效焦距的鏡頭擠壓到現代智能手機的纖薄外形中,從而有可能使遠攝鏡頭的景深範圍達到主攝像頭的兩倍之多。

iphone-x-gray-select-2017-550x413.png

在人像模式下拍攝時,蘋果公司的iPhone X使用了第二個遠攝鏡頭並與成像算法相結合。

因此智能手機需要使用高級圖像處理的算法來生成背景模糊。然而,這種做法實際上存在著一些困難,因為只有在很少數的場景中拍攝對象和背景是分別在兩個對焦平面上可以截然分開,除此之外,它在大多數情況下都需要景深圖方能實現拍攝對象和背景的隔離,因此高質量的景深圖對於生成沒有偽像,且看起來很自然的散景效果至關重要。

然而創建景深圖也只是故事的一部分而已。因為除了景深圖之外,它還必須以令人信服的方式將模糊應用於焦外區域,這可比單純地應用高斯模糊並將景深作為其半徑參數要復雜許多。例如,在光學散景中,場景中的光點通常不是模糊的,而是大致呈現鏡頭光圈的形狀(通常為圓形)。在模糊分散觀者註意力的背景細節時,這些光點可不怎麼好看,但觀者都已習慣於這種特殊的現象,而且將其當成專業攝影和電影的特色了。

另一個例子是在焦外區域的反射高光。在光學散景中,圖像傳感器的尺寸較大,因此反射高光造成的模糊點可以落在許多像素上。但是在智能手機上,這些反射高光只能集中在幾個像素上,使得像素趨近飽和,從而損失了高光位的真正強度。

bokeh_lightpoints.png

具有50毫米f/2.8鏡頭的全畫幅數碼單反相機的焦外光點(a)與沒有計算式散景的智能手機(b)、出色的計算式散景(c)以及受圖像處理所造成的偽像影響的計算式散景(d)之間的比較。

智能手機製造商已經想出了許多辦法和技術來生成計算式散景,其中包括焦點堆疊、動態結構組合、雙攝像頭(立體視覺)、雙像素,甚至採用了專用的景深傳感器,因此DxOMark希望推導出一種測試方法,以便在所有測試過的智能手機(包括過去測試過的智能手機)和數碼單反相機之間進行比較。

DxOMark的散景測試方法:感知評鑑

在開發先前的測試方法時,我們發現,人類的視覺系統才是用於評鑑複雜圖像元素(例如人體皮膚上的顆粒或頭髮的紋理)最可靠、最強大的“工具”。然而,使用人類的視覺感知來評鑑圖像質量的一大缺點在於缺乏可重複性。通過提出明確的問題來降低評鑑的複雜性,這種方法可以大大提高可重複性,使感知評鑑產生高度可重複的結果。

例如,評鑑噪點時,我們會在實驗室場景中呈現一個特定的細節,並要求專業人員評估噪點(而且只有噪點而已)與一系列參考圖像之間的差異。除此之外,對場景中的幾個細節重複進行測試也可以進一步提高可重複性。這種“實驗室場景測試法”結合了傳統測試圖表的可重複性和人類感知的可靠性來拆解各種圖像處理的花招,與純粹基於測試圖表的評鑑相比,它可以更好地反映現實世界的圖像質量。

RU~QZKBN(Z`A)XJK}FS1EGC.png

在散景測試和評分方面,我們使用了上圖所示的三維測試場景以及下面的評鑑標準,將“實驗室場景測試法”應用於計算式散景的問題上:

  • 拍攝對象/背景分離:精確地分離拍攝對象和背景是獲得近乎數碼單反相機效果的關鍵。目前的設備受到景深圖的解析度太低的影響,因此會出現邊緣不精確和景深估計錯誤的情況。景深估計錯誤通常會導致背景出現清晰的區域和/或拍攝對像上出現模糊,特別是在拍攝移動場景時更是如此。
  • 等效光圈:觀察計算式散景時,等效光圈不再取決於相機的物理特性,而是取決於應用的圖像處理。我們通過比較測試場景中某些區域的模糊程度與不同光圈下的全畫幅單反相機的模糊程度來估算等效光圈值。
  • 模糊漸變:模糊強度應隨景深大小而變化。基本人像可能只包含兩個大致平行於圖像傳感器平面的平面,但大多數的場景都具有更複雜的三維構圖,因此,平滑的模糊漸變對於生成近乎數碼單反相機的散景效果至關重要。
  • 噪點一致性:更詳細地觀察計算式散景圖像時,可以觀察到計算模糊的區域完全沒有顆粒,這是計算模擬的一個有趣的副作用。由於模糊是一種眾所周知的去噪技術,出現這一現象並不令人意外,但是這會使散景看起來不自然。因為在數碼單反相機上,模糊是在光線到達圖像傳感器之前發生的光學現象,因此噪點在圖像的焦點內和焦點外的區域都是相同的。
  • 散景特色:討論散景時,攝影師都會考慮到這一問題,但是他們對於完美的散景究竟應該是什麼樣子,卻沒有普遍的共識,反觀計算式散景在這方面似乎比光學散景要簡單些。當前的智能手機無法模擬光學暈影以使分佈在整個畫面中的散景形狀不一致,或者採用非圓形的光圈以使散景形狀不是圓形的。而且智能手機也沒有由色差引起的紫色或綠色條紋,或是由過度校正的球面像差引起的“肥皂泡沫”,或者是由折反射鏡引起的“甜甜圈”現象。一些攝影師仰賴這些效應來實現特殊的視覺效果,但智能手機製造商似乎認為普通用戶對這些現象並不感興趣,因此它們提供的模擬散景是清晰度不一的各種圓形。
  • 可重複性:光學散景不受曝光影響,但是計算式散景在高光條件下呈現的效果往往最好,因為較多的光線會增加圖像的信噪比,並且有助於計算景深圖。但是,即使在一致的照明條件下,我們也發現許多手機的表現不太穩定:一些偽像會莫名其妙地出現在一個圖像上,卻沒有出現在其他圖像上;有時散景模式完全失敗,而且拍攝的圖像中沒有任何模擬的背景模糊產生。

評鑑和測量散景

在本部分中,我們介紹如何在實驗室場景中根據上面列出的測試標准進行實際的測量和評分。我們在DxOMark Mobile基準中添加了一系列“真實”的室內和戶外測試場景來彌補實驗室測量的不足。這些場景的可重複性比攝影棚內的場景低,但我們可以通過這些變化較大的圖像仔細檢查並確認實驗室的測試結果。

拍攝對象/背景隔離

我們的實驗室設置具有兩個平面、一個拍攝對象和背景;兩個平面之間的距離可調。我們首先測量手機的等效焦距,然後調整手機、拍攝對象和背景之間的相應距離(圖10)。由計算機控制的照明可以確保兩個平面上的照明一致,不受焦距影響。場景中的主要拍攝對像是一個被複雜的形狀包圍的模特頭,用於模擬人臉和頭飾,以及一隻揮舞的手。背景是我們的噪點和紋理實驗室場景的大幅面印花布,其上添加了幾條白色直線。

bokeh_segmentation.png

數碼單反相機和智能手機A、B和C之間的拍攝對象/背景分離比較(括號中為分數)。

我們可以根據拍攝對象平面和背景上的各種特徵,就拍攝對象/背景分離的精確度和可靠性對其進行評分。例如:

  • 在背景中的每條白色直線上,如果一整條線都模糊了,就可以得到一分
  • 右上角的“手”中的每個孔洞如果與背景中的其餘部分一樣模糊,就可以獲得一分
  • 面部周圍的每個尖刺都印有1至5的小數字,如果一個數字可讀,就得一分;如果數字與拍攝對象的其餘部分一樣清晰,可再得一分。

模糊質量

我們使用第二場景來分析模糊質量。第二場景由前景中的拍攝對象(模特頭)或大型物體(塑料花),以及右側和底部上幾乎平行於光軸的兩個額外平面所組成。這些平面上滿是整齊規則的圖案,並延伸至拍攝對象前。我們還在最後面放置了幾個微型LED燈作為光點。這一場景可以用於評鑑拍攝對象/背景分離以及前一部分中描述的所有標準。

此外,我們還使用一個全畫幅單反相機的各種焦距和光圈來拍攝場景,以確定散景模擬模式的等效光圈,然後對智能手機的圖像與這些參考照片進行比較。

數碼單反相機和智能手機A、B和C之間的模糊漸變的平滑度的比較(括號中為分數)。

我們觀察場景底部和右側的黑白方格線上的規則圖案的模糊漸變的平滑度。我們在所有距離上都使用相同的圖案,因此可以察覺在真實場景中可能被忽略的許多細微的不一致之處。我們通過比較焦距內的拍攝對象和背景上的灰色斑點來分析噪點一致性,並將顆粒方面的任何差異歸結為計算式散景處理造成的。

觀察背景中的LED光點可以分析散景形狀,在目前的測試基準中我們更偏向於具有清晰邊緣的圓形。下圖所示的偽像應該避免,因為它們不像任何鏡頭的光學散景。也就是說,數碼單反相機未必能夠在這一類別中獲得最高分,因為它們的光學散景未必是圓形的。

數碼單反相機和智能手機A、B和C之間的散景形狀的比較(括號中為分數)。
數碼單反相機和智能手機A、B和C之間的噪點一致性的比較(括號中為分數)。

可重複性

我們在一系列測試場景中評鑑可重複性。在每個場景下,我們在1000和50勒克斯兩種照明水平下各拍攝五張測試樣本,然後通過感知評鑑來比較不同光線下的相同場景的圖像差異。

計算結果

測試過程中獲得的個別測量結果將通過我們的經驗公式匯總為每項測量分數,然後將每項分數匯總為單一的散景分數。這一評分系統的設計旨在將最高分數給予在散景質量和可重複性之間取得最佳平衡的手機。理論上,搭載優質的快速鏡頭和圓形光圈的數碼單反相機獲得的最佳分數為100分。目前的智能手機因使用的硬件和應用的處理和調校不同而有所差異,雖然它們(還)不能與數碼單反相機相媲美,但目前的高端手機的成績已經相當令人矚目。您可以在我們智能手機成像的顛覆性技術一文的散景部分找到2015年至2017年高端智能手機的分數和样本圖像。

2017年發布的三款智能手機的散景分數:手機A具有廣角+遠攝雙攝像頭;手機B搭載彩色+單色雙攝像頭;手機C的單鏡頭攝像頭則具有雙像素圖像傳感器。

雖然我們使用數碼單反相機作為參考標準,但在某些情況下,計算式散景的表現可能優於光學散景。例如,在一幅群體人像中,被攝體的臉部位於稍微不同的平面上,因此使用單反相機的攝影師需要減小光圈方能在照片中清晰呈現每一張臉,但這樣做也會大大降低背景模糊水平。然而,計算式散景卻不受物理定律的限制,因此智能手機攝像頭可以通過範圍足夠大的景深清晰呈現每一張臉,同時也能呈現強烈的模糊背景。目前,考慮到這些用例的評鑑方法還有待未來進一步的研究,在此之前,如果您想深入了解該主題的更多細節,您可以下載我們關於< 散景的圖像質量基準 >的科學論文。



DxOMark Mobile評測基準與評分

DxOMark Mobile如何為智能手機監視器評分

Top