為什么需要ISP

來源：時(shí) 間：2024-10-15

網(wǎng)絡(luò)攝像機(jī)的主要器件/模塊包括鏡頭（lens）、圖像傳感器（sensor）、模數(shù)轉(zhuǎn)換模塊信號(hào)處理模塊、壓縮編碼模塊、網(wǎng)絡(luò)傳輸模塊等。目前攝像機(jī)的主控芯片SOC已經(jīng)集成了所有信號(hào)處理相關(guān)的功能。

為了使得攝像機(jī)的成像效果更符合人的觀看需要，需要對(duì)傳感器輸出的原始圖像進(jìn)行“處理”，即ISP，圖像信號(hào)處理。下圖為典型的ISP流程圖。

SP包括RAW、RGB、YUV三個(gè)層級(jí)，或者稱為ISP的三個(gè)域。

關(guān)于RAW、RGB、YUV的介紹，參考前期文章《碼，流，碼流》。

圖像的采集和顯示一般都在RGB空間進(jìn)行，采集和顯示設(shè)備的工作原理天然符合RGB模型。利用YUV空間具備的色度與亮度分離特性，可以針對(duì)亮度和色度選用不同的處理算法，互不干擾，因此圖像信號(hào)的處理多在YUV空間進(jìn)行。

為什么需要ISP？以下按照鏡頭、傳感器、環(huán)境、視覺需要等進(jìn)行舉例介紹。

鏡頭

鏡頭陰影矯正LSC

Luma shading，鏡頭通光量從中心向邊緣逐漸衰減導(dǎo)致畫面邊緣亮度變暗的現(xiàn)象。大靶面的sensor配合短焦鏡頭時(shí)此現(xiàn)象更加明顯。

Chroma shading，鏡頭對(duì)不同波長的光線折射率不同引起焦平面位置分離導(dǎo)致圖像出現(xiàn)偽彩。

畸變校正

枕形畸變（Pincushion Distortion），又稱枕形失真，它是由鏡頭引起的畫面向中間“收縮”的現(xiàn)象。在使用長焦鏡頭或使用變焦鏡頭的長焦端時(shí)，最容易察覺枕形失真現(xiàn)象。

桶形畸變（Barrel Distortion），又稱桶形失真，是由鏡頭中透鏡物理性能以及鏡片組結(jié)構(gòu)引起的成像畫面呈桶形膨脹狀的失真現(xiàn)象。在使用廣角鏡頭或使用變焦鏡頭的廣角端時(shí)，最容易察覺桶形失真現(xiàn)象。

圖像傳感器多采用“拜耳陣列”進(jìn)行圖像采集，像素陣列是紅綠藍(lán)三種顏色交錯(cuò)排列的，即非連續(xù)采集，因此需要對(duì)采集的RAW數(shù)據(jù)進(jìn)行處理，以“恢復(fù)”出真實(shí)的色彩。

黑電平矯正

圖像傳感器的光電二極管存在暗電流，暗電流是指在沒有外部激勵(lì)的情況下,pn結(jié)中仍然存在的微小電流。在無光環(huán)境下，圖像輸出應(yīng)該是純黑的，而實(shí)際上無光環(huán)境下光電二極管仍會(huì)存在電流，造成輸出并不是純黑的。ISP對(duì)傳感器暗電流的處理稱為“黑電平矯正”，通常需要減去一定數(shù)值的輸出。

壞點(diǎn)矯正

圖像傳感器由于自身工藝、材料瑕疵等會(huì)造成輸出異常的像素點(diǎn)，統(tǒng)稱為壞點(diǎn)。實(shí)際包括壞點(diǎn)(Deadpixel)、粘滯點(diǎn) (StuckPixels) 與亮點(diǎn) (Hotpixel)，前者是高度曝光下的暗像素點(diǎn)，中者是高度曝光下相同位置出現(xiàn)的彩色像素點(diǎn)，后者為極暗條件下產(chǎn)生的亮點(diǎn)。壞點(diǎn)包括靜態(tài)壞點(diǎn)和動(dòng)態(tài)壞點(diǎn)，動(dòng)態(tài)壞點(diǎn)與傳感器工作溫度、增益有關(guān)。壞點(diǎn)矯正通常是將像素點(diǎn)的輸出與周圍像素點(diǎn)作比較，存在明顯較大的差異時(shí)則被認(rèn)為是壞點(diǎn)。

視覺需要

顏色校正Color Corret

人眼在可見光波段的頻譜響應(yīng)、監(jiān)視器的激勵(lì)響應(yīng)和圖像傳感器的頻譜響應(yīng)均存在較大差別，如果ISP按照1:1或線性輸出采集的光譜激勵(lì)，會(huì)造成人眼視覺呈現(xiàn)的圖像色彩失真。

國際照明委員會(huì)（CIE）于1931年首次用純數(shù)學(xué)的方法定義了一種顏色空間模型，即CIE 1931 XYZ 顏色空間，它覆蓋了人眼所能感知的全部顏色，而且不依賴于任何特定的物理實(shí)現(xiàn)。在該模型中，CIE定義了三個(gè)函數(shù)用于模擬人眼的三種錐細(xì)胞對(duì)可見光譜的響應(yīng)曲線，如下圖所示：

下圖為某款sensor的頻譜響應(yīng)曲線：

為了使得圖像輸出更貼近人眼的觀察效果，需對(duì)不同RGB分量進(jìn)行合適的增益，這種增益同時(shí)需要保證對(duì)于RGB分量相等的輸入可獲得相等輸出，即不能破壞“白平衡”。

白平衡White Balance

人類視覺系統(tǒng)（Human Visual System, HVS）能夠在各種不同的光照條件下識(shí)別物體的顏色，這種自動(dòng)排除光源影響的能力稱為顏色恒常（color constancy）。

白平衡的英文為White Balance，其基本概念是“不管在任何光源下，都能將白色物體還原為白色”，對(duì)在特定光源下拍攝時(shí)出現(xiàn)的偏色現(xiàn)象，通過加強(qiáng)對(duì)應(yīng)的補(bǔ)色來進(jìn)行補(bǔ)償。白平衡的作用就是模擬人類的色彩恒常能力，在圖像中去除光源引起的偏色，當(dāng)圖像在顯示器上渲染時(shí)，使物體呈現(xiàn)其應(yīng)有的顏色。對(duì)于需要在sRGB（standard Red GreenBlue，通用色彩標(biāo)準(zhǔn)）顯示器上顯示的圖像，白平衡算法需要將拍攝場景色溫下的白色映射為D65色溫下的白色。目前主流的顯示器都是支持sRGB標(biāo)準(zhǔn)的，該標(biāo)準(zhǔn)定義的白點(diǎn)是D65（色溫為6500K）,這就相當(dāng)于實(shí)現(xiàn)了人類視覺的顏色恒常特性。白平衡算法的關(guān)鍵在于對(duì)場景光源色溫的估計(jì)。

Gama矯正

人眼可以適應(yīng)的光亮范圍非常寬廣，從幾乎完全黑暗到非常明亮的陽光。但人眼對(duì)亮度的感知并不是線性的，而是冪函數(shù)的關(guān)系，這個(gè)函數(shù)的指數(shù)通常為2.2，稱為Gamma值。人眼對(duì)低亮度的細(xì)小差別感覺較為明顯，而對(duì)高亮度的細(xì)小差別的感覺不明顯。為了模擬人眼對(duì)光線強(qiáng)弱的響應(yīng)，Gamma矯正將對(duì)低值部分的差距拉大，對(duì)高值部分?jǐn)?shù)據(jù)差距減小。

Tone Mapping色調(diào)映射

顯示器所能呈現(xiàn)的動(dòng)態(tài)范圍通常遠(yuǎn)小于攝像環(huán)境的動(dòng)態(tài)范圍。因此需要對(duì)圖像的亮度和對(duì)比度進(jìn)行處理，以便將高動(dòng)態(tài)范圍（HDR）的圖像轉(zhuǎn)換為低動(dòng)態(tài)范圍（LDR）圖像，以適應(yīng)顯示設(shè)備的能力。

噪聲

噪聲的來源是多方面的，可能是鏡頭引入的雜光、傳感器電路特性造成的暗電流等、為了糾正某項(xiàng)誤差而引入的新的誤差等等，RAW、RGB、YUV均有降噪的處理。

以上僅簡單羅列了ISP的部分內(nèi)容，作為科普了解。

從ISP到AI ISP

傳統(tǒng) ISP是將sensor 輸出的raw數(shù)據(jù)按照一定順序的pipeline轉(zhuǎn)換成人眼可見的YUV數(shù)據(jù)。AI ISP是在傳統(tǒng)的基礎(chǔ)上，通過在特定場景下的圖像數(shù)據(jù)集進(jìn)行訓(xùn)練，將某個(gè)模塊或者多個(gè)模塊的功能用AI芯片實(shí)現(xiàn)。目前成熟的AI ISP技術(shù)是人眼最可知、信號(hào)處理時(shí)最關(guān)鍵的降噪3DNR、HDR、ToneMapping、Demosaic等進(jìn)行AI化處理。

上一篇：共模電感和差模電感在音頻中的應(yīng)用；
下一篇：串口通信解釋