上海海思長(zhǎng)期洞悉視覺(jué)感知領(lǐng)域的業(yè)務(wù)特征，圍繞圖像處理和智能分析技術(shù)不斷創(chuàng)新，致力為行業(yè)伙伴提供領(lǐng)先的技術(shù)解決方案。2021年，海思推出越影®AI ISP：用于物聯(lián)網(wǎng)智能終端的新一代智能圖像處理引擎，突破傳統(tǒng)ISP圖像處理的極限，將業(yè)界畫質(zhì)標(biāo)桿推向新的高度。

視覺(jué)產(chǎn)業(yè)過(guò)去十年發(fā)展，歷經(jīng)“看得見(jiàn)”與“看得清”，到當(dāng)前“ 看得懂”的智能階段。圖像分辨率持續(xù)提升，圖像效果不斷優(yōu)化。但是由于視覺(jué)感知的場(chǎng)景非常碎片化，在暗光、逆光、運(yùn)動(dòng)等場(chǎng)景下輸出高質(zhì)量圖像仍然是行業(yè)公認(rèn)的難題。

ISP是對(duì)圖像傳感器輸入的原始數(shù)據(jù)進(jìn)行圖像處理的首個(gè)環(huán)節(jié)，既是“看得清”的重要保證，也是后續(xù)“看得懂”的直接輸入，ISP輸出圖像質(zhì)量決定著“看得懂”的天花板。ISP涵蓋了數(shù)十種圖像信號(hào)處理算法。為了適配各種不同的鏡頭和傳感器，需要優(yōu)化調(diào)整成百上千個(gè)參數(shù)，保證ISP兼?zhèn)渫ㄓ眯院挽`活性。同時(shí)ISP中眾多模塊的算法是相互影響的，算法協(xié)同需要大量調(diào)試工作。這是一個(gè)極其復(fù)雜的過(guò)程，也是一項(xiàng)極具挑戰(zhàn)的任務(wù)。面對(duì)越來(lái)越高的場(chǎng)景復(fù)雜度，基于濾波等傳統(tǒng)圖像處理技術(shù)在暗光、寬動(dòng)態(tài)等場(chǎng)景下，畫質(zhì)獲得顯著改進(jìn)越來(lái)越困難。而且隨著參數(shù)庫(kù)逐漸龐大，調(diào)試越發(fā)困難，開發(fā)周期逐步拉長(zhǎng)，畫質(zhì)提升的投資收益率也越來(lái)越低。

近年來(lái)，利用AI進(jìn)行圖像增強(qiáng)逐漸成為行業(yè)研究新熱點(diǎn)并取得了顯著的進(jìn)展，尤其是利用AI對(duì)靜態(tài)照片的優(yōu)化已經(jīng)廣泛應(yīng)用于高端手機(jī)的相機(jī)拍照并獲得了不錯(cuò)的效果。而視覺(jué)行業(yè)的特點(diǎn)要求能夠?qū)Ω叻直媛?、高幀率的視頻，應(yīng)用AI進(jìn)行實(shí)時(shí)調(diào)優(yōu)，對(duì)算法、算力的要求更高，特別是要求在端側(cè)算力環(huán)境下高效實(shí)現(xiàn)AI ISP功能，獲得相比傳統(tǒng)ISP更優(yōu)的效果。    

上海海思利用在傳統(tǒng)ISP畫質(zhì)技術(shù)上的長(zhǎng)期積累和經(jīng)驗(yàn)，以及在端側(cè)AI架構(gòu)和優(yōu)化上的優(yōu)勢(shì)，在本屆安博會(huì)期間發(fā)布新一代智能圖像處理引擎 — 越影®AI ISP，將傳統(tǒng)畫質(zhì)優(yōu)化經(jīng)驗(yàn)與AI技術(shù)深度融合，為實(shí)時(shí)高清視頻的圖像質(zhì)量帶來(lái)質(zhì)的飛躍，相比海思上一代旗艦ISP在五方面取得顯著進(jìn)步。

【超感光降噪】基于深度學(xué)習(xí)的智能降噪，信噪比4倍提升

去噪一直是ISP的重要功能，尤其在視頻感知領(lǐng)域，夜景下的去噪尤其重要。例如在夜晚光照不足街道或園區(qū)，各種各樣形態(tài)各異的噪聲會(huì)出現(xiàn)在記錄的視頻中，嚴(yán)重影響畫面清晰度，難以“看得清”，更難以“看得懂”。傳統(tǒng)的NR技術(shù)采用多級(jí)時(shí)域/空域?yàn)V波，且濾波器設(shè)計(jì)融合了多種異構(gòu)類型，收益已逐漸降低。海思利用神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)海量低照度場(chǎng)景圖片的噪聲和信號(hào)的分布特性，訓(xùn)練出一套智能降噪的算法模型，讓越影®AI ISP能智能區(qū)分圖像中的信號(hào)和噪聲，實(shí)現(xiàn)低照度場(chǎng)景下的智能降噪。根據(jù)測(cè)試，越影®相比海思上一代旗艦ISP提升明顯，在低照?qǐng)鼍跋聢D像信噪比可提升4倍。

【多光譜融合】采用專用硬件加速，實(shí)現(xiàn)0.01Lux低照全彩

低照?qǐng)鼍跋?，RGB傳感器感光能力急劇下降，導(dǎo)致彩色圖像清晰度快速下降，無(wú)法同時(shí)兼顧圖像細(xì)節(jié)與色彩，給全天候視頻感知帶來(lái)嚴(yán)重挑戰(zhàn)。在夜晚交通管理場(chǎng)景下，往往需要在閘口加裝爆閃燈來(lái)補(bǔ)充照明，容易造成光污染甚至影響駕駛員的行車安全。而多光譜融合技術(shù)通過(guò)將可見(jiàn)光與紅外光感知信息進(jìn)行融合，在不增加光污染的同時(shí)，解決低照環(huán)境下由于可見(jiàn)光感光能力不足所造成的細(xì)節(jié)損失的問(wèn)題，實(shí)現(xiàn)圖像色彩與細(xì)節(jié)的最佳平衡，最終使圖像效果達(dá)到0.01Lux暗光全彩，細(xì)節(jié)紋理豐富。

【超級(jí)寬動(dòng)態(tài)】自適應(yīng)光線復(fù)雜變化，動(dòng)態(tài)范圍提升12dB

寬動(dòng)態(tài)技術(shù)是逆光場(chǎng)景下提升畫質(zhì)的重要技術(shù)。例如行車進(jìn)出隧道口時(shí)，由于內(nèi)外光強(qiáng)反差巨大，如何快速跟蹤不斷變化的光線，并準(zhǔn)確對(duì)目標(biāo)進(jìn)行自適應(yīng)曝光，是對(duì)自動(dòng)和輔助駕駛安全非常重要的技術(shù)。超級(jí)寬動(dòng)態(tài)技術(shù)基于智能識(shí)別目標(biāo)場(chǎng)景，對(duì)價(jià)值區(qū)域進(jìn)行自適應(yīng)多重曝光，通過(guò)智能算法融合不同曝光時(shí)間的長(zhǎng)幀、中幀、短幀的圖像數(shù)據(jù)，使圖像獲得暗、亮區(qū)域的完美融合：亮處不過(guò)曝、暗部細(xì)節(jié)不丟失，逆光場(chǎng)景所見(jiàn)清晰，暗光區(qū)域色彩飽滿、細(xì)節(jié)豐富。根據(jù)測(cè)試，越影®相比海思上一代旗艦ISP，在逆光場(chǎng)景下動(dòng)態(tài)范圍可提升12dB，并且對(duì)場(chǎng)景跟蹤更迅速，能夠有效避免圖像畫面瞬間過(guò)暗或過(guò)曝，在3幀以內(nèi)即收斂至穩(wěn)定狀態(tài)。

【超級(jí)穩(wěn)像】6軸數(shù)字防抖，視頻成像穩(wěn)定性大幅提升

消費(fèi)類攝像機(jī)會(huì)被廣泛應(yīng)用于運(yùn)動(dòng)場(chǎng)景的拍攝，由于在運(yùn)動(dòng)中相機(jī)的震動(dòng)會(huì)影響最終成像效果，嚴(yán)重影響觀看感受。當(dāng)視覺(jué)感知設(shè)備被安裝于自動(dòng)或輔助駕駛汽車中，這樣的抖動(dòng)造成的圖像模糊甚至可能影響駕駛安全。越影®的超級(jí)穩(wěn)像技術(shù)基于IMU 6軸傳感信息智能分析運(yùn)動(dòng)姿態(tài)，通過(guò)精準(zhǔn)補(bǔ)償修正動(dòng)態(tài)視頻，有效減少由于外部環(huán)境晃動(dòng)或抖動(dòng)對(duì)視頻成像造成的影響，可大幅提升各種振動(dòng)環(huán)境下的視頻穩(wěn)定性。

【多維度感知】多感知跨界融合，激發(fā)智慧視覺(jué)新潛能

視覺(jué)是感知信息的主要輸入源，但生產(chǎn)生活對(duì)信息的需求是多維度的。越影®支持RGB與雷達(dá)、紅外熱成像、3D結(jié)構(gòu)光等多維度感知能力的融合，匹配紅外測(cè)溫、智能支付、掃地機(jī)器人、雷達(dá)視頻一體機(jī)等多種產(chǎn)品需求，可廣泛應(yīng)用于交通管理、金融支付、工業(yè)視覺(jué)等多種業(yè)務(wù)場(chǎng)景。這種多維度感知的能力也可被各種行業(yè)細(xì)分市場(chǎng)所利用，激發(fā)更多新品類智能終端的創(chuàng)新。

視覺(jué)與AI是新基建眾多領(lǐng)域的關(guān)鍵技術(shù)，也是智能終端最重要的基礎(chǔ)能力。上海海思以視覺(jué)產(chǎn)業(yè)為基礎(chǔ)，在端側(cè)視覺(jué)感知、AI計(jì)算領(lǐng)域有深厚的經(jīng)驗(yàn)和業(yè)界領(lǐng)先的核心能力，堅(jiān)持投入，不斷創(chuàng)新，為行業(yè)伙伴提供最領(lǐng)先的技術(shù)與解決方案。海思越影®AI ISP將視覺(jué)與AI能力深度融合，將為千行百業(yè)智能終端提供更卓越的視覺(jué)能力，在城市管理、工業(yè)生產(chǎn)、智慧生活、行車安全等諸多方面，為社會(huì)和人們創(chuàng)造更多價(jià)值。