隨著用于監(jiān)控空間的安全攝像機的圖像傳感器的重要性日益提高,它們所需的特性也變得越來越先進。我們要滿足的要求包括即使在黑暗的地方也能識別目標的低照度性能,即使在入口等光源下也能實現(xiàn)人臉識別的高動態(tài)范圍,以及能夠準確記錄移動目標圖像的性能在不引起模糊或顏色變化的情況下,這是一項僅通過改進傳統(tǒng)傳感器就無法完成的任務。這就是索尼開發(fā) STARVIS 2 的原因。
通過從頭開始重新設計其圖像傳感器的結構,STARVIS 2成功地實現(xiàn)了其他任何產(chǎn)品都無法比擬的特性。其開發(fā)團隊解釋說,盡管在 COVID-19 危機期間開發(fā)條件極為不利,實現(xiàn)這些突出特性也是一項極其困難的項目,但索尼還是將開發(fā)全新技術和將其商業(yè)化為產(chǎn)品的兩個過程同時進行。這個高要求項目的成功有兩個關鍵:只有索尼半導體解決方案集團才有可能擁有的專業(yè)知識和團隊合作。
下面是索尼團隊對這個芯片設計的評價:
問:傳統(tǒng)安全攝像頭以前面臨哪些問題?
Shimizu:傳統(tǒng)的安全攝像機在低照度環(huán)境中存在圖像質量問題。為了解決這些問題,需要在周圍較暗、光源不足的情況下提高靈敏度,但提高靈敏度需要更大的像素尺寸。但是,如果增加像素尺寸,圖像傳感器本身就會變大,導致單價更高。而且鏡頭也會變大,所以相機單元本身的尺寸也必然會增大。較大的相機將被限制在可以安裝的地方,因此我們需要開發(fā)一種具有高靈敏度的傳感器,同時保持它的小尺寸。通過將圖像傳感器的前照式結構更改為新開發(fā)的背照式結構,我們能夠開發(fā)出更高靈敏度的 STARVIS。
問:STARVIS的發(fā)展順利嗎?
Shimizu:當我們嘗試使用采用傳統(tǒng)封裝的背照式 CMOS 圖像傳感器時,會出現(xiàn)反射和眩光鬼影的問題。
雖然背照式結構可以很容易地引入光線,但過多的光線進入會導致我們看到的問題。因此,經(jīng)過反復試驗,我們開發(fā)了一種新的器件結構,可以防止過多的光線進入圖像傳感器,并完成了防止反射和眩光鬼影發(fā)生的封裝。
問:市場對全球首款配備用于安全攝像頭的背照式 CMOS 圖像傳感器的產(chǎn)品有何反應?
Shimizu: STARVIS 推出時,我們有前照式 CMOS 圖像傳感器和背照式 CMOS 圖像傳感器,具有相同的全高清分辨率和相同的像素數(shù)。這兩種產(chǎn)品的比較可以在相同的條件下進行,因此我們與客戶進行了業(yè)務討論,同時讓他們檢查它們之間的實際差異。這兩個圖像傳感器的性能存在相當大的差異,任何人都可以清楚地看到生成的視頻本身的差異。我們的客戶對“令人印象深刻!”等評論感到驚訝,我們收到了來自許多方面的積極評價。
問:STARVIS 2 開發(fā)的觸發(fā)因素是什么?
Shimizu:這是由我們的客戶要求觸發(fā)的。盡管 STARVIS 實現(xiàn)了更高的低照度靈敏度和改進的圖像質量性能,但也有單獨的要求擴大其動態(tài)范圍,以便即使在入口等外部明亮的情況下也能準確識別面部,并在光線下拍攝圖像source 會導致面部變暗和陰影。STARVIS 2 的開發(fā)開始響應這些要求。
問:您是如何進行 STARVIS 2 的開發(fā)的?
Shirahama:為了在不犧牲STARVIS的低照度性能的情況下進一步擴大動態(tài)范圍,我們認為可以應用我們公司正在開發(fā)的工藝技術和電路技術。因此,我們專注于建立這兩種技術。
盡管它們的開發(fā)還在研究中,因此尚未在技術上確立,但我們的商業(yè)化時間表已經(jīng)確定,因此我們必須同時進行技術確立和商業(yè)化。
問:這意味著它的進展是一個不同于標準產(chǎn)品開發(fā)的不同尋常的案例,那么它進展順利嗎?
Shirahama:通常情況下,產(chǎn)品的技術成熟后才會進行商業(yè)化,但在這種情況下,由于兩者同時進行,因此我們需要在極短的周期內進行開發(fā)和測試。我們別無選擇,只能在一次解決每個問題的同時繼續(xù)前進。由于這些條件,第一版設計充滿了問題,并且在完全無法商業(yè)化的狀態(tài)下完成。
然而,由于商業(yè)化時間表沒有任何回旋余地,因此延遲并不是一件容易的事,因此如何在了解其問題的同時推進整個項目的問題非常重要。即使我們認為“已經(jīng)沒有用了”,我們也會在解決每個問題的同時密切關注時間表,并且一次領先一步。隨著我們這樣做,我們的“沒用了”的想法逐漸變成了“也許它會起作用!”的感覺。盡管這個項目的團隊是由第一次合作的成員組成的,但他們擁有解決問題的能力和靈活性,即使在嚴格的日程安排下也能熟練地推進項目。我開始認為“這可能是一個令人難以置信的團隊”,與團隊合作變得越來越愉快。
問:由于這個項目是在 COVID-19 危機期間開發(fā)的,您可能只有很少機會是面對面的工作的,所以您覺得工作有什么困難嗎?
Shirahama:我認為不能見面是溝通的一個重要瓶頸。由于我在做項目時非常在意個人印象,所以我非常注意在團隊成員無法看到彼此面孔的情況下談論問題或問題時的溝通方式。我沒有將問題或問題歸咎于某人,而是謹慎地以一種專注于我們應該如何回應他們的方式說話。如果我批評某人并在成員中留下可怕的印象,我將無法收到我想聽到的意見。
問:在 STARVIS 2 的開發(fā)過程中,您遇到了哪些困難?
Kawamura:作為我們的發(fā)展方針,我們在保持產(chǎn)品優(yōu)勢的同時不斷改進產(chǎn)品。這一次,為了解決擴大動態(tài)范圍的問題,需要增加光電二極管的飽和度。因此,我們沒有將光電二極管連接到傳統(tǒng)的硅表面,而是開發(fā)了一種在硅內垂直方向積累電荷的結構。
同時,我們還引入了用于高動態(tài)范圍功能的新技術。
我們必須在商業(yè)化的時間表內繼續(xù)開發(fā)這兩個尚未建立的新結構,因此在極其緊張的開發(fā)期間是一個挑戰(zhàn)。正如之前的Shirahama先生所說,最初的原型中存在電荷轉移問題,而且問題多多,因此我們甚至無法對其進行充分評估。
wabuchi:這種垂直結構的光電二極管尚未應用于圖像傳感器,因此在量產(chǎn)方面是一項高風險的技術。盡管如此,我們仍然迫切需要一種突破性技術來實現(xiàn)更寬的動態(tài)范圍,因此由于Atsugi TEC 的開發(fā)線上有一個原型部分,我們從那里開始嘗試。在標記每個開發(fā)里程碑時,我們從驗證其原則開始逐步進行。這次的商業(yè)化時間表是在假設技術開發(fā)的各個部分都能順利進行的情況下制定的。由于我們從一開始就面臨著一系列未按計劃進行的問題,因此我們一直在走鋼絲,以找出如何以某種方式維持開發(fā)進度。
您是如何克服和解決這些問題的?
Kawamura:我們只好一個一個地解決,因為我們不可能一次解決所有的問題。我們毫不掩飾地向Shirahama
同學和Iwabuchi同學解釋和展示了這些情況,分享了我們的問題,并四處咨詢了內部項目團隊之外的任何有相關知識的人。
Iwabuchi:為了擴大動態(tài)范圍,我們必須在增加飽和信號的同時抑制噪聲。
這次采用的新垂直結構是一種可以增加飽和信號量的創(chuàng)新結構,但我們面臨著極大的困難,即優(yōu)化工藝條件,使這些增加的信號能夠可靠地傳輸。
關于噪聲抑制的其他問題,由于結構和工藝都是新的,我們完全意識到作為噪聲原因的暗特性可能會變得更糟。
為了同時解決增加飽和容量和抑制噪聲這兩個問題,我們實施了審查像素布局和工藝條件等各種措施,最終成功開發(fā)了特性,以獲得滿足客戶要求的圖像質量
問:您想出了什么樣的解決方案來使 STARVIS 2 成為現(xiàn)實?
Shimizu:過去版本的STARVIS具有很強的低照度性能特點。我相信添加更寬動態(tài)范圍特性的一個結果是——它可以在安裝在入口等位置的安全攝像頭中展示其性能。在入口處,來自太陽的光從入口門外照射進來,這是人們進入的方向,因此人們的臉對著那個光源。使用傳統(tǒng)相機,這會導致人們的臉完全變暗,而外面則被吹成亮白色。STARVIS 2即使在這種亮度差異很大的條件下也具有高動態(tài)范圍,因此它可以清晰地捕捉到人臉,還可以記錄門附近明亮區(qū)域的圖像而不會爆裂。
此外,在以往的高動態(tài)范圍功能中,短曝光和長曝光拍攝的多張照片相互疊加,因此如果人物等目標在運動,他們的身體或臉部會模糊或出現(xiàn)不自然的色調.
新設計的 STARVIS 2 增加了飽和能力,并使用了一種稱為 ClearHDR 的功能,該功能可以同時記錄圖像,僅在增益或亮度敏感度方面存在差異,而不是時間差異,從而可以消除模糊和色彩色調。
這使得在入口等位置顯著提高人臉識別率成為可能
Kawamura:即使在夜間場景或隧道入口/出口等亮度變化較大的情況下也能準確記錄圖像,因此它也有望用作行車記錄儀。增強的人臉和物體識別率可以促進與人工智能的連接,因此我們相信它可以比以往更輕松地應用于更多樣化的情況。
Shimizu:如今幾乎所有的安全攝像頭都與人工智能相連。有許多不同的應用,例如將 AI 集成到相機本身中,或者將視頻發(fā)送到云端供 AI 分析,但只有圖像傳感器才能真正捕獲視頻圖像。無論人工智能有多少嘗試分析視頻,除非這些圖像傳感器記錄準確的圖像,否則它甚至都不會開始。因此,從開發(fā)的最初階段,我們就非常意識到與 AI 的聯(lián)系。我們也相信,隨著與人工智能連接的發(fā)展,對安防攝像頭圖像傳感器的需求將變得更大。
問:告訴我們 STARVIS 2 的未來潛力。
Shimizu:我們相信我們可以擴展已實現(xiàn)擴展動態(tài)范圍的STARVIS 2的基本概念,以擴展其功能并將“Auto Exposure Free”功能作為未來目標。
目前,在黑暗的地方拍攝圖像時會使用閃光燈或其他照明設備,但我們相信會有一段時間不需要閃光燈,甚至不需要調整快門時間。我們相信在最亮到最暗的條件下自動記錄圖像是可能的。
Kawamura:無人機甚至現(xiàn)在也被用于運送包裹,我相信有很多方法可以利用現(xiàn)代技術將物品運送到指定地點。通過結合我們剛剛開發(fā)的圖像傳感器以及AI和ToF圖像傳感器等設備,即使在晚上也可以安全地進行交付,我們相信將有可能確認交付給正確的人通過在指定位置識別人臉。除了有助于安全之外,它可以不分晝夜地在尋找事故受害者等救生情況下使用,因此我們也相信它的可能應用范圍將會擴大。
Iwabuchi:在技術潛力方面,本項目開發(fā)了在硅中垂直累積飽和電荷的工藝,我們還開發(fā)了一種晶體管,可以更容易地將累積的電荷讀出到硅膠表面。這將使像素設計的靈活性顯著增長,因此實現(xiàn)創(chuàng)新的、前所未見的像素結構的潛力已經(jīng)擴大。這個產(chǎn)品只是一個開始,所以我相信它將成為我們從這里開始進行革命性設備開發(fā)的觸發(fā)器。
問:告訴我們您希望在未來面臨的挑戰(zhàn)。
Shimizu:我們在開發(fā)過程中經(jīng)常向客戶展示我們的原型,在這個項目中我們的客戶對我們能夠在當前條件下創(chuàng)建產(chǎn)品感到震驚。由于我們能夠實現(xiàn)所要求的特性,因此我們也收到了非常積極的評價。我相信,有了這款產(chǎn)品,我們能夠成功地實現(xiàn)極高水平的性能特征。
除了過去引進我們產(chǎn)品的美洲、歐洲、中國等地區(qū)外,我們希望在不久的將來將我們的銷售渠道擴大到東南亞和非洲等地區(qū),并將我們的圖像傳感器在真正的世界范圍內使用。
Shirahama:通過世界首創(chuàng)的新技術的開發(fā)和商業(yè)化,我希望我們能夠給全世界的人們帶來滿意。此外,我們從這個開發(fā)項目中獲得的經(jīng)驗,我們嘗試了各種任務并克服了許多挑戰(zhàn),這也是我們工程師真正快樂的源泉。盡管可能只是很小的一部分,但我們希望為創(chuàng)建一個自由奔放的公司做出貢獻,在這個公司中容易嘗試新事物,并為每個人提供挑戰(zhàn)新挑戰(zhàn)的動力。
Kawamura:在這個項目中,我們對新的像素結構進行了改變,但我相信這還只是一個開始。將光電二極管更改為垂直配置以增加飽和容量以獲得更大的深度具有巨大的隱藏潛力。我相信提高圖像識別率在安全領域將變得至關重要,因此我們打算進一步增強我們的像素特性,例如紅外靈敏度和高動態(tài)范圍,同時使像素小型化,使我們的圖像傳感器應用范圍比以往任何時候都更廣泛.
Iwabuchi:我認為索尼的優(yōu)勢在于它能夠進行先進的圖像傳感器開發(fā),這些圖像傳感器使用競爭對手無法復制的工藝,如 STARVIS 2。索尼有一種鼓勵新的內部挑戰(zhàn)的氛圍,它的工程師在每個領域都充滿了嘗試新事物的動力。我希望我們能夠充分利用這種環(huán)境的優(yōu)勢,繼續(xù)開發(fā)具有索尼特色的革命性圖像傳感器,這是世界上同類產(chǎn)品中的第一個。