人工視覺(jué)芯片是一種感算一體化的圖像傳感器，能夠單芯片完成圖像獲取和原位實(shí)時(shí)智能圖像處理等任務(wù)，是一種典型的邊端型智能感知系統(tǒng)芯片。它可以被廣泛應(yīng)用于自動(dòng)駕駛、敏捷機(jī)器人、智能無(wú)人機(jī)、混合現(xiàn)實(shí)和工業(yè)機(jī)器視覺(jué)等前沿鄰域。目前的人工視覺(jué)芯片以多比特實(shí)數(shù)數(shù)據(jù)形式在片上進(jìn)行圖像信息的獲取、表達(dá)、處理和傳輸，面臨處理數(shù)據(jù)量大、深度神經(jīng)網(wǎng)絡(luò)計(jì)算復(fù)雜度高、電路復(fù)雜、片上存儲(chǔ)開銷大、處理延遲和功耗大等諸多的設(shè)計(jì)和應(yīng)用挑戰(zhàn)。
中國(guó)科學(xué)院半導(dǎo)體研究所劉力源研究員帶領(lǐng)團(tuán)隊(duì)在脈沖型人工視覺(jué)芯片設(shè)計(jì)領(lǐng)域取得重要進(jìn)展。團(tuán)隊(duì)創(chuàng)新性地設(shè)計(jì)了一款脈沖型人工視覺(jué)芯片，它集成了單光子脈沖型圖像傳感器和可重構(gòu)脈沖視覺(jué)處理器，可實(shí)現(xiàn)視覺(jué)信息的獲取、表達(dá)、處理和傳輸?shù)热溌返男畔⒚}沖化，更加接近了人類的視覺(jué)系統(tǒng)，為突破現(xiàn)有人工視覺(jué)芯片的瓶頸提供了一種新思路。芯片采用單光子雪崩二極管像素（SPAD）天然地生成高速脈沖型圖像信號(hào)，并采用神經(jīng)形態(tài)脈沖計(jì)算范式直接處理單光子脈沖視覺(jué)信號(hào)，構(gòu)建了一個(gè)如圖1所示的低復(fù)雜度、低延遲的脈沖視覺(jué)信號(hào)流處理系統(tǒng)。脈沖型人工視覺(jué)芯片可實(shí)現(xiàn)二維灰度成像和三維深度成像，并靈活地重構(gòu)為脈沖圖像信號(hào)理器（ISP）或脈沖神經(jīng)網(wǎng)絡(luò)處理器，實(shí)現(xiàn)二維三維視覺(jué)融合智能化處理；同時(shí)，通過(guò)實(shí)時(shí)智能圖像處理判斷不同成像場(chǎng)景，可以反饋控制圖像傳感器的配置參數(shù)，提升成像質(zhì)量。測(cè)試結(jié)果表明，最高成像速率為每秒10萬(wàn)脈沖圖像幀，動(dòng)態(tài)范圍高達(dá)100dB，具有二維三維融合的目標(biāo)識(shí)別定位和光照自適應(yīng)功能。圖2和圖3分別為芯片照片和測(cè)試結(jié)果。該項(xiàng)研究為體積和供電均受限的邊緣視覺(jué)設(shè)備提供了實(shí)現(xiàn)低延遲多模視覺(jué)感算一體化高集成度片上系統(tǒng)芯片的新方法。
此項(xiàng)研究成果由半導(dǎo)體所助理研究員楊旭和劉力源研究員等共同完成。此項(xiàng)工作得到了國(guó)家重點(diǎn)研發(fā)計(jì)劃和國(guó)家自然科學(xué)基金等項(xiàng)目的資助。
圖1 脈沖視覺(jué)信號(hào)流
圖2 芯片照片；圖3 芯片成像測(cè)試結(jié)果 (a) 成像場(chǎng)景 (b) 二維測(cè)試結(jié)果 (c) 三維深度成像結(jié)果 (d) 0.3lx照度下的弱光測(cè)試結(jié)果
(來(lái)源：中國(guó)科學(xué)院半導(dǎo)體研究所)