0537- 6808158
網站首頁 >> 新聞中心 >>科技動態 >> 神經擬態視覺傳感器“矚目”自主未來
详细内容

神經擬態視覺傳感器“矚目”自主未來

时间:2020-06-08     【转载】

沉寂多年的神經擬態視覺傳感器行業在最近幾個月開始卷土重來。iniVation公司現已開發出一個動態視覺平臺, 它可以高速、高精度和高一致性地執行平;驈碗s的重復性任務。其CEO Kynan Eng在接受采訪時表示, 工業視覺是風險相對較低、但市場規模較小的市場, 但iniVation看到了有機增長的潛力,并從規模經濟的角度來思考。

神經擬態視覺(Neuromorphic vision)傳感器是一種基于仿生學原理的攝像頭,它可以捕捉到一個場景中的關鍵信息,降低數據冗余和延遲。這種基于事件驅動的傳感器使自主化更接近現實,已經在高速視覺應用中找到用武之地,如工業自動化、消費電子和自動駕駛汽車等領域。

“為什么說基于事件驅動的視覺傳感器是神經擬態的呢?”Yole Développement(位于法國里昂)首席分析師Pierre Cambou表示!坝捎诿總像素都是一個神經元,因而將AI引入像素處理是有道理的!

沉寂多年的神經擬態視覺傳感器行業在最近幾個月開始卷土重來。去年11月,三星為其面向移動設備和平板應用的動態視覺傳感器(DVS)技術提交了商標申請。 Cambou認為:“這有點出乎意料,因為三星開發DVS技術主要是針對汽車高級駕駛輔助系統的!

廣告

去年12月,索尼不動聲色地收購了總部位于蘇黎世的Insightness公司,該公司的視覺傳感器可以在毫秒級別內進行運動檢測,即使傳感器本身在移動的場景下也可以檢測。今年2月,位于巴黎的Prophesee公司在籌集了額外的2800萬美元后,在國際固態電路會議(ISSCC)上宣布與索尼公司共同開發新型一種傳感器,即基于事件驅動的堆疊式視覺傳感器。

神經擬態感應源起于“硅視網膜”的發展,它模仿人類視網膜,最初由蘇黎世聯邦理工學院(ETH Zurich)和神經信息學研究所的Misha Mahowald于1991年提出。Mahowald解釋說,“這種硅視網膜從圖像中減去平均強度水平并僅報告時空變化,從而可以節省帶寬!边@一靈感啟發了動態視覺傳感器(DVS)的概念,并驅使近年來無數的初創公司參與其中。瑞士的iniVation公司就是其中的一員。

iniVation的DAVIS346 DVS

位于蘇黎世的iniVation公司由事件驅動視覺領域的先行者于2015年創立,現已開發出一個動態視覺平臺,集成了高性能機器視覺系統的硬件與軟件。其神經擬態DVS芯片(型號為DAVIS346)模仿人類視網膜的特征,只有當局部像素級別的變化發生時才有數據傳輸,從而實現微秒級時間精度的事件流,這相當于傳統的視覺傳感器,但數據量卻少得多。該公司聲稱,由于采用了本地處理的理念,該芯片大大降低了功耗(最高降低90%)、數據存儲和算力要求,同時還提高了傳感器的動態范圍(超過120 dB)。

iniVation已經建立了一個有300多家客戶的網絡,與賓夕法尼亞大學、蘇黎世大學和美國國防高級研究計劃局的研究人員在IBM TrueNorth類腦芯片上展開了合作。這項研究致力于實現無人機自主飛行。而歐盟的一項計劃則著重于可持續發展的智慧城市項目。

構想智能工廠

與此同時,工廠里也正在進行一場無聲的革命。自主與自動化攜手并進,而機器視覺正是制造業自動化不斷發展背后的支撐力量。與簡單的傳感器不同,機器視覺傳感器會生成大量數據,以識別有缺陷的系統、了解其缺陷并進行快速干預。其結果是成本節省和生產率提升。

iniVation聲稱,其動態視覺平臺非常適合工業視覺,它可進行高速3D基礎架構掃描,用于預測性維護、高速生產檢查、顆粒檢測,以及熒光成像和人體運動分析的顯微鏡。換句話說,它可以高速、高精度和高一致性地執行平;驈碗s的重復性任務。

iniVation的CEO Kynan Eng在接受采訪時表示:“我們花了不少時間才制定出一個合適的策略!碑斊渌径贾铝τ诟咚儆嫈禃r,Eng卻認為“高速計數對象并不是很難”,因為傳統相機可以達到每秒“捕捉一千幀甚至更多”。如果一個應用不需要立即響應,那“使用我們的傳感器將毫無意義!

至關重要的是延遲,而不是數據吞吐量,“我們的傳感器具有快速的響應時間”。例如,“如果您有一個機器人需要不斷移動地完成某項任務,那它就必須實時調整其路線。調整得越快,就可以移動得越快,并越快檢測到自己的錯誤!

 “我認為工業視覺是風險相對較低、但市場規模較小的市場,”Eng說道。因此,風投機構對此興趣不高。但iniVation看到了有機增長的潛力,并從規模經濟的角度來思考。通過2019年與三星建立的合作伙伴關系,iniVation已經從制造和銷售芯片轉向為機器視覺行業提供攝像頭。 Yole分析師Cambou指出,“你可以賣100美元的芯片,也可以將芯片封裝在攝像頭中,賣1,000美元的攝像頭!

通過往系統方向發展,iniVation正在提升其價值鏈的地位。

“我們意識到,做一家芯片公司對我們沒有任何意義,”Eng說!拔覀兛梢曰I集到十億美元的資金,但仍然不夠自己開發芯片的開支。有人想知道,為什么我們的攝像頭很貴,怎么才能讓它更便宜?”通過與三星的合作,我們“解決了這個問題!

不斷提高的質量要求,加速了食品、包裝、消費電子、航空航天和汽車行業中的機器視覺發展。Eng說,iniVation’s的目標是進入更大規模的市場。

展望移動市場未來

基于事件驅動的攝像頭僅傳輸強度的變化。它不會受到動態模糊的影響,其延遲也是微秒級別的。再加上極高的動態范圍和超低功耗,這種攝像頭非常適用于虛擬現實和增強現實應用!斑@是一個潛在的巨大市場,但我們尚不清楚它何時會真正成為巨大的市場需求,”Eng說!艾F在,它還是一個利基市場!

iniVation的CEO Kynan Eng

基于事件驅動的攝像頭還可以應用于移動設備中。Eng說:“訣竅就在于說服手機制造商在手機背面再放置一個傳感器!弊畛,iniVation與其它廠商生產的攝像頭僅使用DVS像素!斑@個功能非常適于處理高速動態變化,但多數情況下,人們只是想自拍或拍攝美食! Eng補充說:“過去這幾年我們所做的就是開發一種能夠同時處理DVS像素和普通像素的傳感器。你可以拍攝普通照片,進行正常處理,而對于特定場景,可以使用我們的動態像素!

因此,手機制造商不必取舍,購買價格也沒有區別。

Cambou認為:“這個移動市場的機遇將在2021或2022年來臨,F在,一部華為手機的背面安裝了5個攝像頭!彼^續說道,“未來,除了始終顯示(Always On)的神經擬態攝像頭外,我看不到其它值得考慮的東西。也有人在談論多光譜,但我更傾向于Always On感知!被谑录寗拥臄z像頭可以實現非接觸式交互,如鎖定和解鎖手機。

就如Prophesee與索尼合作一樣,與三星的合作也使iniVation在智能手機市場占有一席之地。Cambou認為,跟以前一樣,這只是何時實現的問題!癆lways On是個很好的想法,它已經存在了多年,但現在的問題是如何實現它。這取決于你所服務的應用以及在客戶體驗方面可以提供哪些改進!

讓汽車能看見

基于事件驅動的攝像頭具有高能效,因為像素活動微不足道,“靜止的”像素幾乎不消耗能量。在自動駕駛汽車從內燃機過渡到電動發動機的階段,這是一個賣點。對汽車公司來說,“功耗比我最初想象的要重要得多,”Eng說!霸谒麄兡壳暗碾妱悠囉媱澲,如果汽車以恒定速度消耗4kW總功率預算,那其中一半是用于驅動汽車,而另一半是用于計算處理。在算力上節省的每一瓦電能,都可用于增加汽車的續航里程,或減少電池容量!

iniVation公司的Division Sensor平臺可在惡劣的照明條件下實現車輛里程測量、高速同步定位和地圖繪制(SLAM),以及自動駕駛輔助功能!半S著處理技術的不斷發展,自動駕駛汽車會前途一片光明,”Eng說!拔覀儗㈤_發一種混合傳感器,同時支持幀視頻和事件感應,這樣汽車公司可以繼續使用他們花費數十億美元開發的東西!

Yole分析師Pierre Cambou

傳感器是發展自動駕駛汽車的關鍵。它同時產生大量數據,而系統則“受到處理能力的嚴重制約”,Cambou說。增加更多的攝像頭會帶來更多的數據,這意味著“算力需求激增”。提高數據質量是其中一種解決方案。Cambou認為:“如果真的想解決自主問題,將需要迅速增加多樣性?梢允褂眉す饫走_、熱像儀和高光譜相機。我認為汽車公司還應當考慮基于事件驅動的攝像頭!

神經擬態工程的潛力尚未開發出來。根據Yole的分析,到2029年,神經擬態半導體、傳感和計算市場將達到71億美元。如果所有技術問題都在接下來的4-5年內解決,神經擬態計算市場在2024年有望達到6900萬美元,到2029年將增長至50億美元,而到2034年將增長到213億美元。神經擬態傳感市場在2024年為3400萬美元,到2029年將增長至20億美元,到2034年將達到47億美元。

    郵箱2032156294@qq.com           電話:0537- 6808158   17686138996     郵編:272400
公眾號
手機網站
版權所有:山東盈和電子科技股份有限公司
技术支持: 山東水木科技 | 管理登录
5544444