文丨李子月Zoe

編丨石亞瓊

**

普諾飛思（Prophesee）2014年創(chuàng)立于巴黎，專注于神經(jīng)擬態(tài)視覺傳感技術(shù)，引入計(jì)算機(jī)視覺新類別——基于事件的視覺（Event-based）。其研發(fā)的普諾飛思原視覺（Metavision?）傳感器可應(yīng)用于手機(jī)、自動(dòng)駕駛、工業(yè)自動(dòng)化、物聯(lián)網(wǎng)、AR/VR、醫(yī)療設(shè)備等領(lǐng)域。目前第三代傳感器已實(shí)現(xiàn)盈利，第四代傳感器將于今年年底大規(guī)模量產(chǎn)。

此前，普諾飛思曾獲360 Capital Partners，歐洲投資銀行，iBionext，韋豪創(chuàng)芯，英特爾資本，雷諾集團(tuán)，博世創(chuàng)投，創(chuàng)新工場(chǎng)（普諾飛思是創(chuàng)新工場(chǎng)投資的第一家歐洲企業(yè)），Supernova Invest，小米等投資。

聯(lián)合創(chuàng)始人兼CEO Luca Verre擁有米蘭理工大學(xué)和巴黎中央理工學(xué)院的物理學(xué)、電子和工業(yè)工程雙碩士學(xué)位，以及歐洲工商管理學(xué)院的工商管理碩士學(xué)位，曾在施耐德電氣公司負(fù)責(zé)項(xiàng)目及產(chǎn)品管理、市場(chǎng)營(yíng)銷和業(yè)務(wù)開發(fā)等。在加入施耐德電氣之前，還曾任豐田汽車和Altis半導(dǎo)體的工程師，并在倫敦帝國(guó)理工學(xué)院擔(dān)任光子學(xué)研究助理。聯(lián)合創(chuàng)始人兼CTO Christoph Posch擁有維也納工業(yè)大學(xué)電子與通信工程碩士學(xué)位，實(shí)驗(yàn)物理學(xué)和微電子學(xué)博士學(xué)位，曾創(chuàng)立法國(guó)生物電子公司Pixium Vision。普諾飛思共有100多名工程師，50多項(xiàng)國(guó)際專利。

除巴黎總部外，普諾飛思上海、東京、硅谷和格勒諾布爾均設(shè)有辦事處。談及進(jìn)駐中國(guó)市場(chǎng)的原因，Luca Verre 表示：中國(guó)擁有最大的移動(dòng)設(shè)備市場(chǎng)，安防、工業(yè)等領(lǐng)域也有非常多的機(jī)會(huì)；中國(guó)強(qiáng)大的半導(dǎo)體生態(tài)系統(tǒng)也將促進(jìn)普諾飛思的迅速發(fā)展。目前公司正在積極發(fā)展中國(guó)團(tuán)隊(duì)，尋找機(jī)器視覺工程師、系統(tǒng)工程師和銷售經(jīng)理等人才。

基于幀的技術(shù)VS基于事件的技術(shù)

傳統(tǒng)的圖像傳感器采用基于幀的技術(shù)（Frame-based）。通過每秒捕獲多幀靜止圖像來表達(dá)/記錄場(chǎng)景運(yùn)動(dòng)，并通過連續(xù)快速的展示，讓觀看者的視覺產(chǎn)生連續(xù)運(yùn)動(dòng)的錯(cuò)覺。其中的弊病有二：一是每幀之間是空白的，必然會(huì)丟失運(yùn)動(dòng)物體的部分信息。二是無(wú)論場(chǎng)景是否發(fā)生變化，傳感器中的像素都會(huì)進(jìn)行記錄，相同的背景信息被重復(fù)記錄，從而生成大量無(wú)用數(shù)據(jù)。

（高爾夫球手揮桿場(chǎng)景演示 圖片來源：采訪供圖）

以高爾夫球手揮桿為例，在這一場(chǎng)景中，重要的信息是球桿的擺動(dòng)和球的運(yùn)動(dòng)，但傳統(tǒng)傳感器將丟失這些信息的某一部分，同時(shí)反復(fù)記錄他身后不變的天空、樹木和草地。

（基于幀的傳感器（左）和基于事件的視覺技術(shù)（右） 圖片來源：采訪供圖）

而我們的眼睛并不會(huì)以幀為單位記錄場(chǎng)景圖像，只是在場(chǎng)景產(chǎn)生變化時(shí)傳遞信息給大腦。通過這樣的方式，人眼只收集必要信息，而不必浪費(fèi)時(shí)間和精力重復(fù)處理場(chǎng)景中沒有變化的圖像。

普諾飛思所采用的基于事件的視覺技術(shù)（Event-based），便是受到了人眼視網(wǎng)膜和大腦工作原理的啟發(fā)。在普諾飛思原視覺（Metavision?）傳感器中，每個(gè)像素都是異步且獨(dú)立的，像素不再由固定的時(shí)序源（幀時(shí)鐘）控制，而是由信號(hào)在幅度域的變化來控制，并在檢測(cè)到變化或運(yùn)動(dòng)時(shí)進(jìn)行記錄。圖像信息不是逐幀發(fā)送，而是通過連續(xù)的信息流捕獲時(shí)間運(yùn)動(dòng)，并且?guī)c幀之間沒有任何重要信息遺漏。

普諾飛思基于事件的視覺系統(tǒng)產(chǎn)生的數(shù)據(jù)量比傳統(tǒng)圖像傳感器減少十到千倍，等效時(shí)間幀速率>10k fps。其傳感器可實(shí)現(xiàn)像素級(jí)別的曝光調(diào)節(jié)，即使在極暗或極亮的光照條件下，也能實(shí)現(xiàn)>120dB的動(dòng)態(tài)范圍，低光靈敏度<1lux。

普諾飛思的四代傳感器

普諾飛思第一代傳感器用于幫助盲人部分視力恢復(fù)。如其與法國(guó)生物電子公司Pixium Vision合作研發(fā)的無(wú)線視網(wǎng)膜植入物。

普諾飛思第三代原視覺傳感器已經(jīng)量產(chǎn)，主要應(yīng)用于工業(yè)自動(dòng)化，尤其是高速機(jī)器視覺領(lǐng)域，如高速計(jì)數(shù)、激光焊接監(jiān)控、震動(dòng)測(cè)量等。如德國(guó)Imago已將其集成到了工業(yè)級(jí)相機(jī)系統(tǒng)中。這一代產(chǎn)品目前已經(jīng)盈利。

普諾飛思與索尼合作研發(fā)的第四代傳感器主要應(yīng)用于工業(yè)和物聯(lián)網(wǎng)，目前正在與客戶的測(cè)試階段，預(yù)計(jì)今年年底能夠大規(guī)模量產(chǎn)?；谑录囊曈X傳感器的每個(gè)像素都是獨(dú)立的，晶體管數(shù)量較多，使得降低芯片尺寸成為難題。普諾飛思的第四代傳感器應(yīng)用了索尼BSI（背照式）和3D堆疊工藝，大大降低了傳感器尺寸。第三代傳感器（圖左）尺寸為15μm，第四代傳感器尺寸為4.86μm，是目前基于視覺的傳感器中的最小尺寸。

（普諾飛思第三代和第四代芯片 圖片來源：采訪供圖）

此外，普諾飛思近期還推出了評(píng)估套件EVK 3（支持與索尼半導(dǎo)體共同開發(fā)的4.1 HD傳感器和3.1 VGA傳感器）。EVK 3與Metavision??智能套件（由Player、Designer和SDK組成，提供近100種算法、67個(gè)代碼實(shí)例和11個(gè)特定用例的應(yīng)用模型）完全兼容，用于幫助用戶更好地評(píng)估和發(fā)揮傳感器的性能。Luca Verre表示，相較于同類公司，普諾飛思更早地布局軟件開發(fā)，并關(guān)注到軟硬件的配合。

應(yīng)用領(lǐng)域

智能駕駛

座艙監(jiān)控：Xperi旗下子公司DTS基于普諾飛思原視覺（Metavision??）傳感技術(shù)提供的事件數(shù)據(jù)，開發(fā)了基于神經(jīng)擬態(tài)視覺系統(tǒng)的駕駛員監(jiān)控解決方案（DMS），提供了更優(yōu)的微光性能，以及新的檢測(cè)功能，如眼跳或微表情檢測(cè)等。

駕駛輔助：高級(jí)駕駛輔助軟件開發(fā)商Terranet AB與梅賽德斯-奔馳共同開發(fā)的VoxelFlow?傳感器，采用了普諾飛思原視覺（Metavision??）傳感器，可掃描車輛周圍半徑為40米的區(qū)域，反應(yīng)時(shí)間為3毫秒。

醫(yī)療

細(xì)胞療法：Cambridge Consultants的自動(dòng)化污染檢測(cè)系統(tǒng)中，使用了普諾飛思原視覺（Metavision??）傳感器和AI模型來檢測(cè)、跟蹤和分類污染物。

恢復(fù)部分視力：除上文提到的，與法國(guó)生物電子公司Pixium Vision合作研發(fā)建立物理視網(wǎng)膜植入物外，最近還與GenSight Biologics合作。在首例晚期視網(wǎng)膜色素變性（RP）失明患者恢復(fù)部分視力的病例中（報(bào)告發(fā)表于《自然-醫(yī)學(xué)》），該患者接受了GenSight Biologics的GS030光遺傳療法試驗(yàn)。這一項(xiàng)目將基因療法與光刺激醫(yī)療設(shè)備與護(hù)目鏡的形式相結(jié)合，通過普諾飛思基于事件的原視覺（Metavision?）傳感器來感知世界。

工業(yè)自動(dòng)化

高速計(jì)數(shù)：上文提到的德國(guó)Imago已將普諾飛思基于事件的視覺技術(shù)應(yīng)用于工業(yè)部署。

震動(dòng)監(jiān)測(cè)：通過追蹤場(chǎng)景中每個(gè)像素的時(shí)間變化，以像素級(jí)精度連續(xù)遠(yuǎn)程監(jiān)控振動(dòng)頻率。

手機(jī)

提升傳統(tǒng)相機(jī)性能：可在較苛刻的速度和光照條件下拍出更清晰的影像，一次即可拍下最美的照片，且時(shí)間可放慢至10000倍。

實(shí)時(shí)圖像去模糊：通過算法捕捉到時(shí)間分辨率達(dá)1微秒的運(yùn)動(dòng)，并處理與之相關(guān)的運(yùn)動(dòng)模糊。

神經(jīng)擬態(tài)領(lǐng)域的高校、研究所和公司

神經(jīng)擬態(tài)傳感技術(shù)最早源于 1990 年代瑞士蘇黎世聯(lián)邦理工學(xué)院（ETH Zurich），蘇黎世理工大學(xué)和蘇黎世大學(xué)聯(lián)合創(chuàng)辦的神經(jīng)信息學(xué)院（INI）是神經(jīng)擬態(tài)芯片和算法領(lǐng)域?qū)W術(shù)界的權(quán)威。其他此領(lǐng)域著名的大學(xué)還有西班牙塞維利亞大學(xué)（University of Seville in Spain）和匹茲堡大學(xué)（Pittsburgh University in Pennsylvania）等。

目前神經(jīng)擬態(tài)領(lǐng)域初創(chuàng)公司包括兩類，第一類將重點(diǎn)放在傳感器的研發(fā)上面：源于ETH的Insightness，2019年被索尼收購(gòu)；同樣源于ETH的Inivation；由新加坡南洋理工大學(xué)教授陳守順創(chuàng)立的芯侖光電，目前已經(jīng)成為中國(guó)半導(dǎo)體龍頭之一韋爾股份的子公司；源于CSEM Zurich的銳思智芯（Alpsentek），今年七月獲得由?？低暋⑺从罟鈱W(xué)等大廠投資的pre-A輪融資。

第二類初創(chuàng)公司將重點(diǎn)放在神經(jīng)擬態(tài)計(jì)算上，包括：ETH博士劉洪杰創(chuàng)立的九天睿芯（Reexen），今年6獲由韋豪創(chuàng)芯和浦東科創(chuàng)聯(lián)合領(lǐng)投的億元級(jí)A輪融資，去年獲奇績(jī)創(chuàng)壇Pre-A輪融資；來自瑞士神經(jīng)信息學(xué)院（INI）的海歸學(xué)者喬寧博士創(chuàng)立的時(shí)識(shí)科技（SynSense），曾獲百度、Merck、中科創(chuàng)星等業(yè)界和資本支持。今年10月，普諾飛思與時(shí)識(shí)科技建立戰(zhàn)略合作關(guān)系，時(shí)識(shí)科技將自主研發(fā)的低功耗視覺SNN處理器DYNAP-CNN? 與普諾飛思基于事件的 Metavision? 傳感器結(jié)合在一顆單芯片上，并專注于開發(fā)一系列低成本且可大批量生產(chǎn)的模組產(chǎn)品。

傳統(tǒng)CIS巨頭也開始布局神經(jīng)擬態(tài)傳感器，如上文提到的索尼對(duì)Insightnesss的收購(gòu)和與普諾飛思的合作；三星也將這種動(dòng)態(tài)視覺傳感器 DVS 技術(shù)應(yīng)用于汽車高級(jí)駕駛輔助系統(tǒng)（ADAS）。

歐洲創(chuàng)投相關(guān)閱讀

2021德語(yǔ)區(qū)科技創(chuàng)投報(bào)告（上）: 全球“隱形冠軍”中，德國(guó)公司占比近50%

2021德語(yǔ)區(qū)科技創(chuàng)投報(bào)告（下）: 全球“隱形冠軍”中，德國(guó)公司占比近50%

2020法國(guó)科技創(chuàng)投報(bào)告：巴黎融資金額超越柏林，成為歐盟第一大科創(chuàng)中心

關(guān)鍵詞： 擬態(tài) 法國(guó) 中國(guó)市場(chǎng)