消息來源：芯東西
為機(jī)器人點(diǎn)亮“雙眼”！肇觀電子推第二款3D視覺芯片，三大硬核能力吸睛
芯東西1月21日?qǐng)?bào)道，今天，上海AI芯片廠商肇觀電子正式發(fā)布3D深度計(jì)算+AI加速芯片D163A。
成立不到五年間，肇觀電子迅速成長，已經(jīng)推出N、D、V三個(gè)產(chǎn)品系列，分別覆蓋AIoT、3D視覺、車載三個(gè)應(yīng)用領(lǐng)域。本次推出的D163A芯片，是肇觀電子自2020年上半年以來發(fā)布的第二款D系列3D視覺芯片，既可作為SoC主控芯片使用，亦可作為協(xié)處理器使用。
同時(shí)，這家由AMD“老將”創(chuàng)立的AI芯片廠商已完成5輪融資，累計(jì)融資金額超5億元。
在肇觀電子新品發(fā)布首日，芯東西獨(dú)家采訪了肇觀電子創(chuàng)始人兼CEO馮歆鵬，了解D163A背后的黑科技，以及肇觀電子未來的產(chǎn)品規(guī)劃。
據(jù)馮歆鵬透露，D163A芯片在2020年第三季度已經(jīng)開始量產(chǎn)，并在第四季度產(chǎn)量快速提升，接下來肇觀電子計(jì)劃推出一款V系列車規(guī)級(jí)芯片。
▲肇觀電子創(chuàng)始人、CEO馮歆鵬
3D視覺應(yīng)用落地之難：對(duì)計(jì)算能力需求高在各種形態(tài)的機(jī)器人、AGV（自動(dòng)導(dǎo)引車）、無人機(jī)、可穿戴設(shè)備等多個(gè)領(lǐng)域，3D視覺應(yīng)用面臨著巨大的市場。
以機(jī)器人為例，理想狀態(tài)下，搭載3D視覺系統(tǒng)的機(jī)器人可以判斷出自身在空間中的位置，并能與其所處的環(huán)境進(jìn)行互動(dòng)。為了實(shí)現(xiàn)這一目標(biāo)，產(chǎn)學(xué)界推出了雙目立體視覺、結(jié)構(gòu)光、ToF（飛行時(shí)間傳感器）、激光雷達(dá)等多種技術(shù)路線。
▲顏色的冷暖代表的是物體離鏡頭的遠(yuǎn)近
然而，現(xiàn)有的3D視覺解決方案往往無法為機(jī)器人等應(yīng)用帶來足夠的環(huán)境感知能力。這是由于3D視覺應(yīng)用面臨著生成數(shù)據(jù)量大、計(jì)算復(fù)雜度高、實(shí)時(shí)處理要求高等方面的挑戰(zhàn)。
馮歆鵬說：“相比2D視覺應(yīng)用，3D視覺應(yīng)用多出了一個(gè)維度的數(shù)據(jù)，因此整體數(shù)據(jù)的存儲(chǔ)、計(jì)算都變得非常復(fù)雜。同樣地，算法的處理也會(huì)更加復(fù)雜?！币虼耍?D視覺芯片需要具備較強(qiáng)的計(jì)算能力。
為破解3D視覺應(yīng)用難題，肇觀電子歷經(jīng)約三年的研發(fā)時(shí)間，推出D163A芯片。這款芯片可支持雙目立體視覺、結(jié)構(gòu)光、ToF（飛行時(shí)間傳感器）、激光雷達(dá)等傳感器的數(shù)據(jù)計(jì)算。
馮歆鵬特別強(qiáng)調(diào)，與市面上常見的3D視覺芯片相比，D163A芯片的三大能力格外突出：高精度3D深度計(jì)算能力、幾何計(jì)算能力、AI計(jì)算能力。
高精度3D深度計(jì)算能力：稠密度和深度準(zhǔn)確率高
據(jù)馮歆鵬分享，為了保證3D成像效果，D163A芯片采用了類似人眼視覺系統(tǒng)的設(shè)計(jì)方式。
他講道：“一般來說，人眼視覺系統(tǒng)是基于一些物理原理，來判斷物體在空間中的位置，比如通過左右眼看到物體的差別、通過不同時(shí)刻看到物體的差別來進(jìn)行判斷等等。D163A芯片采用了類似人眼視覺系統(tǒng)的方式，通過在不同時(shí)間點(diǎn)、不同位置上觀察目標(biāo)，獲取各種信息進(jìn)行計(jì)算，最終計(jì)算出目標(biāo)的空間位置?！?/p>
從結(jié)果來看，不論是在被動(dòng)光雙目還是主動(dòng)光雙目的場景中，D163A芯片均能提供較好的3D視覺效果。據(jù)悉，被動(dòng)光雙目指的是采用可見光成像，不提供格外光源；主動(dòng)光雙目指的則是主動(dòng)發(fā)射紅外激光做補(bǔ)光用于成像。
在被動(dòng)光雙目的場景中，D163A芯片在1280*720的高清晰度下，對(duì)處于近、中、遠(yuǎn)距離的不同對(duì)象進(jìn)行3D成像。結(jié)果顯示，D163芯片解決方案十分準(zhǔn)確地反映出了實(shí)際的3D深度。
▲近距離的人臉深度圖
▲近距離的五指深度圖
可以看到，在近距離的人臉成像實(shí)驗(yàn)中，被測人物張嘴，嘴外和嘴內(nèi)的距離只有幾厘米，D163A仍可非常明顯地測出深度；在近距離的五指成像實(shí)驗(yàn)中，五指張開的距離非常有限，但測出的圖像輪廓依然非常清晰。
▲中距離的前后物體展示
在中距離的前后物體展示實(shí)驗(yàn)中，D163A成像的深度圖稠密度高、視角大、距離范圍大?；贒163A的單芯片系統(tǒng)方案，可以不依靠任何外部芯片或者PC機(jī)而獨(dú)立完成全部功能，從而達(dá)到極致精簡的系統(tǒng)成本。
▲陽光下遠(yuǎn)距離的自然環(huán)境可見光圖和深度圖
在遠(yuǎn)距離的自然環(huán)境成像實(shí)驗(yàn)中，D163A成像的深度圖具有適應(yīng)范圍廣、不受陽光干擾的特點(diǎn)。
另外，肇觀電子展示了D163A芯片在640*480高幀率下的成像效果，最終成像的深度圖準(zhǔn)確反映了球在地上遠(yuǎn)近滾動(dòng)的不同深度。
▲被動(dòng)光雙目場景中，陽光下球滾動(dòng)的深度圖
▲被動(dòng)光雙目場景中，在陽光下拍球的深度圖
在主動(dòng)光雙目的場景中，D163A芯片的性能優(yōu)于Intel Realsense。
▲在主動(dòng)光雙目場景中，D163A（中）和Intel Realsense（右）的對(duì)比
幾何計(jì)算能力：支持200余種通用數(shù)學(xué)計(jì)算
除了具備高精度3D深度計(jì)算能力，D163A芯片還具備業(yè)界領(lǐng)先的數(shù)字信號(hào)處理能力。
具體來說，D163A芯片可以支持200余種通用數(shù)學(xué)計(jì)算算子，其中包括三角函數(shù)、對(duì)數(shù)、快速傅立葉變換、HoG、SVM、RANSAC等等。
在應(yīng)用中，D163A芯片可以實(shí)現(xiàn)各種復(fù)雜圖像特征點(diǎn)的實(shí)時(shí)計(jì)算，可以同時(shí)運(yùn)行特征點(diǎn)計(jì)算和AI計(jì)算。
▲D163A芯片同時(shí)運(yùn)行實(shí)時(shí)640x480像素的FAST角點(diǎn)計(jì)算和AI計(jì)算
AI加速計(jì)算能力：網(wǎng)絡(luò)精度幾乎無損失，算法“5分鐘”部署
AI計(jì)算性能方面，在INT8和FP16精度下，D163A運(yùn)行各項(xiàng)網(wǎng)絡(luò)均可達(dá)到較高的每TOPs每秒處理幀數(shù)。
▲上-在INT8的精度下，D163A芯片跑各項(xiàng)網(wǎng)絡(luò)可以達(dá)到的每秒幀數(shù)；下-在FP16精度下，D163A芯片跑各項(xiàng)網(wǎng)絡(luò)可以達(dá)到的每秒幀數(shù)
計(jì)算精度方面，肇觀電子在PC NCNN FP32和板端INT8精度下對(duì)七種網(wǎng)絡(luò)進(jìn)行測試，結(jié)果顯示D163A INT8量化網(wǎng)絡(luò)的精度損失均在1%以內(nèi)。
▲針對(duì)7種算法網(wǎng)絡(luò)，D163A INT8量化網(wǎng)絡(luò)幾乎無精度損失
不僅如此，搭配肇觀電子推出的AI應(yīng)用開發(fā)平臺(tái)Infer Studio?，用戶可實(shí)現(xiàn)對(duì)D163A的快速開發(fā)部署。
馮歆鵬分享，一位客戶基于Infer Studio?開發(fā)平臺(tái)，僅用時(shí)半天就完成了對(duì)D163A芯片的多項(xiàng)開發(fā)任務(wù)
已在多個(gè)領(lǐng)域?qū)崿F(xiàn)商業(yè)閉環(huán)
作為國產(chǎn)3D視覺賽道上的一位玩家，肇觀電子正憑借D163A和更早發(fā)布的N163A芯片快速鋪開市場。據(jù)馮歆鵬分享，D163A非常適合解算雙目立體視覺、結(jié)構(gòu)光、ToF（飛行時(shí)間傳感器）、激光雷達(dá)等傳感器生成的數(shù)據(jù)。目前，D163A芯片已經(jīng)在智能叉車、可穿戴設(shè)備、無人機(jī)、工業(yè)檢測等領(lǐng)域?qū)崿F(xiàn)了商業(yè)閉環(huán)。
此外，在移動(dòng)設(shè)備市場，肇觀電子亦有所規(guī)劃。據(jù)馮歆鵬分享，肇觀電子將承擔(dān)為3D產(chǎn)業(yè)鏈“賦能”的角色，通過與客戶合作，推動(dòng)芯片在模組、移動(dòng)設(shè)備乃至更多領(lǐng)域內(nèi)的落地。
展望未來，馮歆鵬認(rèn)為在幾年內(nèi)，3D視覺技術(shù)有望被應(yīng)用到80～90%的智能設(shè)備上。同時(shí)他表示，面對(duì)一片市場藍(lán)海，肇觀電子將持續(xù)深耕市場、推動(dòng)產(chǎn)品迭代。
“肇觀電子將聚焦于現(xiàn)有的產(chǎn)品組合，依據(jù)客戶的需求和技術(shù)的發(fā)展，把幾個(gè)產(chǎn)品線越做越好，這是我們的目標(biāo)?！彼f道。
結(jié)語：3D視覺有望成為機(jī)器視覺市場主流
目前，3D視覺市場正在飛速發(fā)展。據(jù)市場研究機(jī)構(gòu)賽迪顧問預(yù)測，到2022年，中國工業(yè)機(jī)器視覺市場規(guī)模將達(dá)到180億元，其中3D視覺技術(shù)和產(chǎn)品有望成為市場主流。
在這背后，工業(yè)機(jī)器人對(duì)于抓取目標(biāo)的三維位置信息需求變大、自動(dòng)駕駛應(yīng)用對(duì)于環(huán)境感知能力的需求變高……許多領(lǐng)域均對(duì)3D視覺技術(shù)伸出“橄欖枝”。在國產(chǎn)3D視覺產(chǎn)業(yè)鏈中，肇觀電子等玩家的成長，亦印證了這一趨勢。
未來，3D視覺應(yīng)用或?qū)B透進(jìn)更多場景，我們拭目以待。
