消息來(lái)源：MEMS
據(jù)麥姆斯咨詢(xún)報(bào)道，近日，世界領(lǐng)先的視覺(jué)處理器芯片公司肇觀電子發(fā)布了3D深度計(jì)算+AI加速芯片D163A，可廣泛應(yīng)用于包括各種形態(tài)機(jī)器人、AGV、無(wú)人機(jī)、可穿戴設(shè)備等多個(gè)領(lǐng)域，助力機(jī)器人時(shí)代的到來(lái)。
我們所處的現(xiàn)實(shí)世界是一個(gè)三維空間，即3D立體空間；高級(jí)動(dòng)物如哺乳類(lèi)長(zhǎng)了一雙眼睛，通過(guò)左右眼觀察到的信息的差別來(lái)判斷物體的遠(yuǎn)近。而普通的照相機(jī)拍攝出來(lái)的照片卻是平面的，二維的。如果要用計(jì)算機(jī)視覺(jué)的方式來(lái)獲得環(huán)境空間信息，根據(jù)二維照片的輸入，怎么實(shí)現(xiàn)呢？
顏色的冷暖代表的是人體離鏡頭的不同距離
對(duì)空間立體信息的感知能力是智能設(shè)備比如無(wú)人機(jī)、無(wú)人車(chē)、機(jī)器人的最重要的能力之一。四周物體和自己的相對(duì)位置比如方向、距離、運(yùn)動(dòng)方向、運(yùn)動(dòng)速度、運(yùn)動(dòng)加速度等等這些信息，對(duì)于機(jī)器人在空間中判斷自身位置以及和周?chē)矬w互動(dòng)十分重要。我們?nèi)绻胱寵C(jī)器人從點(diǎn)A到點(diǎn)B，機(jī)器人首先要確定什么是點(diǎn)A，什么是點(diǎn)B，如何從點(diǎn)A走到點(diǎn)B，如何規(guī)劃初始路徑，中間遇到障礙該如何動(dòng)態(tài)調(diào)整路徑，完成這些任務(wù)都需要機(jī)器人具有幾何解算能力，而3D深度計(jì)算是幾何解算的基礎(chǔ)任務(wù)之一。
雙目立體視覺(jué)、結(jié)構(gòu)光、飛行時(shí)間（ToF）傳感器、激光雷達(dá)這些諸多技術(shù)路線(xiàn)都是為了解決3D深度信息獲取問(wèn)題而生，每一種技術(shù)路線(xiàn)都由信號(hào)獲?。▊鞲衅鳎┖托盘?hào)處理（計(jì)算）兩部分組成。
雙目立體視覺(jué)是計(jì)算機(jī)視覺(jué)的一個(gè)經(jīng)典領(lǐng)域，其技術(shù)路線(xiàn)具有信息量大、不受陽(yáng)光干擾、距離范圍從近到遠(yuǎn)、無(wú)多徑干擾問(wèn)題、傳感器成本低等諸多優(yōu)點(diǎn)，頗受學(xué)術(shù)界和工業(yè)界青睞；其代表應(yīng)用為斯巴魯汽車(chē)的Eyesight高級(jí)輔助駕駛系統(tǒng)，無(wú)人機(jī)的飛行避障系統(tǒng)，火星車(chē)的視覺(jué)模塊、波士頓動(dòng)力的機(jī)器人的視覺(jué)系統(tǒng)；但立體視覺(jué)需要消耗大量的計(jì)算力來(lái)處理，因此在傳統(tǒng)觀點(diǎn)來(lái)看代價(jià)十分高昂。
結(jié)構(gòu)光、飛行時(shí)間（ToF）傳感器、激光雷達(dá)這些技術(shù)利用了主動(dòng)發(fā)射特定信息然后讓接收器選擇性接收這些信息的原理，本質(zhì)上是通過(guò)增加傳感器的復(fù)雜度來(lái)降低對(duì)計(jì)算的要求，達(dá)到在算力不足的情況下獲取深度信息的目的，在各自領(lǐng)域有著諸多應(yīng)用。隨著應(yīng)用日益復(fù)雜，往往工程師在通過(guò)傳感器獲取到這些原始信息之后，需要在后端計(jì)算引擎上面做降噪、增強(qiáng)、融合等各種進(jìn)一步加工，這需要有充足算力的芯片來(lái)處理。
肇觀電子D163A芯片
肇觀電子推出了D163A芯片，具有包括深度計(jì)算幾何引擎和AI計(jì)算引擎在內(nèi)的一系列加速器，將計(jì)算機(jī)視覺(jué)領(lǐng)域的應(yīng)用推進(jìn)了一大步。D163A是一個(gè)完整的SoC主控芯片，其具有CPU，DSP，ISP，Codec，CV加速引擎，MCU，AI計(jì)算引擎和豐富的接口等在內(nèi)的一系列組件，支持Linux和RTOS操作系統(tǒng)，是一款適合作為信號(hào)處理的核心芯片。
以下是D163A的高精度3D深度計(jì)算能力的例子：
1. 被動(dòng)光雙目【高分辨率1280 x 720】
1）近距離深度圖
在1280 x 720的分辨率下，被測(cè)人物張嘴，嘴外和嘴內(nèi)的距離只有幾厘米，D163V仍然能夠非常明顯的測(cè)出深度。
近距離五指深度圖
肇觀電子D163A的稠密度和深度準(zhǔn)確率呈現(xiàn)出來(lái)輪廓清晰、細(xì)節(jié)完整、代表不同深度的顏色分明的效果, 五指張開(kāi)之間的距離十分有限，但即便如此，輪廓也十分清晰。
2）中距離的前后物體展示
中距離前后物體展示
在中距離的展示中，肇觀電子D163A芯片深度圖稠密度高，視角大，距離范圍大，單芯片系統(tǒng)方案，不需要依靠任何外部芯片或者PC機(jī)而獨(dú)立完成全部功能，從而達(dá)到極致精簡(jiǎn)的系統(tǒng)成本。
3）陽(yáng)光下遠(yuǎn)距離的自然環(huán)境可見(jiàn)光圖和深度圖
陽(yáng)光下遠(yuǎn)距離的自然環(huán)境可見(jiàn)光圖和深度圖
肇觀電子D163A芯片展示出來(lái)的遠(yuǎn)距離圖具有適應(yīng)范圍廣、不受陽(yáng)光干擾的特點(diǎn)。
2. 被動(dòng)光雙目【高幀率的640 x 480】
陽(yáng)光下球滾動(dòng)的深度圖
陽(yáng)光下拍球的深度圖
可見(jiàn)光下踢球，肇觀電子展示了D163A芯片在640*480高幀率下的成像效果，最終成像的深度圖準(zhǔn)確反映了球在地上遠(yuǎn)近滾動(dòng)的不同深度。
3. 主動(dòng)光雙目比對(duì)
D163A和Intel Realsense的比對(duì)
在主動(dòng)光雙目場(chǎng)景中，D163A（中）和Intel Realsense（右）的對(duì)比
以下是D163A的幾何計(jì)算能力的例子：
1. 實(shí)時(shí)特征點(diǎn)計(jì)算
實(shí)時(shí)640 x 480的FAST角點(diǎn)計(jì)算和AI計(jì)算同時(shí)運(yùn)行
D163A有著業(yè)界領(lǐng)先的數(shù)字信號(hào)處理能力，支持200余種通用數(shù)學(xué)計(jì)算算子，例如三角函數(shù)、對(duì)數(shù)、快速傅里葉變換、HoG、SVM、RANSAC等等。
除了強(qiáng)大的3D深度計(jì)算能力和數(shù)字信號(hào)處理能力，D163A有著業(yè)界領(lǐng)先的AI計(jì)算加速能力包括領(lǐng)先的每TOPs處理幀數(shù)，實(shí)時(shí)數(shù)據(jù)流處理能力，支持高精度FP16神經(jīng)網(wǎng)絡(luò)模型無(wú)損部署，以及高性能的INT8網(wǎng)絡(luò)支持能力。
以下是D163A的AI計(jì)算能力的例子。
1. D163A的NN性能表
在INT8的精度下，D163A跑各項(xiàng)網(wǎng)絡(luò)可以達(dá)到的每秒幀數(shù)
在FP16的精度下，D163A跑各項(xiàng)網(wǎng)絡(luò)可以達(dá)到的每秒幀數(shù)
2. 網(wǎng)絡(luò)精度 ：根據(jù)各種不同網(wǎng)絡(luò)的測(cè)試結(jié)果，D163A INT8量化網(wǎng)絡(luò)幾乎無(wú)精度損失（1%以?xún)?nèi)）
針對(duì)七種算法網(wǎng)絡(luò)，D163A INT8量化網(wǎng)絡(luò)幾乎無(wú)精度損失
D163A搭配肇觀電子推出的“5分鐘部署”的AI應(yīng)用開(kāi)發(fā)平臺(tái)Infer Studio?，助力AI算法快速商用。
D163A支持雙目立體視覺(jué)、結(jié)構(gòu)光、飛行時(shí)間（ToF）傳感器、激光雷達(dá)等各種傳感器的信號(hào)處理，包括采集、降噪、增強(qiáng)、融合等后處理算法的加速；其高性能低功耗、適用于端側(cè)應(yīng)用；接口豐富，支持千兆以太網(wǎng)和USB3.0，支持各種操作系統(tǒng)，既可用作主控芯片也可用作協(xié)處理器芯片。
D163A在機(jī)器人自主避障、車(chē)與車(chē)之間的距離測(cè)算、活體檢測(cè)、手勢(shì)識(shí)別、空間定位、工業(yè)相機(jī)、AR、VR等各個(gè)方面具有廣泛的應(yīng)用，搭載D163A的模組和系統(tǒng)已經(jīng)在包括智能叉車(chē)、可穿戴設(shè)備、無(wú)人機(jī)、工業(yè)檢測(cè)等多個(gè)領(lǐng)域批量商用。肇觀電子將全力支持下游模組和系統(tǒng)客戶(hù)，共建美好未來(lái)。
