電腦視覺：從實驗室走入日常生活應用 - 電子工程專輯

所謂「電腦視覺」(computer vision)，是指機器能從二維圖像或未經壓縮的串流影片圖像中推斷出(infer)或擷取(extract)有用訊息的能力，而這樣的能力能改變 ... 【本周直播】訊號鏈濾波：基礎知識篇介紹 立即報名>> 登入 註冊 聯繫 首頁 新聞 TechRoom 產品新知 網通技術 電源技術 控制技術 可程式邏輯技術 處理器技術 感測器/MEMS技術 EDA/IP技術 光電技術 儲存技術 介面技術 無線技術 製造技術 放大/轉換技術 嵌入式系统 測試/量測技術 資源中心 資料下載 申請中心 線上研討會 小測驗 影音 視訊 OnAir 研討會與活動 GreenChallenge 特別報導 綠色工程開創永續未來 雜誌 各期雜誌線上看 2022年5月雜誌 編輯計劃表 訂閱雜誌 X 首頁»人工智慧»電腦視覺：從實驗室走入日常生活應用 電腦視覺：從實驗室走入日常生活應用 作者:GordonCooper，新思科技嵌入式視覺處理器產品行銷經理 類別:人工智慧 2019-12-27 (0)評論 為了實現電腦視覺的先進功能，嵌入式視覺處理器正迅速發展中，以便將最新的學術研究成果整合到符合經濟效益的高效能人工智慧(AI)產品裡。

所謂「電腦視覺」(computervision)，是指機器能從二維圖像或未經壓縮的串流影片圖像中推斷出(infer)或擷取(extract)有用訊息的能力，而這樣的能力能改變我們的生活。

它能讓車子自動駕駛、讓機器人或無人機將包裹遞送到你家門口，以及能讓你的臉部成為通行或付款的方式(圖1)。

為了實現這些先進的功能，嵌入式視覺處理器正迅速發展中，以便將最新的學術研究成果整合到符合經濟效益的高效能人工智慧(AI)產品裡。

圖一：結合人工智慧，新的電腦視覺技術可為門禁、支付和其他應用提供臉部辨識。

在2012年開始採用新的深度學習技術之後，電腦視覺技術經歷了一場大躍進，當時早期的卷積神經網路(CNN)AlexNet贏得了「ImageNet大規模視覺識別挑戰賽」(ImageNetLargeScaleVisionRecognitionChallenge；ILSVRC)(圖2)。

ILSVRC競賽優先考慮準確性，而隨後的幾年，新的優勝者不斷刷新第一名及前五名的分類結果(圖像的準確性在於盡可能猜對影像中的內容)，直到在識別/分類1,000個項目的特定任務中超越人類表現。

ImageNet獲勝者藉由提高問題的計算複雜性，以及利用在GPU上執行的32位元浮點計算來實現這些成果；而效能的提升有助於提高偵測的精準度。

【樣品申請】SiliconLabsEFM8BB3高速、高快閃記憶體容量8位元MCU開發套件 圖二：ImageNet大規模視覺識別挑戰賽的結果顯示，深度學習的準確性已超越了人類。

卷積神經網路(CNN)已成為現代電腦視覺偵測物件的標準。

為求簡化，CNN演算法經訓練後能把一個物件，例如行人，分解為曲線、角和其他構成要素等模式(pattern)，並將數據儲存在權重或係數中，然後透過搜索圖像中的這些模式，以驚人的準確度辨識出目標物件。

當工程師希望將ImageNetCNN圖形(VGG16、GoogleNet、ResNet等)應用在實際的嵌入式視覺應用時，會發現ImageNet的參賽作品顯然不受嵌入式AISoC限制條件的約束，像是有限的功率預算、記憶體頻寬限制、最低延遲和較小的矽晶面積目標等。

此外，ImageNet並未將滿足目標幀率(framerate)等即時需求作為評量獲勝者的依據。

要將電腦視覺從紙上談兵轉變為實際應用，得先解決這些問題。

嵌入式工程師需要找到方法來實現電腦視覺對高效能和準確性的要求，同時還要能處理嵌入式的限制。

嵌入式視覺處理器旨在以最小的晶片面積和功耗損失，提供最佳的電腦視覺效能。

電腦視覺效能的第一階測量是以每秒兆次運作(tera-operationspersecond；TOPS)來計算。

Tera是兆級單位(1012)，是為了因應所需處理的像素數量以及CNN等深度學習運算的複雜性。

每秒運算次數所測量的是單一處理器時脈週期(clockcycle)可以完成的工作量。

以一個視覺處理器的TOPS來說，簡單計算方法是將乘積累加器(multiply-accumulators；MACs)乘以處理器頻率(MHz)所得到的數字再乘以二。

而之所以乘以二是因為MAC被視作一個週期內的兩次運算—乘積與累加。

嵌入式視覺的效能要求隨應用而異 不同的電腦視覺應用程式仰賴不同等級的運算效能，不過整體而言，效能需求是有增無減的。

中階智慧手機的臉部辨識所需的效能可能不到1TOPS，而擴增實境、監控系統和汽車後置攝影機等中階應用所需的運算效能通常為1到10TOPS。

另外像是用於安全攸關應用的汽車前置攝影機、微型伺服器和資料中心，則可能需要10~100TOPS。

嵌入式視覺處理器不斷增加其MAC數量，以提高TOPS的效能，進而為所有視覺應用提供可擴展的解決方案。

新思科技在2015年推出DesignWareARCEV5x視覺處理器IP，在800MHz時脈頻率下提供每週期64個MAC，約莫0.1TOPS的運作效能。

一年後所推出的EV6x則包含880個MAC加速器，能在800MHz頻率下提供約1.3TOPS的運算效能。

2017年，經改良的EV6x能在1.2GHz頻率下提供3,520個MAC，約8.5TOPS的神經網路效能。

2019年新思科技推出了具備深度神經網路(deepneuralnetwork；DNN)加速器的EV7x嵌入式視覺處理器IP(圖3)。

DNN加速器具備多達14,080個MAC，可執行所有CNN圖形，包括最新、最複雜的圖形和自訂圖形，而針對基於時間結果的應用程式，還提供批量長短期記憶(longshort-termmemories；LSTM)的最新支援。

除了DNN加速器外，EV7x的視覺引擎具備了低功耗高效能的視覺、同步定位和映射(simultaneouslocalizationandmapping；SLAM)以及DSP演算。

EV7x結合了EV7xDNN和EV7x視覺引擎的效能，其運算可擴展至35TOPS。

與EV5x相比，其效能在四年內提高了近350倍。

圖三：DesignWareARCEV7x嵌入式視覺處理器IP包含了具有多達四個向量處理單元(vectorprocessingunit；VPU)的視覺引擎、高效能的DNN加速器與完整的軟體工具集。

你需要的不僅是MAC：還有內部記憶體與頻寬的考量 將MAC加入AI加速器可提高神經網路引擎的效能，以滿足各種實際電腦視覺應用的需求。

但這只是剛開始而已。

事實上，要擴展神經網路圖形的效能，把MAC加入加速器是最輕鬆的部分。

更大的挑戰是：如何確保MAC保持運作？理想的系統既不受運算限制(缺乏效能)，也不受I/O限制(缺乏必要的記憶體頻寬)。

當MAC提升至四倍，則必須考慮增加內部記憶體和額外的I/O頻寬(圖4)，然而這麼做會影響到視覺處理器的功耗或晶片面積。

將頻寬降至最小的最佳方法是同時運用軟硬體技術來限制需要透過外部記憶體存取的數據資料。

圖四：要充分利用神經網路加速器的MAC，就需要增加內部記憶體以及處理I/O的頻寬。

有很多技術可用來提升效能和限制頻寬。

「量化」是將32位元浮點係數和數據轉換為較小的整數格式(當前普遍的格式為8位元)，此舉可將頻寬減少四分之一。

特徵圖(featuremap)的無損壓縮(來自每個CNN圖形圖層的中間輸出)被寫入外部記憶體，並在讀回時進行解壓縮，因此能減少高達40%的頻寬。

稀疏性(sparsity，即找出和避免數據中的零值)和係數裁減(coefficientpruning，即找出哪些趨近零的係數可設為零)是另外兩種降低頻寬的技術。

除了這些硬體技術之外，還開發出新的CNN圖形，可大幅減少運算而達到ResNet或GoogleNet等早期圖形的準確性。

MobileNet(v1和v2)和DenseNet是兩個比較近期的CNN分類圖形的例子。

然而，儘管兩者都具有更高的運算效率，MobileNet是比較適合AISoC中的嵌入式視覺設計。

DenseNet的拓樸運算架構(topology)需要大量重複使用特徵圖，而這會大大增加頻寬和記憶體的需求。

另一方面，MobileNet卻能以相對小很多的係數和相對低很多的頻寬，達成幾乎相同的精準度。

管理頻寬的新技術 研究神經網路的腳步進展得很快，因此新的技術也不斷出現。

新思科技的新EV7x嵌入式視覺處理器IP推出了兩種降低頻寬的先進技術。

首先，直接記憶體存取(directmemoryaccess；DMA)的多路傳送(broadcasting)會在CNN圖形內圖層運算過程中，將係數或數據分配給各MAC群組。

如果每組MAC能處理同一組係數，則這些係數就可一次被讀取並透過DMA分配給每組MAC，從而將頻寬降到最低。

第二種技術—多層次圖層融合，則擴展了圖層合併(layermerger)的概念。

圖層合併是將卷積計算與非線性激勵函數(activationfunction)和CNN的池化(pooling)，或降取樣(down-sampling)結合在一起。

多層次圖層融合將合併的圖層結合在一起，讓需要寫入外部記憶體的特徵圖數量降到最少。

DMA多路傳送和多層次圖層融合都結合了先進硬體功能和軟體支援。

若以3,520個MAC架構上運行的標準CNN圖形為基礎，應用於EV7x新型DNN加速器的DMA多路傳送和多層次融合，能較先前架構提升效能達67%並減少47%的頻寬。

當嵌入式開發人員在設計能改變人們生活的視覺與AI產品時，透過運用這些技術的最新一代視覺處理器，可以更容易滿足功耗、面積和效能預算。

日常範例：臉部辨識、機器人技術和自動駕駛車 為能從紙上談兵落實到日常生活應用，臉部辨識演算需要在低功耗且隨時啟用(always-on)的硬體上執行；試想一下，利用停車收費器所包含的硬體來進行人臉支付。

人臉偵測演算可在超低功耗微控制器(例如ARCEM9D低功耗微控制器IP)中以隨時啟用的模式運作。

當偵測到人臉時，具備DNN880的EV71可被喚醒並用來執行快速的人臉偵測，查看該人臉是否可辨識，接著快速關閉以節省電量。

為了保護生物特徵資料的機密性以及CNN圖形的運算拓樸和係數，諸如EV7x等嵌入式視覺處理器，皆包含了選配的高速進階加密標準(advancedencryptionstandard；AES)的加密機制。

為了讓機器人或無人機能夠在擁擠的環境中移動(像是從當地餐廳外送你的午餐，或是從你喜愛的商店遞送包裹)，需要應用到多種視覺技術。

SLAM是一種源自機器人技術研究的演算，它使用攝影機的輸入資料來映射機器人周圍的環境，以及機器人在該環境中的位置。

儘管機器人可以偵測到物件，但卻無法識別該物體，這時CNN便可發揮作用，因為CNN擅長物件識別。

將SLAM與CNN結合使用，可以讓機器人對其周遭環境更為敏銳。

具有兩個VPU的EV72，加上選配的DNN3520，非常適合機器人技術或擴增實境(augmentedreality；AR)應用，這些應用結合了向量處理單元中的SLAM(用以映射物件)與深度神經網路加速器(用以識別被映射的物件)。

自駕車帶給嵌入式開發人員額外的挑戰，不僅汽車的攝影機數量增加，而且每台攝影機的圖像解析度也跟著提高。

要讓汽車從人的手上接管駕駛工作，它必須具備最高的可靠性，包括高水準的故障檢測和備援性(redundancy)。

嵌入具有多達35種TOPS效能的視覺處理器可讓自駕車更符合現實狀況。

具備四個VPU的EV74與大型DNN14K相結合，可提供汽車前置攝影機/行人偵測所需的效能，同時滿足ISO26262功能安全準則(圖5)。

為了滿足35TOPS以上的效能要求(例如具備多個攝影機的車用行人偵測系統)，可利用晶片網路(network-on-chip，NoC)連接多個EV74DNN14K執行個體(instance)。

與其他解決方案相比，每個EV7x處理器的35TOPSDNN只需較少的執行個體就能達到100TOPS。

較少的執行個體能減少NoC的流量，從而降低潛在的效能瓶頸。

所有這些頻寬限制技術對低階應用一樣可行。

儘管臉部偵測可能只需要1TOPS或更少，但對功耗卻是極度敏感。

圖五：符合ISO26262要求的高效能神經網路加速器，提供100TOPS以上的效能，成功實現自駕車。

總結 深度學習技術可以實現令人雀躍且與現實接軌的嶄新電腦視覺應用——只要嵌入式工程師能將這些計算繁重的學術演算轉化成高效能、低功耗和高頻寬效率的視覺處理器。

諸如新思科技EV7x等最新的嵌入式視覺處理器，納入更新的頻寬縮減技術，能將運作中的MAC效能達到最大化。

這些處理器還針對最新CNN圖形和神經網路框架進行優化。

藉由整合EV7x視覺處理器IP，業界領導廠商得以運用高效能的人工智慧SoC，實現臉部辨識、機器人技術、汽車等其他應用。

欲知更多關於具備DNN加速器的ARCEV7x處理器IP的訊息，請參考：https://www.synopsys.com/dw/ipdir.php?ds=ev7x-vision-processors 訂閱EETimesTaiwan電子報 加入我們官方帳號LINE@，最新消息一手掌握！ 分享TwitterFacebookLinkedInPrintMoreRedditTumblrPinterestPocketTelegramWhatsAppSkype Related 文章Tag: EDA/IP技術Synopsys人工智慧無人機自動駕駛處理器技術 發表評論 取消回覆 YoumustRegisteror Logintopostacomment. 訂閱EETimesTaiwan電子報 最新文章 最熱門文章 2022-05-23 以邊緣AI實現低成本IoT終端節點 2022-05-23 全球Q2採購預測：狀況與Q1相同但價格更高 2022-05-23 2022年第一季全球DRAM營收季減4.0% 2022-05-23 品質至上、把握區域脈動　Smith致力服務跨國客戶 2022-05-20 自動駕駛路向何方？ 2020-11-09 智慧家庭尚未準備就緒 2020-02-21 光線追蹤技術改寫「遊戲」規則 2020-03-18 中芯國際今年出產7nm？ 2016-12-02 可穿戴醫療電子商機在何處？ 2018-02-14 EUV微影：進展與挑戰並存 2020-12-07 又是不怎麼智慧的智慧家庭設定… 2020-10-26 AiP技術為毫米波雷達帶來的演進與創新 2020-09-23 振興美國晶片製造業就對了？學者提異見 2020-08-12 H1-B簽證凍結　美科技業憂人才流失 2020-06-24 為何從不曾在高壓電線上看到鳥兒？ 最新文章 AI/ML 2022-05-23 以邊緣AI實現低成本IoT終端節點 上海封城 2022-05-23 全球Q2採購預測：狀況與Q1相同但價格更高 DRAM產值 2022-05-23 2022年第一季全球DRAM營收季減4.0% 半導體市場 2022-05-23 品質至上、把握區域脈動　Smith致力服務跨國客戶 4D雷達 2022-05-20 自動駕駛路向何方？ 最熱門文章 ConnectedHomeoverIP 2020-11-09 智慧家庭尚未準備就緒 光電技術 2020-02-21 光線追蹤技術改寫「遊戲」規則 中國市場 2020-03-18 中芯國際今年出產7nm？ Intel 2016-12-02 可穿戴醫療電子商機在何處？ 光電技術 2018-02-14 EUV微影：進展與挑戰並存 EET電子工程專輯©2022本網站內之全部圖文，係屬於eMediaAsiaLtd所有，非經本公司同意不得將全部或部分內容轉載於任何形式之媒體 關於我們 隱私政策 用戶協議 繼續瀏覽網站