端點AI -- 邁向一兆個智慧端點之路
【作者： Thomas Lorenser】 2021年01月14日 星期四
從工業到家庭、健康照護與智慧城市，由無數的應用和裝置蒐集來的大量數據產生即時的洞察與價值，智能（Intelligence）必須從雲到終端遍及整個網路。因此，提升終端運算能力、並結合機器學習技術，就有可能釋放物聯網終端裝置即時的數據分析力。
越來越多的智能圍繞在我們周遭的世界。我們聽到許多關於物聯網（IoT）、雲端運算與其他令人興奮的科技，如何在未來數十年改變人們生活的預測。從工業到家庭、健康照護與智慧城市，物聯網讓遍及日常生活的各種應用，變得更為豐富，且讓生活因此改觀。
應用的領域相當多元，有數百個子項目與數千個應用。這些應用產生許多數據，但數據本身不重要，重要的是我們可以從中擷取的價值。我們不能仰賴以往把所有數據都傳回雲端伺服器的傳統作法 – 這種作法隨著數據量的增加無法進行擴充，因此需要不同的解決方案。
把數據從端點傳輸至雲端是有代價的，包括更長的延遲、數據傳輸時的用電、頻寬，以及伺服器的容量，這最終也將是使用場景價值成功或失敗的關鍵。這在物聯網中特別容易發生，原因是許多應用必須仰賴最低延遲的即時數據分析與決策。
事實上，有時候端點可能只擁有有限（如果有的話）的連接性。因此，智能的分配必須遍及整個網路，一路到數據源頭的端點，如此我們才能在正確的地方擁有處理能力。提升終端運算能力並結合機器學習技術，就有可能釋放物聯網端點即時的數據分析力，而兩者的匯聚也稱為「端點人工智慧（Endpoint AI）」。
什麼是端點AI，為何它很重要？
端點AI主要是讓端點（即便是最小型的裝置）變得更聰明且更具智慧，可以在端點上執行必要的即時分析，同時：
‧ 改善整體系統效能
‧ 降低耗電量配置
‧ 降低對雲端處理的依賴
我們舉個例子：想像有一個負責監控水管狀態的小型端點，目的在檢測異常情況，例如水管漏水。倘若水管破裂能儘早檢測出來，避免對房屋造成損害，這對於屋主與保險公司都有極大的價值。這種裝置若能檢測出漏水，只需再加上雲端連接性，就能善用端點上的處理能力並創造價值。
不過，如同之前討論過，到目前為止看到的都是「雲端優先」的方法，這種方法把智能放在雲端上，而數據則不斷地沿著網路進行傳輸。然而為了迎合耗電、頻寬與成本的需求，這種方法正在改變，如此才能促成更寬廣的使用場景。舉上述的漏水檢測器為例，把處理能力移到端點內，可以把電池壽命從數個月延長至數年。
對於許多的使用場景而言，最佳的方式是將智能普遍分配到整個網路上，包括一路配置到端點。Arm貴為整個網路上的每個節點，都提出了解決方案：從數據中心、（終端）伺服器、閘道，一路到端點。
今日感測器產生的數據大多被丟棄，原因是要傳輸這些數據，從能源與頻寬的角度來看，成本實在太高。想像一個電池驅動的物聯網端點，使用藍牙、窄頻物聯網，或其它方式連網。端點從各個感測器搜集數據，然後把資料傳至閘道或另一個裝置。
不過，這個使用場景的通訊，往往成為整套系統耗電量最大的一部份。因此，系統架構師得進行取捨，以便在系統的耗電量限制下作業。他們得兼顧端點內感測器數據的資料速率與數據處理，以便讓電池壽命保持在可接受的範圍內。
倘若我們只在感到有興趣的事件發生時，使用機器學習架構方法來儲存或傳送數據，並藉此降低無線電波的使用、同時優化電池的壽命，又會怎?樣呢？儘管這些端點上的運算資源一直以來都太過貧乏，無法在裝置本身支援訊號處理與機器學習，但端點 AI 現在卻讓它變成可能。
事實上，今日已有許多的應用，使用Arm Cortex-M架構的裝置內的機器學習技術。受到Arm在內的許多領先企業機構支持、稱為tinyML的社群運作，正在驅動這個趨勢，目標是在微處理器（MCU）上部署機器學習。
tinyML基金會正在協助讓傳統的嵌入式世界與全新的端點AI世界，找到兩者之間的交集。藉由他們的努力，更多的開發人員現在已經可能直接在微處理器上，運行越來越複雜的深度學習模型，藉以加速端點AI，並產生出全新的使用場景。快速檢視其內容，我們發現它大多利用Arm的IP架構。Cortex-M處理器能提供應對各種既有使用場景的正確功能集。
例如，Audio Analytic 公司使用 Arm Cortex-M0+ 處理器實作聲音辨識。其它的實例則使用 Cortex-M4、Cortex-M7 與 Cortex-M33 的數位訊號處理器（DSP）的運算能力：
接下來呢？
我們正處於一段令人興奮時期的開端，在這個期間，新的科技將促成新的能力，並且讓要求更為嚴苛的物聯網端點使用場景，成為可能。端點搜集越來越多的數據，這些數據可以用節能的方式進行分析並找出型態，並觸發下一步的處理。這也是為何物聯網端點與微處理器（MCU）必須具備更多的能力，以應付與日俱增的需求。
為了支持端點AI的願景，Arm特別開發Cortex-M55（Arm具備最高AI能力的 Cortex-M 處理器）與Ethos-U55（可搭配Cortex-M的微神經網路處理器），兩者是應對許多新興使用場景的完美組合。與現有的Cortex-M處理器相比，Cortex-M55搭配Ethos-U55的總機器學習效能可以提升480倍。
此外，重點不只有IP。Arm的CMSIS-DSP與CMSIS-NN程式庫的演進，以及我們與Google的TensorFlow Lite Micro團隊的協作，將讓開發人員可以更簡便地把他們在之前Cortex-M平台上的作業，轉移到Cortex-M55與Ethos-U55。
端點AI靠視覺-語音-震動驅動
麥肯錫公司已經找出在2025年以前，可為邊緣與端點處理創造出2500億美元硬體價值的橫跨11個產業的100個使用場景。藉由分析這些專供端點AI利用的使用場景，可以發現主要的使用場景都圍繞三個領域：視覺、語音與震動。
預測性維護在許多大眾市場應用中，是一股重要的成長驅動力。據估計，每年因為機器停機造成的損失超過 200 億美元。
我們可預見上述三個類別之一，或是多個類別的使用場景或應用。例如，除了可以使用震動監控來執行異常檢測，也可以利用聲音辨識的技術，或是使用影像。端點AI已能支援設備上的訊號處理和機器學習。
附圖：圖一 : Arm在所有設備及裝置上實現無所不在的人工智慧
資料來源：https://ctimes.com.tw/DispArt-tw.asp?O=HK51E75CFDSARASTD7
無線總機系統 在 總機系統可以接無線電話嗎? - Mobile01 的美食出口停車場
總機系統 可以接無線電話嗎? - 請教大家，目前使用東訊的總機系統原本以為想要接無線電話的話，只要把原來的電話線路改接至新的無線電話機即可但那時在安裝的時候有問過 ... ... <看更多>
相關內容