技術論壇
發文時間 2020/07/06 作者 warehouse
瀏覽次數 3313 留言數量 3 按讚 0
IoT數據資料蒐集/分析/預測類 Edge computing
現在有很多再談邊緣運算及邊緣AI的東西,但哪些範疇算是邊緣AI呢?是指終端設備,還是除了雲端之外都算?
發文時間 2020/07/07 作者 omnixri
按讚 0
由於早期雲端計算技術剛推出之時,為區分運算設備所在地,所以另外產生邊緣運算及介於雲和邊之間的霧運算,所以雲端大多指不在身邊的機房所提供的虛擬主機(CPU)運算,而實體的設備則稱邊緣運算。其中最大的差異僅在於連不連到公共網路,若是公司內部的私有雲,有時仍會被歸到邊緣運算的範圍。
近年來人工智慧大行其道,在訓練部份由於需要大量算力(CPU, GPU, FPGA, ASIC...),因為建置設備費用太高,所以雲端運算自然分散了開發成本及提升了運算效能。但推論部份,由於受限於資料隱私性、計算延時性及硬體成本等問題,因此開始有了新「邊緣運算」或「邊緣智能」的定義。凡事能在不上網的情況下就能執行人工智慧(或深度學習)算法的裝置,都可稱為之,而此時的邊緣計算範圍已不再只是虛擬主機(CPU)。
因此目前邊緣計算或邊緣智能名詞的範圍就開始有混亂和重疊,NVIDIA的EGX一台近千萬,他們也稱為邊緣計算,而NVIDIA Jetson Nano、Google Edge TPU一台數千元也被稱為邊緣計算,甚至只要手機中有AI晶片能夠執行深度學習計算的都算。才會導致不同產業、不同領域及不同使用者說的邊緣計算定義有很大不同。總合來說廣義的邊緣運算,只要不上網就能計算裝置都算,而狹義的邊緣運算則指小型終端具有獨立AI晶片進行深度學習計算的裝置才算。
發文時間 2020/07/07 作者 omnixri
按讚 0
大陸通常把人工智慧計算分為「雲」、「端」、「芯」,即雲端、邊緣和晶片。大家都知道人工智慧分為訓練及推論兩部份,前者計算量大於後者可以數百萬到數千萬倍,所以需要投資極為高價的設備才能辦到,但推論部份則依不同需求可以是很貴的設備,也可以是很便宜的開發板甚至手機,就看單一推論運算量、反應速度及處理的資料數量而決定要使用何種設備。
一般最常見的端終智慧計算裝置就是手機,大家平常用的美顏APP、語音助理、手寫辨識、圖像辨識或變臉APP都有用到相關邊緣(AI 晶片)計算能力,因為如果所有應用都上傳到雲端計算完再回傳結果,這樣反應就有點慢,使用者體驗不佳。
另外像智慧物聯網(AIoT)部份,由於裝置單價極低(數百元內),無法使用太昂貴的AI晶片計算,所以部份會使用雲端計算。當遇到資料隱私性問題時只能使用較平價的AI晶片來計算,則通常要用時間來換,即數秒或數分鐘完成一次計算。
發文時間 2020/07/09 作者 laisan86
按讚 0
應該不是喔! 邊緣運算其實說起來是 : 你的這個裝置或設備, 本身就具有一定的機能, 可以在自己裝置或設備上, 執行運算或者進行判斷處理的效果
事實上這點跟幾十年前的終端機Terminal操作大型主機Host的年代, 之後由於半導體技術發達後, 終端機的功能越來越強大, 再加上PC的出現, 使得過往都是靠大型主機來運算、處理的資料或程式, 逐漸能分攤到終端機上, 運用終端機運算處理後的內容, 再考慮是否丟回大型主機進行其他處理的道理, 是極為類似的!
把大型主機想像成現在的公有雲, 一大堆運算如果都是丟上公有雲再處理, 耗時又費力, 而現階段嵌入式系統、微控器、各式記憶晶片功能越好、價格越便宜的情況下, 只要符合成本條件, 裝置或設備本身的機能足以應付, 就可以不必丟上公有雲!
好比台灣由於硬體底子強, 這點在目前萬事都靠AI的年代, 其實反倒因此撿了個便宜! 由於邊緣運算本身是直接由裝置或設備自己進行處理, 所以運算所需的資源諸如處理機、記憶體...等當然都得裝置或設備自己內建囉~
台灣目前廠家趁勢推出許多單板電腦、工業電腦, 由於台灣做硬體起家所以不管用料還是加工製造都上手, 所以目前許多單板電腦經過實際實驗, 都有辦法達到不少諸如影像識別、音訊辨認與產生, 甚至回歸分析都能. Raspberry Pi 4、Banana Pi M64...等這些都試過可行
不過使用上通常邊緣運算的設備或裝置是只套用Model進行處理的, 訓練Model的時候由於處理機所需要的記憶體跟運算時間長, 甚至還有電力消耗的問題, 因此產出訓練後的Model, 大多還是在雲端採用Amazon AWS、Google Colab...等, 要不就是像我們台北科大有購置多台nVidia DGX-1, 把訓練成功後的model存檔, 再發布Dispatch到每個邊緣運算的裝置或設備, 就行了!
好比Android App現在許多程式也是三不五時會自動上網去下載新的資料包, 畢竟SaaS(Software as a service)這樣的想法, 還是比較讓使用戶容易接受
作者 laisan86 發文時間 2020/07/09 按讚 0