跳到主要內容
 

技術文章


3d Signals:打造替機器「聽」診的IIoT未來工廠
智慧製造 IIOT 預測性維護

2021-04-01 AIGO計畫辦公室 21

AI聽聲辨位實現工廠預測性維護


對於智慧製造而言,工廠機器設備檢測、監控與預測性維護(Predictive Maintenance)是工業物聯網(Industrial Internet of Things, IIoT)及智慧工廠常被提及的AI應用方向之一。觀察過去傳統工廠的設備維運管理作法,主要為安排固定維修日期進行機台檢測、保養與維護,依照使用次數和規程定期更換零件耗材,從檢查到維護幾乎都是仰賴人工進行,以預防性維護(Preventive Maintenance)為主要解決方法。但是過去的作法難以避免「非預期性」的故障問題;再者若是機器維修耗材費用高昂,定期更換雖然能使生產品質不受影響,但耗材費用可能使工廠維運成本居高不下。以AI技術驅動的智慧工廠,將帶領傳統設備維護從「預防」走向「預測」,從設備連網、可視化分析到人工智慧,實現工業4.0預測性維護應用。


著眼現今製造業者在工廠端想導入預測性維護,通常會面臨到工廠的機台多來自不同供應商且機齡新舊不一,要智慧化串接系統成為一大阻礙;再者導入AI技術或平台是否會入侵原本的機台導致保固失效或是需要連結工廠的工控系統延伸資安問題,以上問題成為企業裹足不前的痛點。本篇文章介紹的以色列新創公司3d Signals成立於2015年,為世界經濟論壇列為「2020年科技先鋒」的受獎者,肯定它在技術上扮演塑造該產業未來的重要角色。3d Signals專注於工業物聯網設備維護軟硬體解決方案,將產品感測器安裝在機台外側,透過感測器來蒐集機台發出的聲音之後,再由所研發的AI深度學習聲學技術來聆聽機台是否出現異常聲音,全天候即時監控工廠設備的狀態,提供設備維修方針及建議。3d Signals的解決方案不限機齡適用於各種連網機台,並且研發專利超聲波感測器,不用侵入機台也不連結工控系統,解決企業導入阻礙並且成功提升工廠整體設備效率30%讓預測性維護能落地應用。


提供隨插即用的資產監控解決方案


3d Signals的產品與服務為基於雲的「即時資產績效管理平台」(Real-Time Asset Performance Monitoring Platform),簡稱APM解決方案,同時包含硬體設備dEdgedView軟體平台,以非侵入式感測器和軟體平台所組成。硬體設備dEdge為安裝於機器外側的感測器,將設備連網後,透過超聲波感測器全天候24小時蒐集現場機器設備的聲音、振動和電流,並將蒐集的聲學訊號傳送到dView real-time APM轉化為可分析的數據。軟體平台dView為基於雲的即時資產績效管理平台,提供可視化儀表板,工廠人員或營運主管可以藉由工廠電子看板、電腦、平板或手機等載具即時監測機器設備狀態及預測維護分析。



資料來源:3d SignalsMIC整理,20213


1  dEdgedView產品圖


3d Signals APM解決方案為隨插即用可快速部署的資產監控及預測維護解決方案,具備以下六大主要特性,分別為,(1)互通性:適用於來自不同供應商或不同機台年齡的各種連網機器設備;(2)準確性:硬體設備dEdge搭載超音波感測器,經證明相較傳統機器24V控制裝置更為準確;(3)即時性:整合各機台提供總體可視化儀表板,24/7替工廠設備實現即時資產監控;(4)高效性:部署一台機器設備約為45分鐘,隨插即用快速部署;(5)安全性:不連結工業控系統(如:SCADAPLCDCS)避免延伸資安疑慮,不侵入機台設備,避免影響機台原始保固;(5)延展性:dView平台可部署在公有雲或私有雲上,且能定時更新,讓系統保持最佳化。



資料來源:3d SignalsMIC整理,20213


2  3d Signals APM解決方案設置方式


非人聲辨識技術汲取老師傅的經驗傳承


在核心技術方面,3d Signals的硬體設備dEdge,主要為其研發出的專利超聲波感測器,它比人類聽覺靈敏度高出五倍;相較於振動感測器,在吵雜的工業製造環境中超聲波感測器能更精準的感測機器運行聲音訊號。除此之外,dEdge內還搭載高感度指向性麥克風及過濾器,用以分離環境噪音,讓dEdge收音更為精確。在軟體專利技術上,3dSignals研發出深度學習模型之「非人聲」語音辨識技術運用在dView平台上解讀設備運作狀態。過去AI語音辨識多聚焦於人聲辨識為主,然而在製造業工廠中「機器聲音」是機器工程師以長年的工作經驗來診斷機台問題和了解機台是否運作正常時最直觀的感覺,這些老師傅根據機台運轉不正常時所發出的聲音來判斷機台零件需要更換。而3d Signals將這些老師傅經驗傳承下來的經驗,以AI汲取這些聲音經驗轉化為聲學辨識,透過與正常運作下的機械聲音進行比對,同時監測多個工業設備運行狀況,辨識出設備發生故障的部位,並且根據其分析的數據,對機器內部的零件耗損與老化程度提出即時預測及警告,讓機器設備保持在最佳狀態。


未來工業預測性維護將更廣泛使用聲學技術


根據Oracle for Startups於企業創新專欄文章中提到,根據Gartner表示,相較於2018年工業預測性維護使用的聲學技術不到2%;2023年將有35%的工業預測性維護解決方案應用聲學技術。此數據不僅顯示3d Signals的聲學技術走在工業預測性維護的前沿,也表示未來在預測性維護上使用聲學技術可望為企業的一大解方。


Covid-19疫情下,進一步推升智慧化工廠的重要性,如3dSignals基於雲的即時資產監控平台,讓企業能夠遠距離監控工廠設備狀態,保持社交距離與人員調配,幫助製造業者能維持工廠營運,且部分維運人員可以採遠距工作,以降低接觸風險。未來,工業物聯網串連大數據與人工智慧的應用將迅速成長,工廠藉由人工智慧更高效地運行與即時設備監控、維修預測,提升工廠設備的整體生效率,邁向智慧化的IIoT未來工廠。


 



財團法人資訊工業策進會 產業情報研究所(MIC)


張皓甯 產業分析師

最新發表
3d Signals:打造替機器「聽」診的IIoT未來工廠
3d Signals:打造替機器「聽」診的IIoT未來工廠
AI聽聲辨位實現工廠預測性維護 對於智慧製造而言,工廠機器設備檢測、監控與預測性維護(Predictive Maintenance)是工業物聯網(Industrial Internet of Things, IIoT)及智慧工廠常被提及的AI應用方向之一。觀察過去傳統工廠的設備維運管理作法,主要為安排固定維修日期進行機台檢測、保養與維護,依照使用次數和規程定期更換零件耗材,從檢查到維護幾乎都是仰賴人工進行,以預防性維護(Preventive Maintenance)為主要解決方法。但是過去的作法難以避免「非預期性」的故障問題;再者若是機器維修耗材費用高昂,定期更換雖然能使生產品質不受影響,但耗材費用可能使工廠維運成本居高不下。以AI技術驅動的智慧工廠,將帶領傳統設備維護從「預防」走向「預測」,從設備連網、可視化分析到人工智慧,實現工業4.0預測性維護應用。 著眼現今製造業者在工廠端想導入預測性維護,通常會面臨到工廠的機台多來自不同供應商且機齡新舊不一,要智慧化串接系統成為一大阻礙;再者導入AI技術或平台是否會入侵原本的機台導致保固失效或是需要連結工廠的工控系統延伸資安問題,以上問題成為企業裹足不前的痛點。本篇文章介紹的以色列新創公司3d Signals成立於2015年,為世界經濟論壇列為「2020年科技先鋒」的受獎者,肯定它在技術上扮演塑造該產業未來的重要角色。3d Signals專注於工業物聯網設備維護軟硬體解決方案,將產品感測器安裝在機台外側,透過感測器來蒐集機台發出的聲音之後,再由所研發的AI深度學習聲學技術來聆聽機台是否出現異常聲音,全天候即時監控工廠設備的狀態,提供設備維修方針及建議。3d Signals的解決方案不限機齡適用於各種連網機台,並且研發專利超聲波感測器,不用侵入機台也不連結工控系統,解決企業導入阻礙並且成功提升工廠整體設備效率30%讓預測性維護能落地應用。 提供隨插即用的資產監控解決方案 3d Signals的產品與服務為基於雲的「即時資產績效管理平台」(Real-Time Asset Performance Monitoring Platform),簡稱APM解決方案,同時包含硬體設備dEdge與dView軟體平台,以非侵入式感測器和軟體平台所組成。硬體設備dEdge為安裝於機器外側的感測器,將設備連網後,透過超聲波感測器全天候24小時蒐集現場機器設備的聲音、振動和電流,並將蒐集的聲學訊號傳送到dView real-time APM轉化為可分析的數據。軟體平台dView為基於雲的即時資產績效管理平台,提供可視化儀表板,工廠人員或營運主管可以藉由工廠電子看板、電腦、平板或手機等載具即時監測機器設備狀態及預測維護分析。 資料來源:3d Signals,MIC整理,2021年3月 圖1  dEdge與dView產品圖 3d Signals APM解決方案為隨插即用可快速部署的資產監控及預測維護解決方案,具備以下六大主要特性,分別為,(1)互通性:適用於來自不同供應商或不同機台年齡的各種連網機器設備;(2)準確性:硬體設備dEdge搭載超音波感測器,經證明相較傳統機器24V控制裝置更為準確;(3)即時性:整合各機台提供總體可視化儀表板,24/7替工廠設備實現即時資產監控;(4)高效性:部署一台機器設備約為45分鐘,隨插即用快速部署;(5)安全性:不連結工業控系統(如:SCADA、PLC或DCS)避免延伸資安疑慮,不侵入機台設備,避免影響機台原始保固;(5)延展性:dView平台可部署在公有雲或私有雲上,且能定時更新,讓系統保持最佳化。 資料來源:3d Signals,MIC整理,2021年3月 圖2  3d Signals APM解決方案設置方式 非人聲辨識技術汲取老師傅的經驗傳承 在核心技術方面,3d Signals的硬體設備dEdge,主要為其研發出的專利超聲波感測器,它比人類聽覺靈敏度高出五倍;相較於振動感測器,在吵雜的工業製造環境中超聲波感測器能更精準的感測機器運行聲音訊號。除此之外,dEdge內還搭載高感度指向性麥克風及過濾器,用以分離環境噪音,讓dEdge收音更為精確。在軟體專利技術上,3dSignals研發出深度學習模型之「非人聲」語音辨識技術運用在dView平台上解讀設備運作狀態。過去AI語音辨識多聚焦於人聲辨識為主,然而在製造業工廠中「機器聲音」是機器工程師以長年的工作經驗來診斷機台問題和了解機台是否運作正常時最直觀的感覺,這些老師傅根據機台運轉不正常時所發出的聲音來判斷機台零件需要更換。而3d Signals將這些老師傅經驗傳承下來的經驗,以AI汲取這些聲音經驗轉化為聲學辨識,透過與正常運作下的機械聲音進行比對,同時監測多個工業設備運行狀況,辨識出設備發生故障的部位,並且根據其分析的數據,對機器內部的零件耗損與老化程度提出即時預測及警告,讓機器設備保持在最佳狀態。 未來工業預測性維護將更廣泛使用聲學技術 根據Oracle for Startups於企業創新專欄文章中提到,根據Gartner表示,相較於2018年工業預測性維護使用的聲學技術不到2%;2023年將有35%的工業預測性維護解決方案應用聲學技術。此數據不僅顯示3d Signals的聲學技術走在工業預測性維護的前沿,也表示未來在預測性維護上使用聲學技術可望為企業的一大解方。 在Covid-19疫情下,進一步推升智慧化工廠的重要性,如3dSignals基於雲的即時資產監控平台,讓企業能夠遠距離監控工廠設備狀態,保持社交距離與人員調配,幫助製造業者能維持工廠營運,且部分維運人員可以採遠距工作,以降低接觸風險。未來,工業物聯網串連大數據與人工智慧的應用將迅速成長,工廠藉由人工智慧更高效地運行與即時設備監控、維修預測,提升工廠設備的整體生效率,邁向智慧化的IIoT未來工廠。   財團法人資訊工業策進會 產業情報研究所(MIC) 張皓甯 產業分析師
Bright Machines:以軟體顛覆自動化工廠的「智」造者
Bright Machines:以軟體顛覆自動化工廠的「智」造者
  打造軟硬整合的一站式AI自動化工廠 在工業4.0的興起下,自動化成為打造智慧工廠的重要關鍵,製造業者藉由機器自動化以提高生產效益、降低人力成本以及控制生產流程與設備效能等需求。不過現階段工廠中離散式製造的自動化設備大部分傾向於大型零件焊接、組裝車、車體塗料等高資本投資項目,醫療器材、手機零件組裝或智慧產品等精密製程產品還是仰賴大量與密集的人力來執行。原因在於布署自動化設備涉及龐大的生產線變更,除了費用高昂外,導入自動化流程的安裝與調校需要花費許多時間。然而在現今智慧產品需求量上漲、產品循環快及產品生命週期縮短下,更加推升精密製程產線自動化需求,並著重快速部署、產線易於轉換以及靈活調度能力。 美國新創公司Bright Machines在2018年成立,由全球電子製造大廠Flex育成,團隊由Flex及Autodesk的高階主管所領導,顛覆以往傳統自動化工廠的運作方式,用模組化將軟硬體與AI整合到製造週期的每個階段,提供一站式軟硬體AI解決方案,可以縮短以往一半的部署時間,適合產線的快速轉變並能夠讓業者在全球地區的工廠快速複製與擴展的離散式製程,幫助大小型工廠邁向AI自動化工廠。Bright Machines目前在全球設有4個辦事處,分別位於加州、舊金山、特拉維夫以及西雅圖,其客戶遍及亞洲、歐洲與北美共13個國家,已在全球部署20個生產基地,建造約30個微型工廠。並在2019年榮獲世界經濟論壇將其列為「2019年技術先鋒」,肯定Bright Machines在變革性技術上的領導能量。 資料來源:Bright Machines、CogX、MIC,MIC整理,2021年2月 圖1  自動化工廠面臨課題與Bright Machines創新之處 專精於自動化精密組裝產品製程 Bright Machines的產品名為軟體定義微工廠(Software-Defined Microfactories),為一站式軟硬體解決方案,其硬體設備如同樂高積木般可依照不同產品線需求組合成客製化的產品生產線,並且可以進行重組以達到快速轉換產品線需求。軟體定義微工廠提供各種組裝和檢查任務,包含機器手臂零件拾放、螺絲拴緊、散熱器組合、記憶體模組插槽、條碼掃描、黏貼標籤、電路板焊接與點膠等八種自動化任務。軟體定義微工廠特別擅長於精密的組裝產品,例如電子電路板及晶片插入等,它有兩種類型的機台,分別為組裝機台與檢測和測試機台,此兩種機台融合了過去各種組裝機器,如物料管制機台、轉換機台、表面黏著機台及自動光學檢查機台等。此外Bright Machines還推出Bright Machines Select製造即服務(Manufacturing as a Service, MaaS)模型,提供企業可以採租用方式購買其解決方案,已降低企業購買設備的負擔。   資料來源:Bright Machines,MIC整理,2020年4月 圖2  軟體定義微工廠產品與技術圖 以自適應機器人高效完成複雜組裝任務 軟體定義微型工廠的核心技術為自適應機器人技術,從生產製程到品質檢測深度融合了電腦視覺與深度增強學習技術,自適應機器人在位置誤差容忍度高、抗干擾力強並高品質力度控制,相異於以往需要人工定義xyz軸數值用以指定機器組裝位置,往往因產品更動或轉換就須重新設定調教靈活度低,但透過電腦視覺與增強學習,自適應機器人可以從自身經驗不斷進行自適應學習完成高複雜度動作,更快速完成組裝檢測等任務訓練。軟體定義微型工廠配備大量的感測器,藉由感測器融合技術收集大量數據,幫助AI訓練模型不斷學習與改進。Bright Machines也借重其在Autodesk產品建模與數位分身背景將微型工廠導入數位分身技術,以AutoCAD幫助機器與產品建立模型,透過數位模擬實體物件及系統,並藉由感測器來蒐集並分析其真實狀況,以進行模型修正、改善與最佳化,可藉此降低真實執行的出錯率及成本。   資料來源:Bright Machines,MIC整理,2020年4月 圖3  軟體定義微工廠實體圖 靈活性與擴展調度力為自動化工廠關鍵 隨著科技進步迅速,各種智慧產品發展快速需求量不斷攀升,產品走向多樣、精細且循環快速,同時全球高齡少子化也使得傳統人力成本不斷上升,以無法滿足製造業勞動力與市場多元的需求,建立自動化工廠以機器代替人力以成為製造業轉型與產業升級的未來趨勢。 Bright Machines的優勢在於以軟體來驅動硬體設備的微型工廠解決方案,不僅在硬體部署快速且可客製化組裝靈活性高,讓企業能快速轉換產品線,其優異的AI自適應機器人可快速地訓練與學習,完成精密的組裝任務。Bright Machines微型工廠的數位分身技術,也幫助工廠機台操作者、管理及營運人員能夠隨時掌控現場狀況。在2020年Covid-19疫情影響下,軟體平台Bright Robotic Cells可以提供遠程管理機台設備,企業也可以MaaS製造即服務彈性擴展或降低設備需求度。未來以軟體建構的自動化工廠是打造工廠靈活性與擴展調度性的關鍵競爭力。 財團法人資訊工業策進會 產業情報研究所(MIC) 張皓甯 產業分析師    
【AI解題案例】打造零風險工廠,AI自動檢測系統輔助作業區的安全監控
【AI解題案例】打造零風險工廠,AI自動檢測系統輔助作業區的安全監控
【AI解題案例】打造零風險工廠,AI自動檢測系統輔助作業區的安全監控   一、解題背景   在工廠管理中,工安事件是最不想見到的事。本專案的出題方為國際輪胎大廠普林斯通(Bridgestone),相較於多數廠商從良率、生產效率或成本的角度切入規劃工廠流程的改善,普林斯通想的是如何善盡「企業社會責任」這一件事,希望透過AI技術改提升輪胎成型作業的安全監控成效。   解題方為在智慧工廠這個領域耕耘已久的ASUS AICS團隊,他們導入Vision-based的深度學習模型,希望做到不只是偵測員工在輪胎成型作業中是否有違反標準工序的危險行為,甚至能判斷出作業員的異常行為,提前做出預測,即時對作業員發出警報,同時通知現場管理人員盡速到場處理。如果有更危險的行為的時候,可以第一時間就把設備停止下來,阻止悲劇的發生。 二、解題架構 l       現況問題:   目前ROLL(滾筒)生產設備的捲夾點周邊並未設置任何監視裝置,其相關作業安全監控仰賴管理責任者於現場巡檢以觀察人員作業。除無法有效監控外,若發生捲入意外,將無法即時對應造成憾事。   輪胎成型機台雖設有監視攝影機,其監視影像多用於品質問題發生時的紀錄追蹤使用,並未充分發揮安全監控功能,且礙於人力不足,無法配置人員緊盯螢幕進行監視。   目前現場的作業安全監控仰賴管理責任者於現場巡檢以觀察人員作業。除無法有效監控外,也難以事前檢出人員異常活動徵兆。而增加人工巡檢確認項目亦會造成管理責任人員工作負擔,無法確實執行其他生產業務對應。   l       解決方案:   本專案同樣需經過AI開發流程:收集資料、為資料做分類與下標籤、模型訓練與測試,以及在邊緣裝置上佈建此模型並進行應用。先來看看關鍵的深度學習模型訓練作法。   針對本專案的視覺監控特性,解題方選擇以事件為主的混合式深度學習AI模型(Hybrid Deep Learning AI Model),並提出5個深度學習模型來解決不同的問題,其作用如下:   DNN 模型1:監控作業員是否有根據定義的SOP作業
   DNN 模型2:監控生產設備運作是否有異常,例如有異物捲入   DNN 模型3:監控作業員的防護裝束是否完備   DNN 模型4:禁制區access control     • 人員上崗前用人臉辨識註冊     • 建立虛擬管制區,管控每個人允許進入的區域     • 使用物件識別、物件追蹤、距離測定來確保人員為進入禁制區   DNN 模型5:蒐集生產設備的關鍵參數,並用AI資料分析監測/預測生產設備運作異常     這5個模型除了偵測場景中的異常狀況外(DNN模型1、2、5),也可以為場景設立虛擬的封鎖線(DNN模型4)以及人員防護裝束管控(DNN模型 3),達到多種層次的安全防護。   實際的運作上,在訓練好DNN模型後會將模型部署到監控環境,透過雲端監控資料平台(Data Platform),平台會對工作現場傳回的數據進行統計與分析,同時將監控狀況可視化,管理人員可清楚掌握狀況。針對發生問題時的影像則會保存下來,做為改善模型的依據。   三、解題成果   AI團隊想進入工廠取得資料做分析並不容易,但透過AIGO這個計畫的媒合,普林斯通很配合解題團隊的需求,讓他們順利收集到合用的資料來做分析,訓練及測試完模型後實際部署到生產線,在 6 個小時內內成功抓到 31 起可疑行為,經人為覆判後,每一筆皆是有危險性的行為,而AI推論時間皆可維持在 1 秒鐘以內。   圖說:在生產線設定「安全區」及「危險區」   四、結論   由於這個題目是要解決生產線作業員的人身安全問題,因此導入的AI方案不能只做到偵測(Detection)的功能,還要進一步做到預測(Prediction),也就是要在危險還沒發生前就預先判斷出來了,並且第一時間發出警告,甚至強迫中斷產線機台的運作。   這考驗了解題團隊及廠商的合作程度:解題方的AI專業需與廠方的Domain Expert緊密合作,由廠方專家協助確認AI的認知是否與他們的認知是一致的,再將訓練好的模型部署到更多的監測相機及機具上,去收集不同的作業員的作業方式,把AI的模型訓練到更趨近於人類的認知。   普林斯通認為這個方案的初步目標已算達成,接下來希望透過大數據的分析,能擴展到其他機台的安全監控,希望2021年能夠全面導入這項AI技術到整個生產製程中,讓職場的安全性提升,員工的安全感也能提升,打造出零風險的工廠環境。  
【AI解題案例】傳產有智慧!染整廠自動預測水洗牢度與總色差方案
【AI解題案例】傳產有智慧!染整廠自動預測水洗牢度與總色差方案
【AI解題案例】傳產有智慧!染整廠自動預測水洗牢度與總色差方案 Source: http://www.dbl-group.com/dyeing/   一、解題背景   人人都要穿衣服,紡織業的歷史悠久可想而知,但衣布的科技仍持續推陳出新,生產的技術也在升級,本案由叡揚資訊提出需求,希望透過AI技術讓染整廠的新員工也能更快掌握老師傅的絕學,除了為染整業節省人力,也能降低人為因素對產品品質所造成的影響。   早期染整工廠多以手工記錄片段的資料,現在進步了些,能靠機器上的感測器回傳各種數據,但在染整過程中何時該補料或該升降溫度,全憑老師傅的經驗來做判斷,一旦設備故障後重啟用或材料狀況有變,整條染程都可能生變而難以救回。   另一狀況則是針對新配方或新染程的研發,只能不停地嘗試各種組合,直到產出滿意的產品為止,過程中會造成材料與時間的浪費,大幅提高製作成本。對於新進員工來說,想要做到「出師」則是漫漫長路。   承接此案的解題團隊是「馬訓冷凝」(取義Machine Learning),他們提出的作法是在染色過程中,利用多目標預測模型,透過系統化配方與染程,使過往依賴人力判斷的染程部份能透過機器來判斷,自動預測水洗牢度與總色差。     二、解題技術架構   本案之解題構想擬採用機器學習與深度學習的技術,建立多目標預測模型,將染色機上的溫度、酸鹼值、水位等 IoT 染程資料視為輸入資料,整合染程設計與配方資料,同時預測該染程的水洗牢度與總色差。     方法一:採用機器學習之多目標預測模型     圖說:機器學習流程架構圖   機器學習有多種演算法,根據不同的資料型態來使用不同的演算法,能解決分類或迴歸問題。本方法的流程步驟說明如下: 將歷史染程數據集之每筆工單之每個 IoT 染程數據序列資料,透過快速傅立葉變換(Fast Fourier Transform, FFT)轉成頻譜特徵。 經步驟 A 計算後之頻譜特徵再透過功率譜密度(Power Spectrum Density, PSD)的計算,轉換為歸一化的功率譜密度。 將以往各工單染程數據的頻譜特徵,進行自相關函數(Autocorrelation)計算,取得特徵。 綜合步驟 A 至步驟 C 產生之特徵值,產生個別 IoT 感測器之特徵向量(每一筆工單都有溫度特徵向量 FT、酸鹼值特徵向量 FP、水位特徵向量 FL 及浴比特徵向量 FR 等四種特徵向量)。 將步驟 A 到步驟 D 進行特徵提取後的四種 IoT 特徵(FT, FP, FL, FR)配對該工單之實際水洗牢度 LW 與實際總色差 LC 作為聯合標籤(LW, LC),形成該工單對應之訓練資料((FT, FP, FL, FR), (LW, LC)) 。 使用各種機器學習演算法訓練模型,例如分類預測模型及迴歸預測模型。 因為機器學習演算法的效能常和資料有關,且各種特徵選取及分類/迴歸方法的組合可能性太多,因此解題策略上優先考慮使用單一 IoT 之特徵向量(如溫度 FT)和各種分類器或迴歸模型開始測試。如果正確率的要求未能滿足,再嘗試多感測器的特徵組合以達到模型正確率的要求。   方法二:採用深度學習網路之多目標預測模型   圖說:深度學習流程架構圖   LSTM是一種時間遞歸神經網路的深度學習模型,適合於處理和預測時間序列問題,在長時間序列問題中較其他方法有更好的表現。本方法的流程步驟說明如下: A.     建立 LSTM 模型:建立一包含(輸入層、LSTM 層、全連結層及 
輸出層)之深度學習網路。
 B.      調整資料序列長度。 C.     數值範圍正規化:將數入值及輸出值之範圍正規化到-1 到+1之間。 D.    採用 K-Fold Cross Validation 的方式訓練 LSTM 模型。如訓練結果未達預期正確率,則調整 LSTM 之Hyperparameter (如Cell 個數、學習速率等)並重新訓練模型測試正確率。
 E.      最終基於 LSTM 網路架構下完成能預測水洗牢度與總色差的多目標預測模型。     表一  各水洗牢度各種特徵選取及分類器之準確度   * psd: power spectrum density, WP: wavelet packet, AVG: piecewise average, LSTM: long short term memory.
   ** 所有的數據都是透過 5-fold Cross Validation 計算出之平均正確率。   三、商轉可行性與成果創新價值   紡織業在染整上分秒必爭,當染整人員進行產品染整上時,如果無法快速定義出適合染整的程序,容易導致產品品質上的瑕疵。假設現在有一批新研發的染整配方時,如果能夠有一套可供相應參考的配方流程,對於染整人員來說,不僅提升了產品上的品質,更節省了多方面的嘗試組合,同時,對於該新研發的染整配方能夠提供給染整人員參考。因此,在染整產品上時,如何找出最適合的染整配方,是本方案所要解決的。   本方案創新價值在於染整流程上所面臨水洗牢固度、總色差,在不清楚染整流程的前提下,使用了機器學習等相關技術,提高產品的品質程度,使產品可多次清洗不易損壞,且不會掉色。   很多紡織業者常面臨無法為染整產品提出最合適染整配方的困擾,本方案在運作時,新研發的染整技術被 LSTM 模型預測後,根據該模型的預測結果,提供給染整人員進行微調,並且將成為改進模型的訓練資料,亦即模型是日復一日、永不中斷的從舊、新資料中自我學習,而非一般的機器學習方法。   這將有助解決上述的染整配方問題,亦能夠幫助新創的紡織公司在初期創立時,透過舊有的染整配方提出有效的染整流程,提供給染整人員研發新的染整技術,這也是本方案的市場價值。   另外,本系統也具備易建置、易移植及易維護等性能,在商業運轉上同時具有可行性。   四、結論   本方案對於專案開發與染整之品質管理,具有相當高的實用性且具有易建置、易維護及易移植等特色,採用的方法也具有理論的支持,並解決了各項影響因子與染整品質的主要問題。   本方案也可針對布料中各別的材質,提取該材質中特有的染整技術,協助技術員在染整中因應各種突發狀況。未來也可結合企業的資料庫,使本系統不僅能用在染整技術上,亦可用於其他層面,如綠色智能化生產、發展個性化染整設備。  
【AI解題案例】如何挑水果?自動辨識水果甜度方案
【AI解題案例】如何挑水果?自動辨識水果甜度方案
【AI解題案例】如何挑水果?自動辨識水果甜度方案 一、解題背景   很多人都有面對水果攤上一整籃水果,不知該如何挑到「好吃」的水果的經驗吧?本專案希望採用人工智慧技術來解決這個問題:只要用手機拍下眼前的蘋果,即可透過APP幫你分析這顆蘋果甜不甜,如何做到的呢?請看本文的剖析。   本專案的「出題方」為台灣楓康超市,他們遇到的問題是消費者在商場時,經常為挑選蘋果而不斷翻動眼前的一堆蘋果,導致某些蘋果彼此碰撞而損傷,希望有一套APP能協助買家挑選,降低水果被撞擊的機率。   接受挑戰的「解題方」是來自朝陽科技大學的「四葉草」團隊,該團隊成員已累積兩年以上的AI解題經驗,所擅長的領域包括影像辨識、CNN卷積神經網路,並具有資料集採集與建置、AI訓練環境架設及AI模型訓練的經驗。   二、解題架構:   以下來介紹他們的解題技術架構及執行方法:   AI模型訓練流程: 1. 準備訓練圖片   AI解題的第一個步驟自然是要取得可供訓練的資料集,也就是要辨識的「蘋果」資料集,包括蘋果的種類/產地、檢測日期、各角度照片、白利糖度值(Degrees Brix, ° Bx)、口感說明等。其中蘋果的種類/產地可從其表面黏貼的標籤得知,其他資料就得靠自己來搜集,目前仍無法在網路上取得完全符合的資料集。   因此,該團隊為紐西蘭富士、智利富士和envy富士三種蘋果的「單顆」蘋果各拍攝了6個角度的相片,再一顆顆切片來做甜度測試。他們還做了「雙顆」蘋果拍攝:挑選一顆較為不紅的蘋果與一顆較紅的蘋果,做為比較的對照組,這麼一來便可以增加蘋果在進行辨識時的準確率。   除了「單顆」蘋果與「雙顆」蘋果的拍攝外,為了可以模擬消費者挑選蘋果的場景,也進行了「蘋果成堆」的照片六面拍攝。   圖說:「蘋果成堆」的六面拍攝   拍攝完蘋果的照片就進入蘋果甜度測試步驟。蘋果甜度檢測使用的是手持光學式白利糖度檢測器,此儀器的運作原理為利用光進入不同的介質時會造成行進路線的改變從而產生夾角,由此便能測出不同的液體甜度。為了取得完整的蘋果甜度資料,該團隊針對檢測甜度也設計了嚴謹的實驗流程。   圖說:蘋果甜度值的檢測方式   最終得到的資料集包括 660 張的智利富士蘋果 (單顆)、330 張的智利富士蘋果(成堆)、660 張的紐西蘭富士蘋果(單顆)、330張的紐西蘭富士蘋果(成堆)、240張紐西蘭 envy富士蘋果(單顆)、120 張紐西蘭 envy富士蘋果(成堆)、300張雙顆蘋果照片、總共2640張照片,以及780 筆甜度資料,130 筆平均甜度資料。 2. 進行AI模型訓練   使用 AI 進行圖像辨識可以發現人類肉眼難以觀測出的細微特徵,進而判斷蘋果是否為甜。針對這專案的 AI 模型是使用圖像辨識能力較強的卷積神經網路,利用其特點即可達成高準確度的結果。   「四葉草」團隊使用的是留一交叉驗證法(leave-one-out cross-validation),此方法僅保留一張圖片做測試,其餘的圖片則會全數用於訓練,完成訓練後會將正確的結果記錄為 1,錯誤的結果記錄為 0。   已完成的訓練的圖片會使用該團隊自行設計的自動化更換程式,將未測試的圖片從訓練的資料集內取出一張與已測試的圖片交換,往復訓練與圖片交換的流程,最終將正確結果的數量加總後,除以資料集的圖片總數即可得該模型的準確率。   本專案原先的訓練環境如下: l   作業系統使用 Linux Ubuntu 16.04 l   使用運算速度較快的 GPU 替代 CPU 訓練,GPU 型號為 NVIDIA GeForce GTX 1050 Ti l   程式語言使用支援多種套件的 Python l   深度學習框架使用 TensorFlow l   編譯器以 Spyder 與 Jupyter Notebook 為主   透過 AI 模型訓練,總共訓練了 3 種不同種類的模型,包括CNN 基本模型、Inception_RasNew_V2、MobileNet_V2。這3種模型中,CNN因架構較為簡單,適合剛入門的初學者;Inception_RasNew_V2不會因訓練的更深而降低準確率,有較佳的訓練性能;相較於傳統的卷積,MobileNet_V2能更快速地完成運算,效率也因此提升。3種模型的比較如下圖。   3種模型的實測結果中,以CNN 基本模型(使用 kernel4*)的 81.94%準確率最高,但最後為了在 APP 上 嵌入 AI 模型,為了避免 APP 的容量過於龐大,所以使用較為輕量的MobileNet_V2,準確率為 75.69%。請參考下表。 3. 產出模型與APP上架   手機已是大部分人生活中不可或缺的隨身裝置,其功能與效能也不斷提升,運用手機APP來辨識蘋果可以說是最方便的作法了。目前本專案不僅發展出用於辨識甜度的AI模型,也推出與楓康行動GO整合的APP,並已上架到Google Play上了。   目前已成功能將訓練完成的模型內嵌於 APP中使用,模型經優化處理後已縮小至 17MB。此APP的甜度辨識功能會將甜度高於15以上判定為”sweet”,底色呈現紅色;若甜度低於 15 以下便被判定為”notsweet”,底色呈現黃色,如下圖。   三、創新亮點   本方案透過將訓練完成的 AI 模型嵌入至 APP 中,實現了即時的反饋結果,且具有無須網路即可達成應用目標。消費者只需使用手機內建的相機拍照,即可偵測出眼前蘋果的甜度,無須使用一般極昂貴的甜度分析儀器,才能像有經驗的果農或水果商一樣挑出好吃的水果,相當實用。 四、結論   本方案在開發過程中確實遇到不少困難,特別是在採集資料上,例如蘋果的拍攝角度、模擬超市的燈光環境、甜度的測試等等。在上述的幾點困難點中,最困難的就是照片的拍攝參數設定,因為並非每支手機的解析度、RGB 等都相同,所以拍出來的照片也皆不相同,只能從組員中挑選一支手機當作拍攝手機,以達到標準性。   因此,在本次解題中若有要改善的項目,可能就是在採集資料上的時間過長,但為了使訓練時的資料是可行的,所以才會在這個環節比較謹慎、重複測試不同的方法。總體而言,本方案以下4個好處:1. 減少消費者翻攪行為;2. 提升企業與消費者之間的互動體驗:3. 降低企業營運成本;4. 減少資源的浪費。   展望未來,這套方法除了用於超市,也可應用於智慧農業與品質監控:在智慧農業上,可以透過無人機來進行蘋果的監測,當蘋果的甜度達到一定數值時,即可進行採收蘋果的動作;在品質監控上,可以透過甜度將蘋果進行品質分級,進一步還可應用於電商平台作為蘋果品質保證的依據,舉例來說,消費者在電商平台購買蘋果時,可透過掃描電商平台上圖片結果,來判斷是否要購買此蘋果,店家亦可透過本研究來證明其蘋果品質。 延伸閱讀: 甜度參考網址:https://www.stemilt.com/fruits/apples/fuji-apples/