跳到主要內容
 
:::

技術文章


【AI解題案例】如何挑水果?自動辨識水果甜度方案
AI解題

2021-02-09 AIGO計畫辦公室 2075


【AI解題案例】如何挑水果?自動辨識水果甜度方案





一、解題背景





  很多人都有面對水果攤上一整籃水果,不知該如何挑到「好吃」的水果的經驗吧?本專案希望採用人工智慧技術來解決這個問題:只要用手機拍下眼前的蘋果,即可透過APP幫你分析這顆蘋果甜不甜,如何做到的呢?請看本文的剖析。





水果





  本專案的「出題方」為台灣楓康超市,他們遇到的問題是消費者在商場時,經常為挑選蘋果而不斷翻動眼前的一堆蘋果,導致某些蘋果彼此碰撞而損傷,希望有一套APP能協助買家挑選,降低水果被撞擊的機率。





  接受挑戰的「解題方」是來自朝陽科技大學的「四葉草」團隊,該團隊成員已累積兩年以上的AI解題經驗,所擅長的領域包括影像辨識、CNN卷積神經網路,並具有資料集採集與建置、AI訓練環境架設及AI模型訓練的經驗。







二、解題架構:





  以下來介紹他們的解題技術架構及執行方法:





  AI模型訓練流程:





AI模型訓練流程





1. 準備訓練圖片





  AI解題的第一個步驟自然是要取得可供訓練的資料集,也就是要辨識的「蘋果」資料集,包括蘋果的種類/產地、檢測日期、各角度照片、白利糖度值(Degrees
Brix, ° Bx)、口感說明等。其中蘋果的種類/產地可從其表面黏貼的標籤得知,其他資料就得靠自己來搜集,目前仍無法在網路上取得完全符合的資料集。





  因此,該團隊為紐西蘭富士、智利富士和envy富士三種蘋果的「單顆」蘋果各拍攝了6個角度的相片,再一顆顆切片來做甜度測試。他們還做了「雙顆」蘋果拍攝:挑選一顆較為不紅的蘋果與一顆較紅的蘋果,做為比較的對照組,這麼一來便可以增加蘋果在進行辨識時的準確率。





  除了「單顆」蘋果與「雙顆」蘋果的拍攝外,為了可以模擬消費者挑選蘋果的場景,也進行了「蘋果成堆」的照片六面拍攝。





「蘋果成堆」的六面拍攝





  圖說:「蘋果成堆」的六面拍攝





  拍攝完蘋果的照片就進入蘋果甜度測試步驟。蘋果甜度檢測使用的是手持光學式白利糖度檢測器,此儀器的運作原理為利用光進入不同的介質時會造成行進路線的改變從而產生夾角,由此便能測出不同的液體甜度。為了取得完整的蘋果甜度資料,該團隊針對檢測甜度也設計了嚴謹的實驗流程。





「蘋果成堆」的六面拍攝





  圖說:蘋果甜度值的檢測方式





  最終得到的資料集包括 660 張的智利富士蘋果 (單顆)、330 張的智利富士蘋果(成堆)、660
張的紐西蘭富士蘋果(單顆)、330張的紐西蘭富士蘋果(成堆)、240張紐西蘭 envy富士蘋果(單顆)、120 張紐西蘭
envy富士蘋果(成堆)、300張雙顆蘋果照片、總共2640張照片,以及780 筆甜度資料,130 筆平均甜度資料。





2. 進行AI模型訓練





  使用 AI 進行圖像辨識可以發現人類肉眼難以觀測出的細微特徵,進而判斷蘋果是否為甜。針對這專案的 AI
模型是使用圖像辨識能力較強的卷積神經網路,利用其特點即可達成高準確度的結果。





  「四葉草」團隊使用的是留一交叉驗證法(leave-one-out
cross-validation),此方法僅保留一張圖片做測試,其餘的圖片則會全數用於訓練,完成訓練後會將正確的結果記錄為 1,錯誤的結果記錄為 0。





  已完成的訓練的圖片會使用該團隊自行設計的自動化更換程式,將未測試的圖片從訓練的資料集內取出一張與已測試的圖片交換,往復訓練與圖片交換的流程,最終將正確結果的數量加總後,除以資料集的圖片總數即可得該模型的準確率。





  本專案原先的訓練環境如下:





l 作業系統使用 Linux Ubuntu 16.04





l 使用運算速度較快的 GPU 替代 CPU 訓練,GPU 型號為 NVIDIA GeForce GTX 1050 Ti





l 程式語言使用支援多種套件的 Python





l 深度學習框架使用 TensorFlow





l 編譯器以 Spyder 與 Jupyter Notebook 為主





  透過 AI 模型訓練,總共訓練了 3 種不同種類的模型,包括CNN
基本模型、Inception_RasNew_V2、MobileNet_V2。這3種模型中,CNN因架構較為簡單,適合剛入門的初學者;Inception_RasNew_V2不會因訓練的更深而降低準確率,有較佳的訓練性能;相較於傳統的卷積,MobileNet_V2能更快速地完成運算,效率也因此提升。3種模型的比較如下圖。





 3 種不同種類的模型,包括CNN基本模型、Inception_RasNew_V2、MobileNet_V2





  3種模型的實測結果中,以CNN 基本模型(使用 kernel4*)的 81.94%準確率最高,但最後為了在 APP 上 嵌入 AI 模型,為了避免
APP 的容量過於龐大,所以使用較為輕量的MobileNet_V2,準確率為 75.69%。請參考下表。





3種模型的實測結果





3. 產出模型與APP上架





  手機已是大部分人生活中不可或缺的隨身裝置,其功能與效能也不斷提升,運用手機APP來辨識蘋果可以說是最方便的作法了。目前本專案不僅發展出用於辨識甜度的AI模型,也推出與楓康行動GO整合的APP,並已上架到Google
Play上了。





楓康行動GO APP





  目前已成功能將訓練完成的模型內嵌於 APP中使用,模型經優化處理後已縮小至
17MB。此APP的甜度辨識功能會將甜度高於15以上判定為”sweet”,底色呈現紅色;若甜度低於 15
以下便被判定為”notsweet”,底色呈現黃色,如下圖。





訓練完成的模型內嵌於 APP中







三、創新亮點





  本方案透過將訓練完成的 AI 模型嵌入至 APP
中,實現了即時的反饋結果,且具有無須網路即可達成應用目標。消費者只需使用手機內建的相機拍照,即可偵測出眼前蘋果的甜度,無須使用一般極昂貴的甜度分析儀器,才能像有經驗的果農或水果商一樣挑出好吃的水果,相當實用。





四、結論





  本方案在開發過程中確實遇到不少困難,特別是在採集資料上,例如蘋果的拍攝角度、模擬超市的燈光環境、甜度的測試等等。在上述的幾點困難點中,最困難的就是照片的拍攝參數設定,因為並非每支手機的解析度、RGB
等都相同,所以拍出來的照片也皆不相同,只能從組員中挑選一支手機當作拍攝手機,以達到標準性。





  因此,在本次解題中若有要改善的項目,可能就是在採集資料上的時間過長,但為了使訓練時的資料是可行的,所以才會在這個環節比較謹慎、重複測試不同的方法。總體而言,本方案以下4個好處:1.
減少消費者翻攪行為;2. 提升企業與消費者之間的互動體驗:3. 降低企業營運成本;4. 減少資源的浪費。





本方案4個好處





  展望未來,這套方法除了用於超市,也可應用於智慧農業與品質監控:在智慧農業上,可以透過無人機來進行蘋果的監測,當蘋果的甜度達到一定數值時,即可進行採收蘋果的動作;在品質監控上,可以透過甜度將蘋果進行品質分級,進一步還可應用於電商平台作為蘋果品質保證的依據,舉例來說,消費者在電商平台購買蘋果時,可透過掃描電商平台上圖片結果,來判斷是否要購買此蘋果,店家亦可透過本研究來證明其蘋果品質。





智慧農業與品質監控





延伸閱讀:





甜度參考網址:

https://www.stemilt.com/fruits/apples/fuji-apples/

最新發表
大廠併購系列(二) GrokStyle:AI視覺搜尋創造全新購物體驗
使用者以圖像社群網站來尋找產品與靈感 近年來網路搜尋引擎與社群平台成為人們生活中的重要一環,許多民眾在社群上分享居家裝潢與產品介紹,也形成了各種眾包圖像網站,可以讓使用者利用該平台分享個人創意設計、室內居家布置或產品圖片等,如美國受歡迎的Pinterest為圖片分享類的社群網站或是有關建築、室內設計和裝飾的Houzz網站,讓數以百萬的民眾以圖像社群網站來尋找產品與靈感。 然而這些受歡迎的圖像網站在搜尋上面臨了一些挑戰,以Houzz網站來說,裡面的圖像就超過7百萬張的龐大數量,如何在這龐大的圖像資料庫中找到使用者需要的資訊,譬如商品外觀很難透過基於文字的搜索來表達、應該甚麼關鍵字來搜尋才精準或檢索的分類項目難以篩選等。其次是許多分享的圖片中,分享者並不一定會特別標註此產品的用途或是可以在哪裡購買等相關資訊,因此如果可以藉由自動化的以圖搜圖功能,找出產品的購資訊,而不用單靠分享者人力一一回答,也能成為加強用戶體驗的方式。再者使用者從購買產品的網站找到喜愛的產品後,如果能提供產品的反向搜尋,找到這些產品該如何使用、裝飾或擺放,也是現代人希望能夠藉由搜尋引擎或圖像網站能獲得的資訊。 GrokStyle以AI視覺搜尋鏈結線上零售購物 美國新創公司GrokStyle成立於2016年,為結合人工智慧以電腦視覺搜尋連結線上零售購物的AI公司,希望藉由AI視覺搜尋技術創造全新的購物體驗。GrokStyle 由Sean Bell與Kavita Bala共同創辦,Kavita Bala為Sean Bell在康乃爾大學的指導教授,他們在2015年美國電腦協會電腦圖形專業組組織的電腦圖形學頂級年度會議SIGGRAPH上發表了深度學習卷積神經網絡視覺相似度模型,此為奠定GrokStyle的核心技術,其後兩人由康乃爾大學育成後出來創立GrokStyle。 GrokStyle在2016年5月參與LDV Vision Summit,贏得企業電腦視覺挑戰賽(Entrepreneurial Computer Vision Challenge, ECVC)獲勝者,得以在參與此電腦視覺高峰會的企業管理者、風險資本家及招聘公司中展示他們的產品與AI技術,也藉此打響了GrokStyle在電腦視覺相似性搜尋技術。2017年2月GrokStyle發表其視覺搜尋技術進展到可以準確地辨識使用者拍攝相片的家具,進而找到使用者想購買的產品網站。在發布其技術後GrokStyle在當年4月獲得了Krishna Bharat等7家投資者共180萬美元的種子融資,8月入選2017年度的「CB Insights AI 100」。2018年5月GrokStyle與全球最大傢具零售業者IKEA合作,將其視覺搜尋功能加入IKEA的Place AR應用程式中。2018年5月GrokStyle從美國國家科學基金會(National Science Foundation)獲得了75萬美元的贈款作為小型企業創新研究(SBIR)。2019年2月Facebook以未公開金額收購GrokStyle,同時延攬該公司的團隊成員加入Facebook,GrokStyle的CEO Sean Bel現今擔任Facebook AI研究團隊產品辨識組的研究科學家與技術經理。 以AI視覺搜尋簡化選購程序 GrokStyle產品為可以識別圖片中的商品對象的應用程式「GrokStyle App」,用戶可以使用該應用程式拍攝傢俱或物品的照或是直接上傳之前拍攝過的圖片後,GrokStyle應用程式基於深度學習技術來學習產品之間的視覺相似性,從而幫助用戶搜尋到想要的商品以及提供品牌及類似產品等相關信息,幫助用戶在線上即可進行家具選購。GrokStyle應用程式提供兩大方向的應用,第一種類型是給特定區域的圖像,找出與這個區域中包含物品最相似的其他物品,可以解決的問題是人們常常會在圖像網站詢問「我很喜歡這張圖片中的檯燈,哪裡可以買到相似的產品?」,GrokStyle便可透過其AI視覺技術搜尋找到資料庫中商品購買資訊;第二種問題是可以解決的問題是「這張椅子可以擺放房間的哪裡?如何在家裡使用它?」GrokStyle應用程式就會提供商品使用方式、居家擺飾或室內設計圖片等。 資料來源:MIC,2021年10月  圖1  GrokStyle應用程式操作情境 GrokStyle一直企圖打入傢俱與室內設計市場,其第一個大型合作夥伴是IKEA,IKEA有一款名為Place AR的擴增實境應用程式,該程式將GrokStyle的點對點搜尋功能(point-and-search)加入Place AR中,用戶可以照下IKEA型錄中的室內擺設圖片後該程式就會出現產品的販售價錢與尺寸等資訊,並且以擴增實境技術讓使用者可以真實模擬傢俱擺放在家中的真實樣貌。 資料來源:MIC,2021年10月  圖2  GrokStyle與IKEA合作的Place AR應用程式 深度學習卷積神經網絡視覺相似度模型   GrokStyle的核心技術為深度學習卷積神經網路視覺相似度模型,該模型使用Siamese Network經由數百萬種產品眾包資料樣本中進行成對圖像深度學習訓練。Siamese網路由兩個對稱的神經網路組成,它們共享相同的權重和體系結構,經由成對學習加速模型訓練。在不同照明狀態、物品之間的遮擋、各種拍照角度都可能影響最終的反饋結果。因此高強度的深度學習需要相當大量的圖片,幫助機器學習判斷不同家居物品。 資料來源:MIC,2021年10月  圖3  深度學習卷積神經網路視覺相似度模型 Facebook借助GrokStyle技術提升視覺搜索體驗 GrokStyle開發視覺搜尋技術並將其商業化,具有廣泛的影響與商業潛力,在許多市場如居家裝飾、室內設計或品牌時尚等領域的圖像網站中,客戶尋求的產品具有獨特的視覺外觀,而這些外觀很難以文字表達搜索。GrokStyle為這些市場開發視覺搜索工具,將產品可能具有不同的背景,尺寸,方向或燈光照明的照片或是照片場景中的雜物可能會影像到產品圖像辨識。GrokStyle的產品分類法以支持廣泛的客戶和產品類型;半自動檢測場景圖像中的產品,以放大到大型照片庫中;完善訓練的模型進行細粒度匹配,以滿足客戶需求。GrokStyle的深度學習卷積神經網路視覺相似度技術大幅提高了圖像搜尋的準確性。 Facebook在2018年來加強在人工智慧及電腦視覺技術的投資力道,從2018年至2020年共收購了9家AI新創公司,對於GrokStyle的收購,Facebook發言人表示「基本的概念與想法是,讓用戶能夠在使用配對技術尋找傢俱或燈飾等物品,從圖像資料庫中找到相似的圖象」。預期GrokStyle的技術將應用在Facebook旗下Marketplace拍賣市集商品銷售平台,讓使用者透過手機拍攝實際物件後,即可快速搜尋相似物品,建立更良好的視覺搜索體驗。     財團法人資訊工業策進會 產業情報研究所(MIC) 張皓甯 產業分析師      
大廠併購系列(一) Inductiv:以AI資料清理技術提升Siri認知能力
資料品質為機器學習的重要關鍵 人工智慧逐漸在各應用領域扮演重要角色,奠定人工智慧的重要基石之一為用來訓練機器學習模型所使用的資料,世界知名的資料科學博士Tom Redman曾說過「資料品質差,所訓練的機器學習工具就沒有成效」(If Your Data Is Bad, Your Machine Learning Tools Are Useless)。如果沒有良好的資料提供模型進行訓練,即便是好的模型結果也只是垃圾進垃圾出。因此資料品質成為機器學習的重要關鍵,輸出成果很大程度的取決於輸入資料的品質。 根據市場分析公司Cognilytica調查顯示,建立成功的機器學習模型包含「建立準確的算法」、「資料準備」與「模型訓練」等三個方面,過程中資料科學家花費了80%的時間在做資料準備的部份,包含資料的識別、提取、標記、清理、轉換和擴充等工作,其中資料清理(Data Cleaning)佔了25%的時間。資料清理系統基於規則或基於邏輯等制定問題,在建立和準備週期的所耗費的人員與時間成本很高,但鑑於擁有乾淨的資料對機器學習至關重要,若資料在一開始即有小錯誤便可能持續堆疊、傳遞造成大錯誤,因此資料清理能夠確認資料的正確性,並刪除不需要或修正錯誤的內容以達到良好的資料品質。 Inductiv AI自動化資料清理技術受Apple青睞 加拿大新創公司Inductiv於 2019年成立,由三位大學教授共同創辦,創立宗旨為讓機器學習擁有乾淨的資料。創辦人兼CEO Ihab Ilyas現任滑鐵盧大學資訊工程系教授,教導機器學習至今16年,以資料科學、資料清理、資料品質及管理資料領域聞名,過去曾擔任企業資料統合公司Tamr的共同創辦人,專注於大規模資料整合和清理,已於2020年7月IPO上市。另外兩位共同創辦人分別為威斯康辛大學機器學習助理教授Theodoros Rekatsinas,專注於基於資料預備系統與資料清理等研究;以及史丹佛大學AI實驗室副教授Christopher Ré,研究專長為機器學習與資料科學,過去曾任於2017年被Apple收購的資料公司Lattice.io共同創辦人,專注於資料探勘。三位大學教授致力於機器學習與資料科學等項目研究,共同開發以AI自動化的辨識及修正資料錯誤與資料清理的技術「HoloClean」,用以提升機器學習在訓練模型時所著重的資料品質。Inductiv優異的資料清理技術被科技大廠Apple所看重於2020年5月收購Inductiv,並延攬其工程團隊加入Apple位於Cupertino園區。Apple收購Inductiv其中一項主要任務就是幫助Siri語音助理提升其認知能力,透過其大規模自動化資料校正以增強資料品質。 HoloClean以深度學習生成機率模型實現資料修復 Inductiv核心產品為資料清理與修復「HoloClean」,自動辨識結構化資料中的錯誤項目並且加以修復為正確的資料。該技術為是創辦人Ihab Ilyas、Christopher Ré以及其他研究夥伴在史丹佛大學與滑鐵盧大學合作發表的一篇論文「HoloClean:利用概率推理來進行資料修復」(Holistic:Data Repairs with Probabilistic Inference利用概率推理來進行資料修復),論文顯示他們開發的技術已經超越目前最先進的資料清理技術,並擁有更高的準確度。 鑑於現今AI與深度學習在處理非結構化資料方面表現出眾,但對於結構化資料仍使用較舊的資料科學方式進行清理與修復。過去在自動清理結構化資料的方式可概分為兩個步驟,其一為錯誤檢測(Error Detection),用以發覺資料中的不一致性,如誤植或遺漏的資料;另一為資料修復(Data Repairing),此項目涉及更新正確的資料以及刪除任何檢測到的錯誤資料。Inductiv的研究論文表示,資料科學為了自動化地完成這兩項錯誤檢測與資料修復任務,大部分都使用以下三種技術:(一)、完整性約束(Integrity Constraints):假定大部分輸入數據要乾淨並使用最小限度的操作原則進行維修修復;(二)外部資料(External information):將原始資料庫連結到外部詞典、知識庫或專家註解中,以匹配依賴度來檢測與修復原始資料;(三)定量統計(Quantitative Statistics)修復:基於統計分析的資料修復與清理方法。Inductiv對此三種技術進行了驗證,結果表示如果用過去的方法來做資料清理,會將每個因子個別獨立考量,在清理後可能會出現其他新的錯誤。 資料來源:MIC,2021年9月  圖1  資料清理與修復技術驗證 Inductiv的Holoclean技術使用AI深度學習生成機率模型,整合完整約束性、外部資料以及定量統計三項技術,以統計學習和機率推理來實現資料修復,以解決單獨考慮每個因子的缺陷,打造修復結構化資料的資料清理與修復系統。Holoclean的工作流程有三個步驟:(一)錯誤檢測:檢測結構化資料中具有潛在不正確數值的欄位;(二)編譯(Compilation):給定初始單元格資料和修復約束;(三)資料修復:HoloClean依據其生成機率模型的推理框架來進行資料修復。HoloClean的資料清理與修復能夠做出更適當的資料修正決策,經實驗證實其數據修復平均精確度達90%。 資料來源:MIC,2021年9月  圖2  Holoclean Framework Apple借助Inductiv技術提升Siri模型的資料品質 Apple近年來積極佈署人工智慧領域並且藉由併購AI新創快速地獲取技術與人才,在2020年度成為近六年收購最多AI新創的科技大廠。2019年Loup Ventures根據三大科技公司的語音助理Google Assistant、Amazon Alexa以及Apple Siri進行了名為Annual Digital Assistant IQ Test語音助理智商測試,分別詢問了800個問題,問題包含當地資訊(Local)、商業(Commerce)、導航(Navigation)、資訊(Information)以及命令(Command)五大類,用以瞭解語音助理對於這五類項目中的理解問題與回應能力。在Assistant IQ Test中Siri於「命令」題目中表現最為優秀,而在「商業」及「資料」題目中排名最後,相對擁有自家搜尋引擎與電商平台的Google和Amazon,Siri需仰賴外部搜尋引擎進行訓練。2020年Apple以未公開金額併購Inductiv並且延攬其機器學習專家加入Apple AI研發團隊,雖然Apple對於併購Inductiv表示它們不會公開併購的目的與計畫,但鑒於Inductiv的機器學習工程師加入Siri部門,推測Apple將藉由Inductiv的AI資料清理Holoclean技術來幫助語音助理Siri的語音辨識模型做前期的資料清理,用以提升Siri的認知能力進而提升其資料搜尋品質。   財團法人資訊工業策進會 產業情報研究所(MIC)  張皓甯 產業分析師
Uptake:聚焦大型工業設備預測性維護的獨角獸
AI預測性維護將工廠設備管理從被動化為主動 以AI驅動的預測性維修是一種透過蒐集各種設備資訊來輔助設備維修、生產品質及設備監控等主動式設備管理的方式。隨著越來越多的工廠機器連網、感測器價格降低、快速增長的數據量以及大幅提高的運算能力,將AI預測性維護技術向前推展到達了新的水平,結合雲端、大數據與物聯網等技術,將來自機械設備端蒐集到的大規模數據轉化為有價值的分析與情報,整合資產維護系統(Asset Performance Management, APM)讓工廠營運管理者能夠即時監看設備狀態、預測設備衰減與損壞與零件更換需求等,以提高設備利用率、提升設備生產效率以及降低非預期停機的重大風險。預測性維修化被動轉為主動的工廠設備管理方式,成為數位轉型浪潮下備受矚目的新興市場。 Uptake切入重工業擁有全球最大工業資產故障數據庫 美國新創公司Uptake創立於2014年,替高價值的工業設備提供設備監管、維運及預測性維護,以工業AI分析平台將設備大量的數據轉化為有價值的情報,進而提高設備生產率、安全性與可靠度。Uptake於公司剛起步時在伊利諾州替各種行業提供動態數據分析與洞察,當時重型工業製造商Caterpillar的子公司,美國鐵路火車頭製造廠商Electro-Motive Diesel(EMD)也是Uptake的客戶之一(EMD為全球第二大火車頭製造商)。Uptake替EMD開發一套設備聯網及分析預測系統,此次合作十分成功,讓Uptake在第一筆訂單就獲得了數十億的美元。隨著與Caterpillar的合作Uptake的業務擴展到採礦、鐵路、航空與能源等高價值的重工業設備領域。截至目前Uptake共募集了2.18億美元,以估值達23億美元成為獨角獸。Uptake於2018年5月收購了預測性維護公司Asset Performance Technologies,成為全球擁有最大工業資產故障數據庫的公司,超過58,000多種故障模式可供設備進行維護預測。 透過三大引擎提供企業設備維護策略 Uptake主要的核心產品為「工業AI平台」,該平台大規模提取、清理和整理來自設備的所有類型工業數據,透過資料清理方法讓Uptake平台蒐集數據做為準確分析數據的基礎,並可以即時分析數據以了解設備的狀態及給予預測維護建議。工業AI 平台主要有三大功能引擎,分別為「Compass」、「Scout」以及「Radar」,分述如下: (一)Compass:如同指南針般提供企業設備維護策略引擎,透過可視化智慧儀表板呈現設備相關數據,可以按設備類型或工廠位置進行分類,讓營運管理者可以快速地篩選需要觀看的設備。Compass還提供資產設備和零件生命週期分析,透過平台可以準確地知道零組件壽命和預測故障時間,並且藉由資產設備分析來了解最常發生故障的零組件以及維修費用估算,讓管理者可以達到最佳成本控管。 (二)Scout:以資料清理後的數據為基礎,提供管理者或操作人員可自定義的規則與警報,無須撰寫程式碼,透過在介面設定簡單或多元條件的數值門檻,如果設備的運作達到設定的數值門檻便會觸發警報並傳送通知給管理者,用以監控設備運作。 (三)Radar:可將Uptake資產故障數據庫中,針對800多種設備類型,超過58,000種故障數據模組,故障預測模型可套用至客戶的設備上進行分析。Radar模組套用功能讓客戶無須重新累積數據訓練模型,便可直接找到對應的模型使用。 資料來源:MIC,2021年8月 圖1  Uptake 工業AI平台三大功能引擎 提取來自不同系統的數據加以分析預測 Uptake透過跟各大系統及軟體服務業者合作,使其平台能與客戶原本的資訊系統與感測器連接設備進行整合與介接,無須改變客戶的現有資訊系統就能夠提取來自不同系統的數據,目前與Uptake可以連接的軟體服務系統包括SAP、IBM Maximo、GEOTAB以及DocuSign等企業。Uptake將不同來源的數據統一整合為單一通語言,並導入到Uptake平台中加以分析應用,讓數據能發揮其最大價值與產生效益。 Uptake以自然語言處理技術進行資料清洗與修復,使數據保持其完整與正確性,以利後續以AI機器學習進行歷史與即時的設備數據分析和預測。將不同系統提取的數據分類及歸納成同一種語言,以進行模型訓練,並藉由其龐大的設備故障資料庫進行結合AI演算法建立模型,通過設備的數據顯示特徵對應故障會出現的數據特徵訓練出多模型,模型經過多次疊代以達到最佳化故障預測模型。 資料來源:MIC,2021年8月 圖2  Uptake 工業AI平台架構 建立可信任的AI與持續監管模型為企業重要課題 從德國首先提出的「工業4.0」到美國持續推動的「工業網際網路」與「先進製造」,以及中國的「中國製造2025」等國家級製造戰略,從戰略內容與因應方針顯示各國家對工業物聯網的重視。預測性維護是工業物聯網結合大數據和人工智慧的重要應用場景。 Uptake藉由與全球重工業設備製造大廠合作以及收購APM公司成為全球擁有最大資產故障數據庫的公司。Uptake以設備預測性維護為核心,將其產品拓展至各高價值的重工業設備,並將其分析需要維修的設備數據提供給用戶與設備製造原廠,不僅幫助用戶進行資產管理,同時提升了原廠設備的售後服務,形成了良性的產品循環。近年Uptake啟動了全球擴張策略,基於在美國的成功經驗,將其事業版圖從美國擴張至歐洲、亞洲等地。根據IoT Analytics於2019年6月的公開資料顯示,預測性維護解決方案的市場規模將從2018年的33億美元,增長至2024年的235億美元,年複合成長率為39%,表示此市場將持續性成長,未來將有更多企業採用預測性維護解決方案。   財團法人資訊工業策進會 產業情報研究所(MIC)  張皓甯 產業分析師
Fiddler:可解釋性的AI模型監控解決方案
管理模型為企業導入AI後的重要挑戰 從人工智慧的興起至今已逐漸廣泛應用於各產業當中,企業在AI支出呈現翻倍成長,根據2019年4月The Wall Street Journal報導顯示,企業在AI系統支出將從2019年的358億美元增長至2022年792億美元;研調顧問公司Mckinsey公開報告也提出,至2030年約有70%的公司會採用至少一項以上的人工智慧應用。雖然企業積極的在導入AI技術,但是對於機器學習的營運也面臨了重大挑戰。現今導入AI企業開始意識到,訓練模型和部署AI只是第一步驟,其後的管理模型、如何確保模型的可靠度(譬如模型數據是否產生飄移抑或模型是否因時間而衰退)以及確保模型無風險(有沒有偏見或歧視),並且模型可以隨著時間推移,這些都是導入AI後的重要營運挑戰。 美國新創公司Fiddler AI提供可解釋的AI模型監控平台,該解決方案將監控與可解釋性整合在一起,可以不間斷的監控模型性能,以保持模型的可靠度和驗證有無偏見,讓模型能夠依循法遵,解決廣泛的機器學習營運問題,從而節省團隊的時間和金錢成本。 資料來源:MIC,2021年7月 圖1 現今機器學習面臨的課題 Fiddler透過可解釋AI建立模型可信任與可理解 Fiddler成立於2018年,總部位於美國加州,創立宗旨為幫助企業都能夠解讀AI黑盒子,並為其客戶提供可信賴的AI體驗。Fiddler開發可解釋AI引擎,提供企業簡易的操作介面,理解機器學型模型,包含AI預測準則、分析AI決策行為以及管理AI,使AI符合規範並監控AI性能表現。透過可解釋AI平台讓企業組織、主管人員或資料科學家,均可透過簡易的操作介面,進行大規模地分析管理與部署機器學習模型,建立可信任且可理解的AI解決方案。2020年開始Fiddler獲得零售龍頭Amazon Alexa Fund的戰略性投資,Fiddler和Alexa基金會將合作推進AI的可解釋性,使企業對使用的AI系統具有完整而連續的可見性,以確保高性能、負責任和透明的AI解決方案。截至今Fiddler獲得的總募資金額為4,520萬美元,主要投資人為Amazon Alexa Fund、Bloomberg Beta與Lux Capital。 在傑出肯定上,2019年10月被選為「Gartner企業AI治理與道德回應的優秀供應商」。2020年入選2020 CB Insights Game changer,CB Insights將其列為透明可解釋性AI平台遊戲顛覆者,同年也獲得世界經濟論壇的選為科技先鋒的肯定,並於2021年入選CB Insights AI 100。Fiddler在2018到2020年間發表了多篇有關如何構建可以解釋的AI模型的研究論文,目前其AI平台已進入概念性驗證階段並且正在使用該研究中論述的方法來構建其產品。 整合可解釋性與監控反饋迴路,保持模型公平無偏見 Fiddler的核心產品「Explainable AI Engine」為可解釋性的AI監管平台。現今深度神經網路中面臨的問題在於黑盒子它輸出的決策難以被解釋,它可能會造成不同行業及不同人員的困擾,例如企業主或投資決策者是否可以信任AI決策;金融業中的客服人員如何向客戶解釋AI的投資或審核決策;醫療組織中醫生如何告知病患AI對於診斷的見解。除了難以解釋的問題,黑盒子同樣面臨難以監管的挑戰,例如系統維運人員如何監控AI模型或除錯(debug);資料科學家如何得知模型以達到最佳化;再者,監管或審查機關如何確認AI模型是合乎法遵或無偏見的。 Explainable AI Engine透過以下三種方式來解決客戶的問題,(一)了解AI決策原因:可解釋AI引擎能從任何平台導入數據和模型,以在Fiddler中進行解釋,還可以運用平台快速產出可視化圖表,並通用於團隊的電子郵件、雲端,兼容各種格式。由於是可解釋的AI決策,可以人為監控平台確保遵守法規。(二)分析AI行為:分析AI模型所做的每一次預測,驗證模型對每次輸入是否產生結果。此外可以比較訓練數據,測試數據和生產數據之間的分佈,也可以將數據分成幾組,並解釋各組之間的性能差異;(三)監控AI的性能:Fiddler AI引擎會監控模型的狀況使其保持高性能,也能追蹤異常值並發出警報,讓客戶能快速修復並重新訓練模型,警報可以使用平台New Alert的功能來有效的監控各種問題的詳細訊息和解決方法。 資料來源:MIC,2021年7月 圖2 Explainable AI Engine運作模式 建立可信任的AI與持續監管模型為企業重要課題 2018年5月25日歐盟正式實施了「一般資料保護規定」(General Data Protection Regulation, GDPR)號稱史上最嚴格個資保護法;2020年美國「加州消費者隱私保護法」(California Consumer Privacy Act, CCPA)也開始實施。GDPR其中第22條規定,歐洲人有權利得知對其生活中產生重大影響的自動化決策。歐盟GDPR與美國CCPA法遵皆要求AI涉及使用個人資料時需要具備隱私性(Privacy)、公平性(Fairness)、透明性(Transparency)以及可解釋性(Explainability)。 Fiddler Labs的可解釋的AI引擎幫助企業大規模分析、管理和部署機器學習模型,提供簡單操作介面,從企業的資料科學家到高層主管,任何人都可以了解他們的AI技術。在實際案例中,AI黑盒子的確造成企業面臨到是否可信任的質疑,像是根據路透社報導亞馬遜的 AI招募工具,在履歷篩選中有歧視女性的傾向;或是特斯拉的自駕功能車禍意外,也讓人們懷疑AI是否可以信任等。隨著各國日趨重視AI道德與治理等問題以及AI監管法規與倡議逐漸上路,企業如何打造可信任的AI並且持續監管模型視為企業在AI道路上的重要課題。 財團法人資訊工業策進會 產業情報研究所(MIC) 張皓甯 產業分析師
Kyndi:基於機器閱讀的可解釋AI審核平台
深度學習讓機器閱讀更擅長理解文章 近年來深度學習技術的迅速發展,機器閱讀理解(Machine Reading Comprehension, MRC)有了重大的進展,基於深度學習的機器閱讀理解模型,讓機器更擅長於理解文章的上下文語意,並顯著優於傳統機器模型。機器閱讀理解為自然語言處理的一個重要領域,透過機器閱讀文本(Text)進而理解並回應相關的問題,目標是利用人工智慧技術教導機器像人類一樣具有理解文章的能力。 儘管人工智慧實現了機器閱讀理解,但現今基於深度學習的機器閱讀解決方案仍面臨許多挑戰,如(一)對長篇文本理解有限:大多數的企業組織中有八成的資料都是非結構化文本,然而大多數AI難以有效地分析長篇文本並從中找到隱藏的資訊;(二)僅限關鍵字:許多AI解決方案只能搜索完全配對的單詞,無法辨識相關概念;(三)開發耗時:通常需要2到3個月來標記及下載大量資料來訓練系統,才能開發出閱讀自動化模型,無法對時間敏感的內容或資料庫較小的問題獲得觀點;(四)AI黑盒子:深度學習帶來的黑盒子問題造成分析結果無法被解釋,使得受監管的行業帶來重大的法律與財務風險。 資料來源:MIC,2021年6月 圖1 現今機器閱讀理解面臨課題 Kyndi透過自動化機器閱讀提高企業工作效率 Kyndi於2014年成立,總部位於美國加州,創立宗旨是協助知識工作者,讓他們每人每天的工作效率能夠提升100倍,目標客戶為政府單位、藥物開發商與金融服務業,目前第一大客戶為美國政府部門,對於美國政府的業務,提供可解釋與審核的AI系統以協助美國政府改變其公部門的業務流程。Kyndi基於自然語言的機器閱讀軟體(Reading Automation AI software),使用機器學習來簡化受監管的業務流程,優勢在於更迅速、更智慧與具可解釋性的分析所有長篇文本,讓用戶能更有效地掌握AI系統,檢驗判斷結果並提出合理解釋,並且提供股東或監管機構參考。 在傑出肯定上,2018年Kyndi入選「2018 CB Insights AI 100」並於2020年再度入選「2020 CB Insights AI 100」;2019年10月被選為「Gartner企業AI治理與道德回應的優秀供應商」。2020年入選2020 CB Insights Game changer,CB Insights將其列為透明可解釋性AI平台遊戲顛覆者;2021年Kyndi被世界經濟論壇評選為技術先鋒。這些殊榮肯定了Kyndi在機器閱讀理解與可解釋性AI平台的創新、指標性與影響力。 將大量複雜非結構文件中的數據資料快速結構化 Kyndi的產品是以機器閱讀理解為核心的「Kyndi自動化閱讀平台」(Reading Automation Engines),它以知識圖譜快速理解分析大量複雜的長篇文本,並且它的專利數據結構方式和演算方讓它的AI模型是具備可解釋性的。Kyndi自動化閱讀平台可自動執行人們以手動執行的一系列閱讀任務,包含掃描、略讀、精讀以及對閱讀內容進行優先排序。平台能夠加快閱讀過程,讓使用者能在大量文本中快速取得觀點,同時保持了類似於人類的解釋水平。 Kyndi自動化閱讀平台分為四大引擎,分別為發現引擎(Discovery Engine)、關聯引擎(Relevance Engine)、解釋引擎(Explanation Engine)和詞彙引擎(Lexicon Engines)。發現引擎用於處理第一階段的掃瞄與瀏覽動作,清除文本中的雜訊(如:不必要的格式、標點符號、頁碼或機密聲明文字等),以非監督式學習分類文檔,將一系列的非結構化文本經過辨識及分類找出關鍵字、片語或是自定義項目以了解重要內容並發現趨勢。其後將非結構化文本轉化為AI知識庫,其中包含有關聯的概念、主題和上下文關係、出現頻率等。 資料來源:MIC,2021年6月 圖2 Kyndi自動化閱讀平台 關聯引擎和解釋引擎主要是Kyndi的原型本體(Ontology)專利技術,原型本體分為概念相對性(Conceptual Relativity)和認知記憶(Cognitive Memory),概念相對性讓系統從資料中推論出的結構轉換為知識圖,在透過點與圖之間的雙向轉換用以解釋查找訊息。詞彙引擎可以讓Kyndi的平台辨識各行業或公司的專業術語,用戶可以自行創建專業術語或導入企業的專用詞典,讓Kyndi平台可以立即辨識該行業專用術語以加速產出結果與提高輸出品質。 資料來源:MIC,2021年6月 圖3 Kyndi自動化閱讀平台 機器閱讀朝模擬人類真實的閱讀情境與理解方向發展 隨著深度學習的進步,推進自然語言處理技術在各應用領域顯著的增長,機器閱讀理解可被視為自然語言處理領域中的重要基石,也是目前該研究領域的重點項目之一。然而,深度學習需要龐大的訓練資料、開發模型耗時以及黑盒子,讓基於深度學習的機器閱讀理解難以發揮的淋漓盡致,並且可能導致大量的時間與金錢耗費或是面臨嚴重的法律風險。 現今各行業,從金融服務到醫療健康再至政府機關,需要遵守法規和政策並且持續地保持合規性。Kyndi自動化閱讀平台以機器學習來簡化受監管行業的業務流程,並為企業和政府提供可審核的AI系統,Kyndi的優勢在於其專利技術讓訓練過程可以使用較少的資料完成,減輕在前期資料訓練負擔,並有助於減輕傳統深度學習方法可能引起的偏見。隨著自然語言的發展,越來越多研究朝向模擬人類真實的閱讀情境與理解方向發展,可解釋性的機器閱讀理解,若能直觀地呈現機器閱讀的過程與結果,是值得開發且關注的未來方向。 財團法人資訊工業策進會 產業情報研究所(MIC) 張皓甯 產業分析師