技術文章

工廠中72%的製造流程仍依賴大量密集的人力執行 隨著工業4.0在全球迅速推展，人工智慧、物聯網及大數據等技術進入製造產業，希望透過智慧製造與打造自動化工廠以提升企業營運效率進而加速企業的商業競爭力。然而現今產品變種變量的生產特性，產品循環快且生命週期縮短，難以藉由機器自動化設備來滿足快速製造的需求。根據新創公司Drishti與美國管顧公司AT Kearney聯合研究製造業工廠現況分析顯示，目前工廠中有72%的流程還是依賴大量密集人力執行並且在製造價值上有71%來自人力，機器仍舊難以完全取代人類的適應性與靈活性。 過去傳統工廠對於生產線的管理方式主要以「作業測定」為主，指的是在生產線人員的標準作業狀態下，以計時器記錄每項工序所需要的作業時間，以了解正常速度操作所需時間，使生產線各工序之間流動順暢、排除或減少錯誤流程以及安排合理的生產進度。然而傳統的作業測定方法在製造產線人員流程監控面臨了以下挑戰，（一）數據不完整：管理者難以準確且即時了解各工作站情況；（二）數據不可靠：管理者在旁監測記錄時可能影響員工當下表現；（三）一致性問題：不同管理者對同一任務可能測出不同結果；（四）難以查詢問題：產線出現異常時，難以追溯源頭或查詢耗時。鑒於上述面臨的挑戰若能借重科技幫助業者了解產線中過去發生了什麼事、現在發生了什麼事以及來未來可能會發生什麼事，將會是製造廠商的一大助力。 Drishti以AI動作辨識技術 連續測量與即時分析作業員狀態 改善產線工作流程 美國新創公司Drishti成立於2017年，開發可視化的AI平台以電腦視覺的動態影像分析技術用於製造業的生產線流程監控，藉此改善生產線的產量、質量及可追溯性，同時可用於強化人員培訓、部署或開發新方法來改善標準化工作流程。Drishti的整體解決方案包括「Drishti Trace工作影像資料庫」與「Drishti Flow生產流程監控與管理」兩大系統。 資料來源：Drishti，MIC整理，2021年12月　圖1  Drishti整體解決方案架構 Drishti Trace為基於Google雲端平台的工作影像資料庫，以簡易、非侵入式部署方式將攝影機架設在每個工作站點，即時錄製作業員操作影像，將工作影像匯聚成資料庫，資料庫的建置與數據累積約1到5週。Drishti Trace可以協助管理者全時段了解產線狀態，回答過去發生了什麼事情，主要功能為以下四項，（一）24/7全天候記錄：可遠端協作、傳輸與管理；（二）影片編輯與註解：提供業主可視化操作界面進行影像註釋、編碼與製作等；（三）工廠MES系統整合：可依產品序號進行影像搜尋、產線規劃與管理；（四）快速建置教學內容：製成員工培訓影片，影像可並排比較以識別非標準作法。 資料來源：Drishti，MIC整理，2021年12月 　圖2  Drishti Trace工作影像資料庫 Drishti Flow生產流程監控與管理是以Drishti Trace的工作影像數據為基礎，導入AI動態影像分析技術，可以連續測量生產線員工裝配動作、監控與管理。Drishti Flow的主要功能包括以下四項，（一）動作與步驟計時：可針對員工組裝步驟添加計時器，用以了解每個流程週期所花費的時間；（二）異常偏離值通報：來自每個站點的流程週期數據與異常值標記；上述兩個功能可以協助管理者即時知道現在產線發生了什麼事，而（三）週期趨勢分析：透過分析異常週期以識別流程或操作員困難點，改善並找出最佳工作流程；（四）跨站跨區統整：可跨地點與時區進行流程改進，此兩項能藉由AI全盤的分析了解工廠未來將會發生什麼事情。 資料來源：Drishti，MIC整理，2021年12月 　圖3  Drishti Flow生產流程監控與管理 專利情境訓練系統 準確找出流程異常值 Drishti的專利技術為情境訓練系統，以深度學習3D-CNN（Convolutional Neural Networks）動作識別技術鎖定人員手部與零組件動態，透過多層卷積與降連續圖層捕捉動態資料並轉換為特徵向量進行分類。3D-CNN動作識別技術可解決生產線上因組裝物品尺寸變化、不確定位置、攝影機被瞬間遮擋或視線範圍存在多個單位等問題，以達到全面性的動作識別。在動作識別轉換為特徵向量後，以長短期記憶模型LSTM將特徵向量與正在執行組裝過程進行比較，以公認的標準動作做為基準，並進行時間序列標示，由LSTM模型循環比較結果，找出流程週期的異常數值，進而達到正確動作與異常動作分析。 資料來源：Drishti，MIC整理，2021年12月 　圖4  Drishti Flow生產流程監控與管理 Drishti生產流程監控整體解決方案 最大化生產線價值 隨著科技進步迅速，各種智慧與電子產品發展快速需求量不斷攀升，產品走向多樣、精細且循環快速，產品製程仍需要仰賴大量的人力進行，也因此在生產線人員管理與監控為製造廠關心的議題。Drishti以AI深度學習3D-CNN動作辨識技術，分析生產線作業員的組裝流程及發現流程中的異常值立即通報，不僅能全天即時的監控產線，還可用於強化人員培訓或進行週期趨勢分析，用以開發新方法來改善標準化工作流程，最大化生產線價值。 目前Drishti主要客戶包括汽車製造大廠Denso、Ford、Hella以及電子產品大廠Flex、Honeywell等。根據Drishti的商轉案例顯示，Drishti已經成功地協助客戶在製造生產效率提高11%，不良率減少30%，廢棄元件減少15%。Drishti顯著提高產線生產力、效率和品質，並且以工作資料庫解決員工培訓的議題，成功解決工廠產線人員流程監控的痛點。此外，Drishti所開發的解決方案獲得研調機構多項肯定，包括2019年榮獲世界經濟論壇「2019年技術先鋒」、「2019 Gartner Cool Vendor」、2020年10月在Nvidia的人工智慧GTC大會上被評為北美人工智慧前五名的公司等，多項肯定顯示Drishti在技術與產品上扮演塑造該產業未來的重要角色。未來工業物聯網串連大數據與人工智慧的應用將迅速成長，工廠藉由人工智慧更高效地運行，加速企業數位轉型打造企業關鍵競爭力。 財團法人資訊工業策進會 產業情報研究所(MIC)　張皓甯 產業分析師

從醫療生技業看產業AI應用之未來發展 〈醫療生技業AI應用持續成長〉 為了應對Covid-19疫情所帶來的危機與挑戰，AI技術在醫療生技業的應用於Covid-19疫情期間顯著提升，各種AI技術的應用落地，改善了傳統的分析方法與決策品質，使得診斷、治療及預防等行動能更為精準有效，例如加速藥物和疫苗的開發、預測疫情傳播、輔助醫療照護及追蹤感染者症狀等。 在此背景之下，AI應用在醫療照護領域的市場預計也將快速成長。根據Allied Market Research的估算顯示，2020年AI應用在全球健康照護市場的價值約為82.3億美元，而到了2030年預計將成長至1944億美元，年複合成長率高達38.1%，顯示在醫療照護領域，AI應用的商機將會非常龐大且成長快速。 〈醫療生技業的AI應用技術〉 根據經濟部工業局AI產業實戰應用人才淬煉計畫的調查，醫療生技業廠商/院所中，有採用電腦視覺技術的廠商/院所占比達27.6%最多，為醫療生技業最主流的AI應用技術，其次依序為資料處理的22.0%和數據推理推論的14.6%。從本次調查結果可知，目前醫療生技業之AI應用仍以醫療影像處理最為成熟普遍，另外由於發展醫療AI應用需要做大量的醫療資料標記與前處理，所以在這過程中也有許多廠商/院所會應用AI技術來增加處理效率。               圖1       我國醫療生技業廠商於各AI技術之採用比例 資料來源：本研究整理。   整體而言，雖然AI在短期內仍無法取代醫師的臨床決策，但它可以做為改善臨床醫師決策的輔助工具。在資源有限的環境中，例如偏鄉地區，如果醫療資源不足，就可以考慮使用AI進行醫療決策評估，以應對資源匱乏環境的困境。然而，AI未來能否在醫療系統，甚至整個醫療生技產業中扮演更重要的角色，將取決於AI技術發展之外的許多影響因素，包括人們對AI技術的信任程度，以及法律、安全、倫理和風險等問題。 〈AI人才招募面臨挑戰〉 醫療生技業在AI人才招募上面臨著困難，許多廠商/院所招募時已不要求有AI相關應用經驗。對於醫療院所而言，研究助理的薪資很難留住AI人才，就算是正式職缺要留住資工背景的AI人才還是很困難，因為和外面業界的薪水還是有差距；就產業界而言，資訊業或高科技業的薪水，常高出醫療生技業許多，跟國外的薪資差距也很大，所以人才缺乏嚴重，尤其是生物資訊領域。除此之外資訊人才對生醫領域感到陌生也是另一個原因，現在做生技AI的資訊人才，多半是原本在資訊或AI產業的公司，因為和生技業合作，才跨足到生技AI領域，而非原本就投身到生技公司。 而人才不足對於產業導入AI應用這種高技術密集型的工作無疑是嚴重的影響，將會拖慢甚至遲滯產業導入AI應用的速度，觀察我國醫療生技業和資訊電子業推動AI應用的人才供需對比，以及其產業AI應用發展現狀，即可看出這之中存在著的結構性問題。 〈產業AI應用的代工化〉 目前國內AI應用的推動者主要可分為技術要素與資源要素兩個面向來看。AI新創企業和學研單位中AI實驗室這類型的單位較偏重技術要素，以研究和技術為本起家，再藉此發展產業合作或接案以創造商業價值。而資訊和電子產業的大廠在資源要素方面，擁有龐大資本可以吸引人才建立研發能量；在技術要素方面，又因本業與AI應用所需之軟硬體技術較為接近而具有優勢，所以不論是推動自身本業所需之AI應用，或是跨足其他領域的AI應用都有能量做到。例如目前國內的電子大廠對醫療AI領域的投資，就都相較醫療生技業本身還要有規模。 而在就業市場上AI人才供不應求的情況下，產業導入AI應用的速度與順序，就將主要取決於數據品質與商業價值兩項要素。由於一般AI應用的導入都是從自身所屬產業或研究領域開始，所以自身擁有數據的品質與數量，就會影響到導入AI應用的可行性，如果沒有符合需求的數據，不論投入資源再多，應用的商業價值再高，也難以在短期開發出可落地的應用；相對地，商業價值則是自由市場中技術與資源的吸引力，如果在產業導入AI應用能產生夠高的商業價值，即使產業本身缺乏相對應的技術與資源，也會吸引其他擁有技術與資源的產業跨域投入其中，就如同目前國內電子大廠競相投入醫療AI領域的現況一樣。 然而這種結構卻會造成AI人才集中在擁有資源的產業或廠商，而非導入AI應用能產生足夠商業價值的產業，使得產業AI應用走向外包化，以外包合作專案為主要的AI導入方式，內部的員工在AI應用導入的合作中會主要擔任類似專案經理的角色，技術及落地的部分則主要由外部合作單位負責，以精簡人力需求。目前在我國醫療生技業的AI應用發展，就已經觀察到這種情形。 若我國產業AI發展未來走向上述的外包化結構，則對於不同產業AI人才培育的需求差異將更為明顯，因為不同產業間已在AI應用的競賽中被分為了技術與資源的供給方與需求方，供給方的培訓需求將圍繞在讓AI應用落地的程式設計、演算法研發和資料庫相關技能，而需求方的培訓需求將偏向基礎的AI概論就已足夠。雖然這種結構可能是自由市場運作的自然均衡結果，但長期下來完全自由市場化的AI應用發展，對於導入AI應用的商業價值相對較低的產業，是否會產生「AI貧富差距」擴大，進而衍生整體產業發展均衡度的問題，或是降低AI產業發展的多元性、限制AI新創生存空間的可能，都需要持續的觀察與評估，以判斷是否有政策介入提供經濟誘因的必要，抑或是透過積極增加AI人才的培育和訓練，來均衡勞動市場的供需，以減輕AI應用發展能量過度集中的現象。   財團法人資訊工業策進會∕數位教育研究所∕數位轉型訓練中心 盧士彧 副分析師

全球AI發展趨勢與人才培育 〈AI應用不受疫情影響持續成長〉 從2020年到2021年，由於Covid-19疫情的迅速蔓延，使得全球經濟皆受到嚴重的衝擊。根據世界銀行的統計，2020年全球GDP成長率為-3.4%，跌幅更勝2009年全球金融海嘯影響下的-1.3%，可見其對全球經濟影響之鉅。 然而在疫情的衝擊下，AI應用發展的成長速度卻與總體經濟走勢背道而馳，依然維持快速成長的趨勢。根據Statista的統計顯示，2020年全球AI市場規模估計為225.9億美元，相較2019年的146.9億美元成長了53.8%；2021年全球AI市場則預估將成長54.4%，達到348.7億美元。在疫情之中， AI應用的導入速度不只沒有降低，還被大量使用在醫療保健系統之中，以應付疫情所帶來的嚴峻挑戰，用來提高診斷、治療和預測的效率和準確性。除了醫療生技產業外，其他產業如零售、製造、交通和物流等，也都在疫情期間積極投資AI技術，以應對因疫情而波動的供需市場。因此，全球AI應用的發展在疫情期間仍維持快速成長，而這股成長趨勢也預計將延續到後疫情時代。 全球各產業都在積極地導入AI應用，以改善生產流程、業務營運和客戶體驗等。中小型企業雖然本身資源相對不足，但也在透過開源技術與越來越多平台化、系統化的AI資源來投入相關應用，希望能以較低的成本導入AI技術，優化其產品和服務。而在其他技術層面，5G、自動化、雲端運算、大數據資料庫等應用的持續普及，也預計將成為推動AI技術需求持續成長的技術因素。除此之外，日漸增長的資安需求也有AI應用的空間，AI在及時識別資安威脅的潛力，將可能會在未來的資安解決方案中占有重要角色。 〈全球創投投資AI領域屢創新高〉 觀察對未來趨勢嗅覺最為敏銳的創投業界動向，也可看出未來AI應用發展趨勢的端倪。根據OECD的統計，全球創投投資AI金額自2012年以來每年持續成長，在2020年已達到800億美元的規模，可見創投業界對於AI應用未來發展的投入和看好度是與時俱增。      圖1       2012年至2020年全球創投投資AI金額(百萬美元) 資料來源：OECD AI Policy Observatory，本研究整理。   而從創投業界投資AI的產業領域來看，目前以自動駕駛領域最為熱門，2020年全球創投投資在自動駕駛領域AI的金額將近200億美元，我國也有不少廠商在相關供應鏈中扮演重要角色，例如影像感測器和半導體等產業；其次為2020年全球創投投資金額翻倍成長至約130億美元的醫藥生技業AI，可見其成長性和未來看好度之備受青睞，我國因同時於醫療及資通訊產業擁有優勢，所以在醫藥生技業AI領域也具有獨特的先天發展優勢，目前國內也有許多電子大廠及醫療院所已積極投入相關領域之研發；社群媒體行銷、AI相關硬體應用和金融保險服務等領域的投資金額則依序排列其後。 圖2       2012年至2020年全球創投投資各產業AI金額(百萬美元) 資料來源：OECD AI Policy Observatory，本研究整理。   〈AI新時代的勞動市場結構轉變〉 AI應用的發展與普及，不只影響產業的運作型態，也使得產業對人才的需求跟著轉變，長遠來看，甚至整體勞動市場的供需均衡都將因AI應用的發展而產生結構性的轉變。 目前在各產業中依然存在著比例不一的工作，性質偏向規則固定且重複性高，而未來隨著AI應用的逐漸普及，將導致工作角色和技能需求的實質變化，讓員工專注於非重複性的任務，或是更高價值的工作，改善整體產業的營運和決策。 然而這樣的影響對整體勞動市場結構的未來發展，卻存在著不同的影響可能。較為負面的看法認為，人工將在很大程度上被AI和機器人所取代，人們將需要競爭剩下少數必需要人類才能進行的工作，並將隨之引發許多社會問題；正面的看法認為，AI技術就像過去人類文明發展史中的其他新技術一樣，將創造出比它們淘汰掉的還要更多的工作機會，並產生需要新技能和不同工作方式的新職業。 不論如何，在未來AI時代的人才培育政策都需要專注於提升勞工的數位化相關技能，以避免遭到取代，因為AI在產業中的應用角色並不完全只是為了降低勞動力成本，專注於讓勞工有能力能從事更高價值的工作，將能有效降低AI普及化所帶來的衝擊，甚至如果能讓勞工具備發展AI應用所需的技能，反而能開拓更多的工作機會，這樣的趨勢在近幾年已開始能在就業市場被觀察到。 〈迎向新時代的AI人才〉 根據OECD與LinkedIn合作的統計結果顯示，在2020年底許多主要國家中擁有AI技能的人才，於就業市場上被聘用的速度相較2017年初(標準化為1以方便計算倍率)已經大幅提升，該倍率在印度已達到2.8倍，在美國、德國和澳洲也都達到2倍以上，中國與日本的速度差異則相對較不明顯。                                         圖3       各國AI人才受雇速度比較 OECD AI Policy Observatory，本研究整理。   AI人才的需求正隨著AI應用的成熟變得更加急迫，而隨著AI應用的越發普及，未來我們也將看到AI相關的新型態職缺開始出現。但最終回歸基本，在即將到來的AI時代，不論何種產業的人才都需要強化他們的數位技能，以與AI技術相合作。因此，AI時代的人才培育方向，將分為AI人才的技能培訓和一般產業人才的數位化技能養成兩個方向，AI人才的技能將視需要涉及程式設計、演算法、資料庫、系統整合和專業管理等領域之能力，並以創造AI應用產品為目標；一般產業人才則需要擁有基本的數位化及資料處理相關技能，並熟悉AI的基本概論，以在需要時和AI應用技術相協作，達到相輔相成的效果。 在未來的AI新時代，全球AI應用領域的發展仍會維持百花齊放的趨勢，產業AI化將有助於生產效率及服務品質的提升，成為產業的成長助力。而具有較高商業價值、剛性需求或AI應用較容易商品化的產業領域，則將會在市場機制的運作之下，自然而然成為導入AI應用的領先產業。不論是企圖踏入AI領域的人才，或是一般產業的人才，都需要順應AI時代的變革，針對自身技能做出強化甚至轉型。不論AI未來會對就業市場結構產生何種影響，改變已正在發生，而人才唯有適應改變，方能生存。   財團法人資訊工業策進會∕數位教育研究所∕數位轉型訓練中心 盧士彧 副分析師

深度學習智慧影像分析於商用領域落地 隨著商用規格邊緣運算裝置與人工智慧逐漸落地商轉，以深度學習作為智慧視覺影像辨識應用日趨廣泛，像是人臉偵測辨識、動態物體識別與物體追蹤等，可應於安防監控系統、交通車輛辨識、零售店顧客行為偵測分析與醫療照護病患狀態跌倒偵測等解決不同產業問題。讓原本要透過人力監控耗時耗力的工作項目，藉由人工智慧技術可以更以更快速精準的識別、分析並且可能進一步的做到預測。 然而在處理這些動態影像時也面臨了一些挑戰，像是影像處理所需要的運算資源高，相對需花費的軟硬體成本也會提高，導入時須兼顧成本與效能。再者智慧影像分析的落地，在AI系統部署、介接與整合上須考量多樣化的硬體平台、影像管理系統相容性及資訊服務整合。因此業者在導入智慧影像分析系統時，須因應各種場域需求且具備快速導入、易於複製與簡易維護運作的特性。在技術上若企業需要自行建置智慧影像分析技術，有一定的開發技術門檻，要達到商用成熟度與精準分析，需要仰賴大量數據持續訓練模型，企業自行開發不僅費時且需投入高額費用。 Orions Systems基於人機協作混合AI視覺系統 美國新創公司Orions Systems成立於2012年，開發基於演算法和人類認知（Human Cognition）的大型混合AI視覺系統Orions AI CITY，使公家機關和私人企業可以收集分析影片和圖像內容中的高價值資料，其創立宗旨為將人類認知與AI結合，創立將影像資訊轉化為具體的見解和行動專業系統，從而帶來更大的商機、更健康的環境和更安全的世界。 Orions Systems是由數位媒體行業先驅Nils Lahr創立，Nils Lahr專注於電腦視覺、數位媒體以及大數據解決方案的早期創投家、顧問與發明家，在數位媒體、資料管理與分析方面擁有數十項專利技術。曾於CNNfn金融新聞頻道工作，建立數位工作室並創建了第一台電視自動股票報價器，離開CNNfn後Nils Lahr曾任職於VXtreme公司，並開發了串流媒體解決方案，後來該公司被微軟收購（現為NetShow是微軟最初用於Internet網絡廣播的框架）對於Windows Media Player和Mpeg4的開發至關重要。1996年Nils Lahr加入微軟擔任Windows媒體部門的聯合創始人以及微軟高階開發人員約6年。曾擔任Synergy Sports Technology的聯合創辦人兼CTO兼投資人15年，提供專業的籃球和棒球影片分析，提高對運動比賽的洞察力以供教練使用，Synergy已在2019年12月被Atrium Sports併購。2020年7月微軟以未公開金額收購Orions Systems，Nils Lahr再度回歸微軟擔任微軟的合夥人與架構師。 運用深度學習分析即時影像並轉化為精準資訊流 Orions Systems的產品為「AI City平台」，集合「Orions VMS」（Video Management System）影像管理系統、「Orions Crowd」群眾和「Orions AI」機器學習所組成的解決方案，包含基礎架構和工具，讓非專業的工程人員或開發者也可以快速導入AI系統，透過深度學習分析即時影像轉化為精準資訊流與情報，讓使用者能從其數據中獲取更多價值。AI City平台的運作流程為先蒐集特定產業的影像資料，以機器學習辨識及分析動態影片，將分析的影片進行分類及人機協作的混合工作流程，篩選大量非結構化數據轉化為有價值資訊，最後以可視化的介面提供使用者判讀。   資料來源：MIC，2021年11月　圖1  AI City平台運作流程 AI City平台為結合人類認知與電腦視覺解決大規模即時影像分析，其中的「Orions VMS」影像管理系統提供強大的影像管理功能，可對影像進行擷取、管理、存儲和訪問影像，Orions VMS可作為獨立產品，也可作為AI CITY的一部分進行部署。「Orions Crowd」為眾包服務，可組建1至1000個團隊進行影像和圖像標記以及資料輸入。Orions Crowd提供快速、有效和可擴展的方式，利用分佈式人類認知來標記影像進行與機器學習的異步工作，藉由來回共享數據與循環，透過人類標註能幫助機器學習更加精準。「Orions AI」為基於雲的電腦視覺系統可大規模地進行即時影像分析，並將運算結果上傳到雲端，提供靈活的可擴展性來滿足任何任務的需求，可解決邊緣到雲端的大規模影片資料需求。 AI City平台的後端模型訓練過程為，第一步先由一組小團隊就部分影音片段進行人工標記與評論；第二步訓練模型並自動判斷，以AI學習受標記的影音片段並學習辨識場景中的變化；第三步由VMS提供AI更多的影片以訓練模型；第四步由人力驗證模型準確性並予以反饋增強模型；最後一步機器學習持續循環訓練直到Orions AI達到準確水平。 資料來源：MIC，2021年11月　圖2  AI City平台後端模型訓練過程 Orions Systems增添微軟雲端商務產品豐富與多樣性 Orions Systems 的創辦人兼執行長Nils Lahr擁有在數位影音領域擁有許多專利與創新技術。其開發的體育賽事動態分析技術就是Orions Systems的核心技術，以電腦視覺用於分析動態影像，在過去用於體育賽事動態分析技術已獲得NBA與EA Sports合作。Nils Lahr將此技術更拓展至各領域，如車流分析、車牌辨識以及人流分析等，並透過人機協作讓此模型更加準確。微軟宣收購Orions Systems後，宣佈Orions Systems將整合至Microsoft Dynamic 365雲端商務產品中，用以強化Dynamics 365 Connected Store零售及電子商務方案及Power Platfrm，協助零售業者或其他中小型企業不用機器學習背景也能自行建立與訓練AI電腦視覺模型，像是零售業可運用Orions Systems的動態影像分析技術，分析店內的人流、顧客行為作為商品擺設依據或觀察分析顧客喜好度等。Orions Systems的整合勢必會讓微軟的雲端商品服務更為豐富與出色。 財團法人資訊工業策進會 產業情報研究所(MIC)　張皓甯 產業分析師

使用者以圖像社群網站來尋找產品與靈感 近年來網路搜尋引擎與社群平台成為人們生活中的重要一環，許多民眾在社群上分享居家裝潢與產品介紹，也形成了各種眾包圖像網站，可以讓使用者利用該平台分享個人創意設計、室內居家布置或產品圖片等，如美國受歡迎的Pinterest為圖片分享類的社群網站或是有關建築、室內設計和裝飾的Houzz網站，讓數以百萬的民眾以圖像社群網站來尋找產品與靈感。 然而這些受歡迎的圖像網站在搜尋上面臨了一些挑戰，以Houzz網站來說，裡面的圖像就超過7百萬張的龐大數量，如何在這龐大的圖像資料庫中找到使用者需要的資訊，譬如商品外觀很難透過基於文字的搜索來表達、應該甚麼關鍵字來搜尋才精準或檢索的分類項目難以篩選等。其次是許多分享的圖片中，分享者並不一定會特別標註此產品的用途或是可以在哪裡購買等相關資訊，因此如果可以藉由自動化的以圖搜圖功能，找出產品的購資訊，而不用單靠分享者人力一一回答，也能成為加強用戶體驗的方式。再者使用者從購買產品的網站找到喜愛的產品後，如果能提供產品的反向搜尋，找到這些產品該如何使用、裝飾或擺放，也是現代人希望能夠藉由搜尋引擎或圖像網站能獲得的資訊。 GrokStyle以AI視覺搜尋鏈結線上零售購物 美國新創公司GrokStyle成立於2016年，為結合人工智慧以電腦視覺搜尋連結線上零售購物的AI公司，希望藉由AI視覺搜尋技術創造全新的購物體驗。GrokStyle 由Sean Bell與Kavita Bala共同創辦，Kavita Bala為Sean Bell在康乃爾大學的指導教授，他們在2015年美國電腦協會電腦圖形專業組組織的電腦圖形學頂級年度會議SIGGRAPH上發表了深度學習卷積神經網絡視覺相似度模型，此為奠定GrokStyle的核心技術，其後兩人由康乃爾大學育成後出來創立GrokStyle。 GrokStyle在2016年5月參與LDV Vision Summit，贏得企業電腦視覺挑戰賽（Entrepreneurial Computer Vision Challenge, ECVC）獲勝者，得以在參與此電腦視覺高峰會的企業管理者、風險資本家及招聘公司中展示他們的產品與AI技術，也藉此打響了GrokStyle在電腦視覺相似性搜尋技術。2017年2月GrokStyle發表其視覺搜尋技術進展到可以準確地辨識使用者拍攝相片的家具，進而找到使用者想購買的產品網站。在發布其技術後GrokStyle在當年4月獲得了Krishna Bharat等7家投資者共180萬美元的種子融資，8月入選2017年度的「CB Insights AI 100」。2018年5月GrokStyle與全球最大傢具零售業者IKEA合作，將其視覺搜尋功能加入IKEA的Place AR應用程式中。2018年5月GrokStyle從美國國家科學基金會（National Science Foundation）獲得了75萬美元的贈款作為小型企業創新研究（SBIR）。2019年2月Facebook以未公開金額收購GrokStyle，同時延攬該公司的團隊成員加入Facebook，GrokStyle的CEO Sean Bel現今擔任Facebook AI研究團隊產品辨識組的研究科學家與技術經理。 以AI視覺搜尋簡化選購程序 GrokStyle產品為可以識別圖片中的商品對象的應用程式「GrokStyle App」，用戶可以使用該應用程式拍攝傢俱或物品的照或是直接上傳之前拍攝過的圖片後，GrokStyle應用程式基於深度學習技術來學習產品之間的視覺相似性，從而幫助用戶搜尋到想要的商品以及提供品牌及類似產品等相關信息，幫助用戶在線上即可進行家具選購。GrokStyle應用程式提供兩大方向的應用，第一種類型是給特定區域的圖像，找出與這個區域中包含物品最相似的其他物品，可以解決的問題是人們常常會在圖像網站詢問「我很喜歡這張圖片中的檯燈，哪裡可以買到相似的產品？」，GrokStyle便可透過其AI視覺技術搜尋找到資料庫中商品購買資訊；第二種問題是可以解決的問題是「這張椅子可以擺放房間的哪裡？如何在家裡使用它？」GrokStyle應用程式就會提供商品使用方式、居家擺飾或室內設計圖片等。 資料來源：MIC，2021年10月　　圖1  GrokStyle應用程式操作情境 GrokStyle一直企圖打入傢俱與室內設計市場，其第一個大型合作夥伴是IKEA，IKEA有一款名為Place AR的擴增實境應用程式，該程式將GrokStyle的點對點搜尋功能（point-and-search）加入Place AR中，用戶可以照下IKEA型錄中的室內擺設圖片後該程式就會出現產品的販售價錢與尺寸等資訊，並且以擴增實境技術讓使用者可以真實模擬傢俱擺放在家中的真實樣貌。 資料來源：MIC，2021年10月　　圖2  GrokStyle與IKEA合作的Place AR應用程式 深度學習卷積神經網絡視覺相似度模型 　　GrokStyle的核心技術為深度學習卷積神經網路視覺相似度模型，該模型使用Siamese Network經由數百萬種產品眾包資料樣本中進行成對圖像深度學習訓練。Siamese網路由兩個對稱的神經網路組成，它們共享相同的權重和體系結構，經由成對學習加速模型訓練。在不同照明狀態、物品之間的遮擋、各種拍照角度都可能影響最終的反饋結果。因此高強度的深度學習需要相當大量的圖片，幫助機器學習判斷不同家居物品。 資料來源：MIC，2021年10月　　圖3  深度學習卷積神經網路視覺相似度模型 Facebook借助GrokStyle技術提升視覺搜索體驗 GrokStyle開發視覺搜尋技術並將其商業化，具有廣泛的影響與商業潛力，在許多市場如居家裝飾、室內設計或品牌時尚等領域的圖像網站中，客戶尋求的產品具有獨特的視覺外觀，而這些外觀很難以文字表達搜索。GrokStyle為這些市場開發視覺搜索工具，將產品可能具有不同的背景，尺寸，方向或燈光照明的照片或是照片場景中的雜物可能會影像到產品圖像辨識。GrokStyle的產品分類法以支持廣泛的客戶和產品類型；半自動檢測場景圖像中的產品，以放大到大型照片庫中；完善訓練的模型進行細粒度匹配，以滿足客戶需求。GrokStyle的深度學習卷積神經網路視覺相似度技術大幅提高了圖像搜尋的準確性。 Facebook在2018年來加強在人工智慧及電腦視覺技術的投資力道，從2018年至2020年共收購了9家AI新創公司，對於GrokStyle的收購，Facebook發言人表示「基本的概念與想法是，讓用戶能夠在使用配對技術尋找傢俱或燈飾等物品，從圖像資料庫中找到相似的圖象」。預期GrokStyle的技術將應用在Facebook旗下Marketplace拍賣市集商品銷售平台，讓使用者透過手機拍攝實際物件後，即可快速搜尋相似物品，建立更良好的視覺搜索體驗。     財團法人資訊工業策進會 產業情報研究所(MIC)　張皓甯 產業分析師