跳到主要內容
 

技術論壇

主題:如果提供影像辨識的訓練資料不足,AI電腦視覺技術是不是就派不上用場了?

2019/05/29SeanKai Pa

3477 14 0


電腦視覺類 電腦視覺Deep Learning

目前深度學習很火,從醫療、零售、倉儲、工業到監控等,好像各種影像辨識都能用到,但往往在一個地方卡關,那就是沒有足夠大量且有代表性的資料提供"訓練",有沒有可能用少量資料來達成好的辨識效果呢?


目前是有標榜一些演算或處理過程可以降低訓練樣本的需求量! 但這其實會有些技巧, 好比POS機要辨識特定商品前, 能根據商品的顏色、外型, 排除其他不相干的, 這樣就可以達到一樣所要的辨識效果, 可是只需要較少量的訓練樣本了

laisan86 2019/05/29 0


14則留言

2019/05/29allen chen

0


解決訓練資料不足的方法還有一招是遷移學習(Transfer Learning),

說穿了就是老手將經驗值轉化成深度學習中神經網路所需要的權重資訊,

也就能把已訓練好的模型遷移到其他的神經網絡中

就不需要從零開始訓練一個神經網絡了 。

不過,遷移學習並非萬靈丹,只有在「適當」的情況下才有可能實現就是了。

 


2019/05/29omnixri

0


在傳統電腦視覺中,多半採領域專家定多項規則來提取特定特徵(如邊界、色彩、形狀、面積等),所以不需太多影像樣本就能達到不錯的檢出良率,面對不曾出現過的影像,只要符合規則就可適當的分類。

在深度學習領域中,資料集的建立一直是個大麻煩,因為要有極大的數量及多樣性,在影像分類領域中,常見解決方案是用資料擴增法來解決一部份問題。假設只有一百張已標註影像,透過將影像適當隨機縮放、位移、旋轉、扭曲、調整亮度、對比、色彩、模糊等手法就可輕易增加十倍以上,可解決數量問題,但多樣性則不易滿足。

若使用對抗生成網路(GAN)去生成看起來很相似的樣本來滿足多樣性問題,還是會遇到沒有足夠多的樣本根本無法正確訓練出GAN所需的權重,導致生成出一堆很奇怪的樣本。就像雞生蛋、蛋生雞問題,沒有正確的訓練GAN,就沒有看起來正確(有效)的樣本。另外為滿足足夠的樣本數,GAN訓練過程(時間)太過冗長又是另一項問題。

至於遷移學習則是目前較多人採用的解決方案,對於自然界影像較容易達成,主要是因為多半採用ImageNet, COCO之類的巨量數據產生的,所以較易達成只有幾張訓練樣本就能訓練出不錯的結果。但是如果用在工廠或特定領域,則上述這些資料集較少這些影像特徵,訓練出來結果可能就不盡人意,還是得乖乖收集夠多的影像重新訓練。

 

我認同 omnixri 的回答,在樣本數不足夠的情況下,使用GAN學習到的可能是樣本的分布,而不是真正(母體)的分布。換句話說,在小樣本下,GAN生成的資料是否能代表整個母體,抑或GAN只是重現了樣本的特徵,這是需要嚴肅考慮的問題。

hcygeorge 2019/06/13 0



2019/05/29omnixri

0


影像分類、物件偵測勉強還可用資料擴增或對抗生成網路或遷移學習方法解決,但到了語義分割(像素級分類)或實例分割時,上述方法就不管用了,因為難以同步產生標註資訊,就無法訓練,要改以其它手段來完成。

以自駕車領域來說,很難一開始就叫一部車到街上轉一圈,拍了一堆影片後再回頭叫人逐一標註那些是車、道路、行人、路標等等,因為一秒有三十張影像,沒人可以一張一張標註,於是就有人以3D建模貼圖方式建立一個虛擬城市,有人有車還會動,再讓虛擬小車在街上跑,此時不僅取得足夠數量影像更能取得正確影像語義分割標註資訊。更可加入白天、晚上、風吹雨打等特殊場景,如此就有更多樣性樣本,待訓練到一定程度,再讓車子開到實際場域,再反過來收集真實世界影像比對推論結果,並修正成為新的訓練集資訊,那反複多次後就能得到理想數據集供其它模型使用。

 

 


2019/05/29omnixri

0


在POS機視覺自動結帳系統中,較麻煩的地方是可能有數千種商品要上架,須取像進行訓練,若是盒子或罐子(圓筒)類的商品可能還好辦,掃描六面大致上就可以,但遇到像洋芋片或不規則形狀的商品就較麻煩了,因為擺放方式難以確認,有些視角還有遮蔽或陰影問題,此時就須從多視角取像建立樣本,更誇張一點有些還要動用機器手臂裝上攝影機自動拍攝多個固定視角,或者反過來機器手臂抓著商品翻轉各種角度拍照,如此才能建立足夠的資料集進行訓練。

另外還有一個更麻煩的地方,每加入一樣新商品整個資料集就要重新訓練,對於商家太不方便,較可能作法是要一口氣收集數十種新商品,一次建立資料再進行訓練,才不會浪費太多時間。目前台灣廠商創意引晴(VISCOVERY)有推出類似產品,可參考一下 https://www.viscovery.com/solution.php?id=1

今年Computex 新漢智能(Nexcobot)亦有推出類似商品

 


2019/05/30jiajheng.yeh

0


其實若是想訓練人臉辨識、道路辨識、物體辨識等應用,在ImageNet這個世界最大的開源影像資料庫中,已提供數千萬張經人工標註的影像和2萬2千個類別,可善加利用這些資料來打造自己需要的影像辨識模型。

 

ImageNet, COCO還不夠嗎? 這裡有個網站(https://deeplearning4j.org/cn/opendata)收錄了上百個免費資料集,包括自然圖像、地理空間、人工數據、臉部圖像、視頻、文本、問答、情感、推薦和評價、網絡與圖像、語音、符號化音樂、衛生與生物、政府與統計還有其它。

omnixri 2019/05/30 0



2019/05/30yuhsuan

0


在數據分析的世界,有句名言是"garbage in garbage out"!
十多年前曾火熱過的資料探勘(Data Mining)就因探勘不出什麼有價值的資料而歸於平淡~
現在的大數據、Deep Learning同樣遭遇類似的狀況!!!
有用又大量的資料難求啊!

 

確實如此,錯誤的資料集,或標註品質不佳的資料集都會造成訓練正確率下降或很難收歛。光靠開源免費資料集面對落地(實務)問題有時還是不夠,非得乖乖自己收集、清洗、標註才能有較好訓練結果。所以不是有巨量資料就好,而是要有極佳標註品質的巨量資料才是王道。

omnixri 2019/05/30 0


同意,不論是在工廠或醫院,哪一家不是對自家的資料保護的密不透風,想要他們拿出來做訓練學習,門都沒有!不過AIGO的解題競賽倒是個機會,看到不少單位還是想找AI專家合作,是個不錯的管道(據了解去年不少AI新創因此打入產業做實證應用)。

j;6u045j6 2019/05/31 0



2019/06/03omnixri

0


想要更多的視覺數據集嗎?哥倫比亞大學博士馮捷在 2017 年 8 月創建了一個專用於搜索計算機視覺數據集和代碼/模型的搜索引擎 VisualData。目前共有281種包括圖像分類、目標檢測、圖像搜索、3D 重建等,有興趣的朋友可以參考下列網址https://www.visualdata.io/

更多說明可參考 "https://bangqu.com/531535.html"

 

 


2019/06/04chuckmails

0


在資料不夠多、運算資源、時間有限的狀況下,轉移學習(Transfer learning)是很有效的方式。它能透過已經訓練好的模型,讓資料、運算的需求都大幅降低。概念上就像是站在巨人的肩膀一樣,使用訓練好的模型改裝,把pre-trained model中的最後一層改掉嫁入新的一層,用有限的資料訓練最後一層的參數。此外,資料還可以利用資料擴增(Datac augumentation)的方法倍增訓練資料,這個概念是透過影像處理的方法把照片色調、角度、對比改變,讓資料的多樣性增加,提高訓練準確度。

 


2019/06/20june625678

0


這幾天看到台灣爆發秋行軍蟲疫情的新聞
有研究者指出「台灣在今年六月八日之前,無論是從事田間監測的學者或是生物相調查的團隊,抑或是受理農民送來的植物、昆蟲樣本,進行診斷鑑定服務的各大學和各地農業改良場,皆未發現任何秋行軍蟲蹤跡,各地的蛾科性費洛蒙誘捕器中也沒有捕獲秋行軍成蟲」
感覺也能加入這個機器學習辨識樣本的討論呢!!
當然蟲害入侵有很多外在因素需要考量,
但在辨識作業方面,如果有足夠的樣本讓機器訓練,提升辨識的精準度,應能及早發現,協助防治作業。

 

目前較困難的正是有效樣本不足,人類可輕易提取特徵(比方四個點),但要讓機器學習就至少有個幾千張照片,還要有長的很像但不是秋行軍蟲的樣本,才能得到較好的訓練成果。所以下次遇到時不要急著消滅它,要多拍一些照片提供給研究單位,這樣才能提昇機器(APP)辨識能力。

omnixri 2019/06/21 0



2019/06/21miya850604

0


>>

 

我想推薦一本書~叫做小數據獵人。

這本書有趣的地方是他打破了我們對於「大數據」的刻板印象,

根據我從事行銷的朋友說法,

實際上的狀況是從大數據裡撈出結果很遠、很難,但從小數據裡抓點是容易且這個時代裡不怎麼被關注到的顯學!!

 

畢竟科技再怎麼發達,終究必須回歸到人的本質呀。

 

 

雖然大家都被媒體誤導有大數據就有人工智慧,殊不知目前最紅的深度學習只是在大數據中硬找出一個最佳(非線性)函數罷了,當遇到資料集過於偏頗時,自然就難以得到良好的推論結果。傳統的大數據挖礦多半是利用統計學技巧找出分群模型,解決人類很難從巨量數據中找出資料規律。而人類多半是走非監督學習,是以特徵做為分析問題,所以只需很少的資料,甚至一張影像、一段音頻就能學習並有不錯的推論結果,要達到如此程度的(強)人工智慧,可能還有好長一段路要走。 這本「小數據獵人」中提到「透過小數據觀察、結合大數據分析」,才能找到新的行銷著力點,我想這正是未來人工智慧要努力的方向。

omnixri 2019/06/21 0



2019/06/28eva6932458

0


在一篇關於魚類辨識的文章中看到一段文字:「就算蒐集到合適的照片,照片中魚類的名稱也讓研究團隊很傷腦筋,陳慶瀚表示,研究團隊中多是資訊工程背景,辨識魚種的知識不足,或是「有些魚有南部、北部的名稱;研究人員也多知道學名,而不識俗名。」研究團隊後來找上海產料理店老闆,協助提供部分魚市場未販賣的魚種照片,並幫忙辨識魚種的名稱。」

除了有訓練資料不足的問題外,開發人員對於該產業的了解程度也是影像辨識過程中的一道關卡!

文章來源:>https://www.agriharvest.tw/theme_data.php?theme=article&sub_theme=article&id=3039

 

多標籤分類也是影像分類的一個重點,就如界門網目科屬種的分類問題一樣,比方說「夀司」是「食物」也可說是「米飯」那就有三種標籤,而標籤有時會有上下從屬或水平等價關係,甚至還有一物多名稱問題,這在訓練時就要納入,不然就會有分錯的可能。 另外不管是那個領域的影像分類,目前大部份都是採用監督式分類,而不是非監督分類,所以非領域專家所標註資料常會有品質不佳間接造成訓練及推論正確率下降問題產生。

omnixri 2019/06/28 0



2019/07/01ShenWaWa

0


最近剛發現台北醫學大學推出了一個叫「痣能達人 MoleMe」的服務,他是藉由AI 分析身上的痣,協助民眾自主預防皮膚癌。

方法也非常簡單,透過 LineBot 的方式,民眾只需回答五個簡單的基本問題,並上傳一張拍攝身上痣的清晰照片,即可由 AI 判斷是否建議就診,不用特地跑去大醫院花昂貴的檢查費,非常簡單又方便。準確率更是高達九成,對於時常擔心痣的狀況的人而言非常便利!
「痣能達人 MoleMe 」是透過當前熱門的機器學習中的分支「深度學習」的影像應用,透過超過 5,000 筆的醫療影像作為基礎培訓,搭配亞馬遜 AWS 的雲端 AI 服務,使 AI 能透過照片進行分析。另外關於個人隱私問題,除了痣的照片本身較無特徵性問題外,皮智也表示這些民眾上傳的照片不會作為培訓資料庫使用,只會在影像分析資料庫暫存,不會把民眾的照片挪用。

 


2019/07/10ying

0


先前華盛頓大學教授 Pedro Domingos 分析 1.6 萬篇論文 後表示,深度學習的發展終點將近;而約翰霍普金斯大學教授,電腦視覺技術的奠基者 Alan Yuille 也表示,深度學習正面臨三大瓶頸。

https://buzzorange.com/techorange/2019/02/12/deep-learning-bottleneck/

我在網路上找到這篇文章,希望對大家有幫助

 

我想任何技術發展都不必太過樂觀或悲觀,把它用到對的地方就夠了,不是所有問題都用深度學習技術才是好的,傳統機器學習的方法有些在小數據量上表現有時更優於深度學習。文中提到三大瓶頸「1. 需要大量標註數據,2. 過度擬合基準數據,3. 對圖像變化過度敏感」,這些問題已有大量學研人員投入改善,或許在不久將來會在半監督或無監督學習上會有重大突破,更趨近人類以特徵來分析問題而不是用成萬上億的參數來硬記。

omnixri 2019/07/11 0



2019/05/29warehouse

0


小數據若想運用AI來發展應用,還是有解的,例如採用GAN。GAN中文譯為生成對抗網路,相較於既有的監督式深度學習架構,GAN採用非監督式深度學習架構,它由兩套神經網路組成,一套是負責生成影像的產生器(Generator),一套是負責評估生成影像真偽的鑑別器(Discriminator),這兩套神經網路互相競爭,也互相學習。一段時間後,鑑別器評斷的標準越來越高,而產生器所生成的影像也就越來越逼真,兩者同時進步。

有篇文章對GAN的形容很妙,把Generator形容成工匠,Discriminator形容成偵深:我們現在手上有真的data,工匠要做的事就是偽造出假的data,而偵探則是要分辨現在給他的data是真的還是假的,並且會給出一個回饋。工匠根據這個回饋來「訓練」他現在的工藝,也就是調整model的parameter;一旦工匠的工藝成熟到偵探分辨不出來誰真誰假,就可以說我們訓練出了一個能夠模擬真正data分布的model。

 

雖然部份樣本不足的情況有可能利用GAN解決,但如同前面所述,若使用對抗生成網路(GAN)去生成看起來很相似的樣本來滿足多數量性問題,還是會遇到沒有足夠多樣態的樣本根本無法正確訓練出GAN所需的權重,導致生成出一堆很奇怪的樣本。就像雞生蛋、蛋生雞問題,沒有正確的訓練GAN,就沒有看起來正確(有效)的樣本。另外為滿足足夠的樣本數,GAN訓練過程(時間)太過冗長又是另一項問題。

omnixri 2019/06/21 0



最新發表
AI資料分析所需要的強大算力能不能於雲端解決?
現在數位轉型正流行,那麼資料就成為推動轉型時的重要資產,但經常被分別儲存於內部部署的機器、專屬系統或多雲端環境,不曉得在做AI大量的運算與分析時,是不是也能直接在雲端解決?
請問大家邊緣運算在AIoT的發揮有哪些?
大家應該都知道邊緣運算是實現物聯網的應用 加上前陣子的新冠病毒,讓邊緣運算又更顯重要了:企業跟廠房依賴更多自動化控制的應用,如果要降低程式在跑策略時出現延遲,肯定是要加入邊緣運算的    
智慧製造所會用到的邊緣運算有哪些應用?
現在所談的智慧製造、智慧工廠都伴隨AIOT的應用,那在當中是否都是運用邊緣運算?還是雲端運算?
邊緣AI是單純指終端設備嗎?
現在有很多再談邊緣運算及邊緣AI的東西,但哪些範疇算是邊緣AI呢?是指終端設備,還是除了雲端之外都算?
智慧農業是否都伴隨著高度IoT的需求?
因為農業缺工和漸漸改成自動化的緣故,智慧農業的趨勢是否一定有高度IoT的需求?

熱門發表
如果提供影像辨識的訓練資料不足,AI電腦視覺技術是不是就派不上用場了?
目前深度學習很火,從醫療、零售、倉儲、工業到監控等,好像各種影像辨識都能用到,但往往在一個地方卡關,那就是沒有足夠大量且有代表性的資料提供"訓練",有沒有可能用少量資料來達成好的辨識效果呢?
【解題建議】利用OpenPose來解決骨架(姿態、行為)分析
此次出題有很多項目和姿態(行為)分析有關(如下所示),而其根本就是要先找出人的骨架,再加上時間序列來分析骨架各特徵點的位移,進而判定使用者的動作(類型)。 【華碼數位】 體適能動作與姿勢辨識:以影像分析運動者姿態。 【宸訊科技】 利用動態影像辨識技術完成對農民於田間作業之行為分類與分析並能結合AI技術、配合專家互動,持續調整分類學習精準度:從串流影像中分析農業作業姿態(行為) 。 【集思動力】 iSEM多裂肌脊椎運動AI體況分析應用:透過影像、視頻分析人體動作姿態是否滿足特定位置、角度。 【百一電子】 AI電腦視覺辨識男生/女生的情緒與動作事件 :透過視頻分析十六種動作行為。 【良品嚴選】 客戶輪廓分析與服務人員及時輔助系統:從視頻分析客戶在店面行為以提供智能零售。 【良品嚴選】 線上連結線下新零售之AI分析:從視頻中分析行銷手段是否改變消費者行為。 【艾爾塔科技】 線下零售數據消費者行為洞察與全通路數據整合:透過人流資訊分析及預測消費者行為。 【卡訊電子】 智慧教室語音與影像偵測數據AI分析:建立語音、影像辨識老師、學生行為以增進學習效益。 而在開源技術中以CMU的OpenPose最為知名,包含有身體、頭(臉部)、手等部位,有興趣的朋友可以參考一下 https://github.com/CMU-Perceptual-Computing-Lab/openpose
Time is money!如何讓製程最佳化、讓生產更簡單?
從網路時代到物聯網興起,工業 4.0 強調自動化與生產線聯網功能,而新一代的智慧工廠發展,則更仰賴邊際運算、AI 和數據分析。然而,究竟要如何讓製程最佳化,使得生產速度提升呢?
「魚兒魚兒水中游」,有辦法辨識魚缸中魚的種類、數量的變化,甚至是活動力嗎?
最近在搞魚菜共生,想用"聰明"的方法來觀察魚缸中魚兒的數量變化(有沒有死魚),再與水質狀況(如含氧量)做關聯,想用深度學習與影像辨識來解決這問題,甚至進一步分析出魚的個別及群體活動力,不知各位大大有沒有相關的經驗或作法可供參考呢?
請問,「老闆來了!」偵測器該怎麼用開源AI做到?
小弟有個問題來請教AIGO社群的大大們,我有個有點Crazy的點子,想在老闆在我的座位附近出現時,馬上在電腦前跳出警示訊息,當然,我可沒在做壞事....XD,只是想有些心理準備,你知道的~~ 當然,只辨識出老闆來了沒對各位大大應該挑戰度太低,那可否再辨識出老闆現在的心情好不好呢? 不知能否推薦開源又好上手的自架作法呢?

主題分類