技術論壇
發文時間
2019/05/29
SeanKai Pa
瀏覽次數 11260 留言數量 14 按讚 0
電腦視覺類 電腦視覺Deep Learning
目前深度學習很火,從醫療、零售、倉儲、工業到監控等,好像各種影像辨識都能用到,但往往在一個地方卡關,那就是沒有足夠大量且有代表性的資料提供"訓練",有沒有可能用少量資料來達成好的辨識效果呢?
發文時間 2019/05/29 作者 allen chen
按讚 0
解決訓練資料不足的方法還有一招是遷移學習(Transfer Learning),
說穿了就是老手將經驗值轉化成深度學習中神經網路所需要的權重資訊,
也就能把已訓練好的模型遷移到其他的神經網絡中,
就不需要從零開始訓練一個神經網絡了 。
不過,遷移學習並非萬靈丹,只有在「適當」的情況下才有可能實現就是了。
發文時間 2019/05/29 作者 omnixri
按讚 0
在傳統電腦視覺中,多半採領域專家定多項規則來提取特定特徵(如邊界、色彩、形狀、面積等),所以不需太多影像樣本就能達到不錯的檢出良率,面對不曾出現過的影像,只要符合規則就可適當的分類。
在深度學習領域中,資料集的建立一直是個大麻煩,因為要有極大的數量及多樣性,在影像分類領域中,常見解決方案是用資料擴增法來解決一部份問題。假設只有一百張已標註影像,透過將影像適當隨機縮放、位移、旋轉、扭曲、調整亮度、對比、色彩、模糊等手法就可輕易增加十倍以上,可解決數量問題,但多樣性則不易滿足。
若使用對抗生成網路(GAN)去生成看起來很相似的樣本來滿足多樣性問題,還是會遇到沒有足夠多的樣本根本無法正確訓練出GAN所需的權重,導致生成出一堆很奇怪的樣本。就像雞生蛋、蛋生雞問題,沒有正確的訓練GAN,就沒有看起來正確(有效)的樣本。另外為滿足足夠的樣本數,GAN訓練過程(時間)太過冗長又是另一項問題。
至於遷移學習則是目前較多人採用的解決方案,對於自然界影像較容易達成,主要是因為多半採用ImageNet, COCO之類的巨量數據產生的,所以較易達成只有幾張訓練樣本就能訓練出不錯的結果。但是如果用在工廠或特定領域,則上述這些資料集較少這些影像特徵,訓練出來結果可能就不盡人意,還是得乖乖收集夠多的影像重新訓練。
作者 hcygeorge 發文時間 2019/06/13 按讚 0
發文時間 2019/05/29 作者 omnixri
按讚 0
影像分類、物件偵測勉強還可用資料擴增或對抗生成網路或遷移學習方法解決,但到了語義分割(像素級分類)或實例分割時,上述方法就不管用了,因為難以同步產生標註資訊,就無法訓練,要改以其它手段來完成。
以自駕車領域來說,很難一開始就叫一部車到街上轉一圈,拍了一堆影片後再回頭叫人逐一標註那些是車、道路、行人、路標等等,因為一秒有三十張影像,沒人可以一張一張標註,於是就有人以3D建模貼圖方式建立一個虛擬城市,有人有車還會動,再讓虛擬小車在街上跑,此時不僅取得足夠數量影像更能取得正確影像語義分割標註資訊。更可加入白天、晚上、風吹雨打等特殊場景,如此就有更多樣性樣本,待訓練到一定程度,再讓車子開到實際場域,再反過來收集真實世界影像比對推論結果,並修正成為新的訓練集資訊,那反複多次後就能得到理想數據集供其它模型使用。
發文時間 2019/05/29 作者 omnixri
按讚 0
在POS機視覺自動結帳系統中,較麻煩的地方是可能有數千種商品要上架,須取像進行訓練,若是盒子或罐子(圓筒)類的商品可能還好辦,掃描六面大致上就可以,但遇到像洋芋片或不規則形狀的商品就較麻煩了,因為擺放方式難以確認,有些視角還有遮蔽或陰影問題,此時就須從多視角取像建立樣本,更誇張一點有些還要動用機器手臂裝上攝影機自動拍攝多個固定視角,或者反過來機器手臂抓著商品翻轉各種角度拍照,如此才能建立足夠的資料集進行訓練。
另外還有一個更麻煩的地方,每加入一樣新商品整個資料集就要重新訓練,對於商家太不方便,較可能作法是要一口氣收集數十種新商品,一次建立資料再進行訓練,才不會浪費太多時間。目前台灣廠商創意引晴(VISCOVERY)有推出類似產品,可參考一下 https://www.viscovery.com/solution.php?id=1
今年Computex 新漢智能(Nexcobot)亦有推出類似商品
發文時間 2019/05/30 作者 jiajheng.yeh
按讚 0
其實若是想訓練人臉辨識、道路辨識、物體辨識等應用,在ImageNet這個世界最大的開源影像資料庫中,已提供數千萬張經人工標註的影像和2萬2千個類別,可善加利用這些資料來打造自己需要的影像辨識模型。
作者 omnixri 發文時間 2019/05/30 按讚 0
發文時間 2019/05/30 作者 yuhsuan
按讚 0
在數據分析的世界,有句名言是"garbage in garbage out"!
十多年前曾火熱過的資料探勘(Data Mining)就因探勘不出什麼有價值的資料而歸於平淡~
現在的大數據、Deep Learning同樣遭遇類似的狀況!!!
有用又大量的資料難求啊!
作者 omnixri 發文時間 2019/05/30 按讚 0
作者 j;6u045j6 發文時間 2019/05/31 按讚 0
發文時間 2019/06/03 作者 omnixri
按讚 0
想要更多的視覺數據集嗎?哥倫比亞大學博士馮捷在 2017 年 8 月創建了一個專用於搜索計算機視覺數據集和代碼/模型的搜索引擎 VisualData。目前共有281種包括圖像分類、目標檢測、圖像搜索、3D 重建等,有興趣的朋友可以參考下列網址https://www.visualdata.io/
更多說明可參考 "https://bangqu.com/531535.html"
發文時間 2019/06/04 作者 chuckmails
按讚 0
在資料不夠多、運算資源、時間有限的狀況下,轉移學習(Transfer learning)是很有效的方式。它能透過已經訓練好的模型,讓資料、運算的需求都大幅降低。概念上就像是站在巨人的肩膀一樣,使用訓練好的模型改裝,把pre-trained model中的最後一層改掉嫁入新的一層,用有限的資料訓練最後一層的參數。此外,資料還可以利用資料擴增(Datac augumentation)的方法倍增訓練資料,這個概念是透過影像處理的方法把照片色調、角度、對比改變,讓資料的多樣性增加,提高訓練準確度。
發文時間 2019/06/20 作者 june625678
按讚 0
這幾天看到台灣爆發秋行軍蟲疫情的新聞
有研究者指出「台灣在今年六月八日之前,無論是從事田間監測的學者或是生物相調查的團隊,抑或是受理農民送來的植物、昆蟲樣本,進行診斷鑑定服務的各大學和各地農業改良場,皆未發現任何秋行軍蟲蹤跡,各地的蛾科性費洛蒙誘捕器中也沒有捕獲秋行軍成蟲」
感覺也能加入這個機器學習辨識樣本的討論呢!!
當然蟲害入侵有很多外在因素需要考量,
但在辨識作業方面,如果有足夠的樣本讓機器訓練,提升辨識的精準度,應能及早發現,協助防治作業。
作者 omnixri 發文時間 2019/06/21 按讚 0
發文時間 2019/06/21 作者 miya850604
按讚 0
>>
我想推薦一本書~叫做小數據獵人。
這本書有趣的地方是他打破了我們對於「大數據」的刻板印象,
根據我從事行銷的朋友說法,
實際上的狀況是從大數據裡撈出結果很遠、很難,但從小數據裡抓點是容易且這個時代裡不怎麼被關注到的顯學!!
畢竟科技再怎麼發達,終究必須回歸到人的本質呀。
作者 omnixri 發文時間 2019/06/21 按讚 0
發文時間 2019/06/28 作者 Chun
按讚 0
在一篇關於魚類辨識的文章中看到一段文字:「就算蒐集到合適的照片,照片中魚類的名稱也讓研究團隊很傷腦筋,陳慶瀚表示,研究團隊中多是資訊工程背景,辨識魚種的知識不足,或是「有些魚有南部、北部的名稱;研究人員也多知道學名,而不識俗名。」研究團隊後來找上海產料理店老闆,協助提供部分魚市場未販賣的魚種照片,並幫忙辨識魚種的名稱。」
除了有訓練資料不足的問題外,開發人員對於該產業的了解程度也是影像辨識過程中的一道關卡!
文章來源:>https://www.agriharvest.tw/theme_data.php?theme=article&sub_theme=article&id=3039
作者 omnixri 發文時間 2019/06/28 按讚 0
發文時間 2019/07/01 作者 ShenWaWa
按讚 0
最近剛發現台北醫學大學推出了一個叫「痣能達人 MoleMe」的服務,他是藉由AI 分析身上的痣,協助民眾自主預防皮膚癌。
方法也非常簡單,透過 LineBot 的方式,民眾只需回答五個簡單的基本問題,並上傳一張拍攝身上痣的清晰照片,即可由 AI 判斷是否建議就診,不用特地跑去大醫院花昂貴的檢查費,非常簡單又方便。準確率更是高達九成,對於時常擔心痣的狀況的人而言非常便利!
「痣能達人 MoleMe 」是透過當前熱門的機器學習中的分支「深度學習」的影像應用,透過超過 5,000 筆的醫療影像作為基礎培訓,搭配亞馬遜 AWS 的雲端 AI 服務,使 AI 能透過照片進行分析。另外關於個人隱私問題,除了痣的照片本身較無特徵性問題外,皮智也表示這些民眾上傳的照片不會作為培訓資料庫使用,只會在影像分析資料庫暫存,不會把民眾的照片挪用。
發文時間 2019/07/10 作者 ying
按讚 0
先前華盛頓大學教授 Pedro Domingos 分析 1.6 萬篇論文 後表示,深度學習的發展終點將近;而約翰霍普金斯大學教授,電腦視覺技術的奠基者 Alan Yuille 也表示,深度學習正面臨三大瓶頸。
https://buzzorange.com/techorange/2019/02/12/deep-learning-bottleneck/
我在網路上找到這篇文章,希望對大家有幫助
作者 omnixri 發文時間 2019/07/11 按讚 0
發文時間 2019/05/29 作者 warehouse
按讚 0
小數據若想運用AI來發展應用,還是有解的,例如採用GAN。GAN中文譯為生成對抗網路,相較於既有的監督式深度學習架構,GAN採用非監督式深度學習架構,它由兩套神經網路組成,一套是負責生成影像的產生器(Generator),一套是負責評估生成影像真偽的鑑別器(Discriminator),這兩套神經網路互相競爭,也互相學習。一段時間後,鑑別器評斷的標準越來越高,而產生器所生成的影像也就越來越逼真,兩者同時進步。
有篇文章對GAN的形容很妙,把Generator形容成工匠,Discriminator形容成偵深:我們現在手上有真的data,工匠要做的事就是偽造出假的data,而偵探則是要分辨現在給他的data是真的還是假的,並且會給出一個回饋。工匠根據這個回饋來「訓練」他現在的工藝,也就是調整model的parameter;一旦工匠的工藝成熟到偵探分辨不出來誰真誰假,就可以說我們訓練出了一個能夠模擬真正data分布的model。
作者 omnixri 發文時間 2019/06/21 按讚 0
作者 laisan86 發文時間 2019/05/29 按讚 0