跳到主要內容
 

技術論壇

主題:數據「學」無止盡!機器學習、深度學習、統計學究竟差在哪?

2019/08/15 allen chen

4559 7 0


IoT數據資料蒐集/分析/預測類 機器學習深度學習統計學

數據當道的現今,多少人、事、物受惠於這些龐大的數據分析和學習,但你知道機器學習、深度學習、統計學的差異是什麼嗎?


7則留言

2019/08/19omnixri

0


「機器學習」是「人工智慧」的一個分支,而「深度學習」又只是「機器學習」下的「類神經網路」所發展出的子技術。而統計學中所應用到的理論,大量使用於「機器學習」中。

早期人們希望機器能從一堆數據中找出關連並像人類一樣具有「學習」能力,進而進行推論,所以大量使用到機率學與統計學領域的技術。「機率學」部份不須依靠資料集,單純從數學角度去推論,較不具學習的過程,而是直接找出規律及答案。而「統計學部」份則需要大量格式化資訊進進行分析,再依據資料分佈樣態找出可能規律,進而得到類似學習的成果。而「深度學習(或稱神經網路)」則是利用大量資料進行網路的權重值訓練,進而找出超高維超多組非線性函數來推論一個結果,較類似人類反覆練習(歸納)的結果,但和人類具特徵提取、舉一反三(演繹)的分析方式有很大不同。

目前所謂「大數據」、「資料採礦」大多數是建立在格式化資料,就像在EXCEL填資料,每個欄位都只是簡單的文字或數字且都要填滿。而這類應用多半採用統計方式找出特定模型,其得出結果較具解釋性,而新進資料即可依此模型進行推論。而「深度學習」的彈性就較大,可容許格式化(如影像)及離散式(如聲音、文章)資料輸入,而透過反覆訓練最後得到巨量參數(權重),達到理想的推論結果,雖有很好結果但幾乎無法解釋其原理。兩者皆是利用過去(已存在)資料去建模對未來資料進行推論,而前者運用到較多統計學方法,而後者僅用到很小部份,甚至有些算法根本沒用到。

如果想更深入了解,推薦大家一篇不錯的文章:

機器學習跟統計學差在哪?哈佛博士:機器學習重視預測結果,統計學在乎因果推理
https://buzzorange.com/techorange/2019/05/02/difference-between-statistics-and-machine-learning/

 


2019/08/23linda.lin

0


其實我一直以為人工智慧、機器學習和統計學是差不多的東西。但是聽說機器學習已經存在幾十年了,只是最近數據和運算能力快速進步,才開始了這一系列的討論。

 


2019/08/29j;6u045j6

0


我知道,其中的機器學習是指透過統計分析和預測,找出大量資料中的變動模式、和隱藏的資訊,這樣就不需要重複寫程式來指示分析方向,也就是不需要程式導引的前提之下,機器就可以具備分析和執行的能力。

 


2019/08/30yinghsuan1217

0


機器學習較著重決定和預測能力!
反之,統計學更關心其可解釋性~
比如說,機器學習說我預測明天下雨的機率是0.8
統計學家就會說
我預測明天95%的可能性下雨機率落在(0.7,0.9)之間

 

其實機器學習的範圍還滿大的,大部份都還是具有解釋性,如線性迴歸、邏輯迴歸、決策樹、隨機森林、支持向量機(SVM)、KNN、K-Mean、主成份分析(PCA)…。目前最廣為大家熟知的深度學習,只不過機器學習下神經網路(NN)下的一個分支系統,而它最被人詬病就是預測、分類結果極佳,但幾乎不具可解釋性。雖然已有許多資料科學家正在努力找,甚至重新設計具可解釋性算法,但短時間可能還是難以看到。

omnixri 2019/08/30 0



2019/09/01laisan86

0


實際上統計學、機器學習、深度學習, 嚴格上來講都是各自一門可專攻的, 不過三者之間常常拿來互相應用或者當作競爭比較標的. 不過, 統計學可以說是機器學習、深度學習這兩者在應用開發上常見的工具! 真要說這三者有甚麼不同, 我個人淺見 : 統計學注重的是這些數據資料透過統計模型、檢證方式處理後, 可以解釋出來這個統計結果與來源數據資料之間究竟有甚麼樣的關聯性. 比如說以溫室種金針菇來說好了! 金針菇在最後菇蕾形成時, 需要提高二氧化碳濃度 這時候溫室的環境調節條件與金針菇的品質兩者間, 很顯然就有關聯性! 那麼調節到多高濃度的二氧化碳, 當然就用統計學很容易描述了. 反觀機器學習與深度學習兩者, 就學理上應該是為了達成人工智慧AI這個目的, 而衍生出來的其中一種解決方案分支, 我個人的看法嘛~~機器學習跟深度學習比較統計學起來, 倒像是以預測這個當賣點比較好! 其實深度學習對於結果的預測相當不錯, 不過深度學習常常被視為一個黑盒子, 從結果看不出來與來源資料之間關連性的案例, 時常發生!

 


2019/09/14chuckmails

0


機器學習和統計的主要差別在「目的」,機器學習模型旨在使最準確的預測成為可能。統計模型是為推斷變數之間的關係而設計的。

最明顯的例子是線性迴歸,在統計學中,建模的目的是描述數據與輸出變數之間的關係,而不是對未來數據進行預測。反之機器學習重視的是結果

,目的只在於用資料來預測未知的可能數據。至於深度學習,他算是機器學習的分支,差異在於訓練方法的差愈與技術演算法的不同。

 


2019/10/30mileen.tsai

0


機器學習和統計做主要的差別在於他們的目的性不同,機器學習是為準確的預測,而統計則為推理而設計,沒有數據就無法進行統計。

 


最新發表
疫情使企業「數位轉型」迫在眉睫,但員工身心靈都已裝備到位了嗎?
2021年全球疫情因疫苗問世漸趨和緩;台灣也正從新一波疫情高峰中逐步獲得控制,但仍不鬆懈。「數位轉型」即是企業追求長遠生存,逆勢求生的唯一手段。不只是數位工具的導入,其員工數位能力的提升及心態健康程度,更是決定企業能否在這場「防疫持久戰」致勝的關鍵! 企業的「數位轉型」不只包含了「數位化」—將實體的資訊轉成為電子化,儲存於電腦或是雲端中,加速作業效率。更重要是藉由「數位化」基礎,在營運流程、顧客體驗及商業模式等策略中,結合數位工具,提升工作效率並賦予全新的價值,增加市場競爭力。所以,擁有數位腦袋和開放態度的人才,就顯得格外重要!但對於資源不是非常多的企業(可能員工數僅百人以下),不太可能立即擴大招覽相關人才。那麼,就從既有人才上,去轉型、賦能優化吧! 如何幫助員工快速升級,符合企業「數位轉型」戰略目標? 需針對不同部門、不同專業類別的員工,制定相應的學習計畫。從具有架構化的學習開始:以員工學習體驗為導向,滿足員工碎片化學習需求,著重提升學習效率與成果,內容即時因應企業變革成與轉型訴求,在企業有限資源下達到最佳學習成果! 所以,相應教材與學習系統就須同時兼備『快速產製教材』及『穩定學習品質』兩大特性。而「AI智能影音」平台即能達到上述需求,使企業人力培訓上縮短員工訓練時程,加速應用所學,為企業在艱困時,深蹲打好基礎。 「AI智能影音」平台運用大數據、AI自然語言處理、電腦視覺技術等技術,能自動將文字匹配靜態圖與動態影音,並使平台內的影音模型藉由反覆訓練,合成出符合觀眾閱聽行為且具有品質的影音內容。平台最大優勢為,使用者只要將一段文字匯入平台,5分鐘內產出約1分到1分半的影片,不需要額外找素材,其影片的內容就是自百萬商用授權素材庫(包含靜態圖像、動態影音、背景音樂)。大幅縮短原先產製教學影片的時程,中小型企業也能因應市場變化,動態調整教學內容!不增加培訓人員與受訓人員工作負擔。     「數位轉型」是企業須即刻on上日期的專案,數位工具使用與員工賦能就是第一步。全球市場瞬息萬變,難保未來不再有意外。企業應自日常扎根,在非常時期宛如期中考般,考核過去在數位轉型上的投資,方向是否正確?是否風暴中向前挺進?收割推動轉型的豐碩果實,為企業營收再創新高峰!點擊看更多企業案例  
數位轉型時代人才職能的再進化
  近年來全球資訊產業趨勢變化快速,雲端運算、物聯網、資料科學、人工智慧和5G行動通訊等尖端技術日新月異的發展應用,帶動了數位經濟的興起,並同時重塑了全球經濟結構。根據世界經濟論壇(WEF)的預測,2022年全球GDP將有六成來自數位經濟,可見數位經濟的發展對全球經濟未來趨勢影響之重大,而其影響自然也將及於人力資源市場。   產業面臨這一波數位轉型,正如當初個人電腦、網際網路的普及一樣,將會完全翻轉全球經濟、以及企業現有的商業模式。過往數位科技人才大多為資通訊及高科技產業所需求,隨著產業積極導入數位工具及人工智慧應用、企圖尋求下一波創新成長動能,各行各業展開數位科技人才爭奪,根據國家發展委員會對於臺灣未來十年人力市場之預估,數位人才將呈現大規模人力缺口。   AI取代工作 還是創造機會 科技帶來翻天覆地的影響,新興領域之人才需求不斷攀升,嶄新的商業模式、跨領域的整合應用也層出不窮。迎接新科技帶來新工作機會的同時,人才技能必須時常更新,以掌握未來世界的人力需求及工作樣態的變化。   根據臺灣經濟研究院研究報告指出,隨著人工智慧、物聯網、大數據、資訊安全等技術發展,將會為我國帶來新的人力需求;反之,設備操作、倉儲物流、行政庶務等事務性及高重複性工作,則可能因新科技而受到衝擊。然而,人類的工作真的會被AI和機器人取代嗎?國際研究暨顧問機構Gartner指出,2020年,雖然有180萬個職位被AI取代,不過同時AI也將創造230萬個工作機會,帶動整體工作機會正成長。未來的人力資源趨勢將是人工智慧結合人腦的工作型態,隨著自動化科技的引進顛覆人類在工作上所扮演角色,勞動者必須具備新的技術和能力,以因應這一波數位趨勢。   人才職能重塑 已是世代常態 各種新興科技正在重塑我們的世界,我們是否都準備好了呢?現今企業普遍面臨相當大之人才挑戰,人才競爭態勢只會越來越激烈,數位科技浪潮下,在可預見的未來,機器人或人工智慧一定會對企業人力運用造成影響,企業數位轉型已經是勢在必行的壓力,就公司而言,企業所需的人才技能隨著公司經營策略的調整均在不斷轉變中,人才需要積極主動、擁抱改變,人才所具備的技能如不隨著大環境的變動,將面臨無法與時俱進的風險、最終可能被市場淘汰。   過去用一把刷子行走職場、或是十年磨一劍的年代已經過去,單一技能很容易被潮流取代、唯有具備數位科技、跨領域專長的人才方能在瞬息萬變的職場上勝出。世界經濟論壇的報告指出,全球所有受雇員工有半數以上(54%)需要在未來三年內接受大幅度的技能重塑與提升訓練。而數位科技人才常需隨趨勢發展而更新專業能力,根據之前Gartner的一份調查,職場員工平均每三年需更新一次職務內容與數位科技專業能力。   職能再進化 先找出自己的型 在這波數位技能革命中,企業必須打造新的人才職能規格、於公司內部創造並鼓勵員工持續學習的環境和文化,同時協助員工捨棄舊技能與發展工作所需新技能。由於企業很難找到各方面條件都符合的現成人選,招募到合適的人才所需之時間已經越來越長。有越來越多的企業支持從既有的員工進行在職培訓,並轉型為數位科技人才,不僅有效降低企業招募時間與經費成本,也可以避免招募到的員工不適任無法久留的風險。越來越多的企業正在提高技能重塑的投資,在企業發展數位轉型的同時,偕同組織內的人才一起精進、重塑員工技能,及早做好職能轉型的全面準備。   然而,職能轉型並非一件容易的事情,根據108年經濟部人工智慧產業人才需求調查發現,並非所有現職員工都能成功轉型人工智慧人才,最被企業看好且轉型成功率高的人才通常已具備相當基礎(有型)、在這個基礎上進行職能轉型較容易成功;例如工程類職務(如:系統工程師、後端軟體工程師) 本身即具有程式撰寫、系統開發能力,較容易轉型為機器學習工程師及AI應用工程師等AI新興職務。而資料類職務(如:資料庫工程師、統計分析師)已具有資料庫或數據分析等基礎,亦容易轉型為資料工程師或資料分析師。而一般常見的產品經理、專案經理及行銷企劃專員等職務,已具備專案管理、產品管理、行銷推廣、跨部門溝通…等軟實力,若能再強化AI相關基礎知識,也容易轉型為AI專案經理或AI產品經理。   生命不息 學習不止 迅速和持續變化的工作性質正在改變學習與工作間的關係,當我們一直被機器追趕著學習新技能,如何能夠有效應對新世代的變遷、在數位經濟的潮流中成為未來產業所亟需的人才?在數位時代的潮流之下,新世代的人才需要透過不同管道不斷精進自我,才能持續增加自己的附加價值,而不被時代所淘汰。未來的人才唯有在終生學習、科技協作、軟技能和環境應變等四個面向深化努力,方能應對快速變遷、日新月異的產業趨勢。   在終生學習方面,除了持續學習的腳步外,在學習的方向上,也要注意學習內容與工作之融合度,以期能符合實際工作的職能需求,此外考量個人能力及人格特質做個性化的學習,也對強化自身附加價值,以及未來職涯的發展有所助益;在科技協作方面,隨著AI與自動化的興起,新的工作型態對人機協作的需求也越來越高,在人類主導的情況下,由機器提供輔助進行工作,將會成為產業從人工朝向智慧化發展過程中過渡的第一步,因此在科技協作的學習投入,將能有效幫助人才面對AI化與自動化的挑戰;軟技能是人類勝出機器的關鍵,包括溝通、思考和創意等在現今這個科技時代愈趨重要,未來人才需要培養機器所無法取代的能力,以增進自身在職場的不可取代性;在環境應變方面,由於近年來產業趨勢的變遷快速,新技術的推陳出新使得人才在適應環境變化上的需求大幅提升,未來的人才也需要像電腦持續定期更新,隨時檢視自己的技能、擁有持續重塑自己以靈活應變的能力,才能在時代的潮流中維持競爭力!     財團法人資訊工業策進會∕數位教育研究所∕數位轉型訓練中心 陳麗萍 組長
AI創作音樂有可能成為一種新趨勢嗎?
音樂是全世界共通的語言,大家都同樣使用12個音符,但卻能創造出各種風格的音樂。目前主打透過AI生成音樂的服務越來越多,在國外還有透過 AI 即時生成電子樂的音樂串流服務,這樣的音樂創作方式有可能會成為趨勢嗎?
到了5G時代,那麼邊緣運算會有何不同嗎?
我們都知道物聯網的概念開啟了科技應用的新視野,當越來越多元件走向微型化、智慧化,數據海嘯也隨之而來,如何讓這些裝置以最有效率的方式運作,互通有無,並發揮大數據的優勢,成了當務之急。邊緣運算便是實現運算資源佈局最佳化的關鍵途徑,不過現在有了5G的出現,對於邊緣運算會有什麼影響呢?
最近在AI資料分析常使用到的"增強分析"是什麼意思?
「增強分析」(augmented analytics)被預測為今年十大戰略趨勢,它對一般企業來說意味著什麼?對數據科學家來說影響又有多大?希望可以了解一下

熱門發表
如果提供影像辨識的訓練資料不足,AI電腦視覺技術是不是就派不上用場了?
目前深度學習很火,從醫療、零售、倉儲、工業到監控等,好像各種影像辨識都能用到,但往往在一個地方卡關,那就是沒有足夠大量且有代表性的資料提供"訓練",有沒有可能用少量資料來達成好的辨識效果呢?
【解題建議】利用OpenPose來解決骨架(姿態、行為)分析
此次出題有很多項目和姿態(行為)分析有關(如下所示),而其根本就是要先找出人的骨架,再加上時間序列來分析骨架各特徵點的位移,進而判定使用者的動作(類型)。 【華碼數位】 體適能動作與姿勢辨識:以影像分析運動者姿態。 【宸訊科技】 利用動態影像辨識技術完成對農民於田間作業之行為分類與分析並能結合AI技術、配合專家互動,持續調整分類學習精準度:從串流影像中分析農業作業姿態(行為) 。 【集思動力】 iSEM多裂肌脊椎運動AI體況分析應用:透過影像、視頻分析人體動作姿態是否滿足特定位置、角度。 【百一電子】 AI電腦視覺辨識男生/女生的情緒與動作事件 :透過視頻分析十六種動作行為。 【良品嚴選】 客戶輪廓分析與服務人員及時輔助系統:從視頻分析客戶在店面行為以提供智能零售。 【良品嚴選】 線上連結線下新零售之AI分析:從視頻中分析行銷手段是否改變消費者行為。 【艾爾塔科技】 線下零售數據消費者行為洞察與全通路數據整合:透過人流資訊分析及預測消費者行為。 【卡訊電子】 智慧教室語音與影像偵測數據AI分析:建立語音、影像辨識老師、學生行為以增進學習效益。 而在開源技術中以CMU的OpenPose最為知名,包含有身體、頭(臉部)、手等部位,有興趣的朋友可以參考一下 https://github.com/CMU-Perceptual-Computing-Lab/openpose
數據「學」無止盡!機器學習、深度學習、統計學究竟差在哪?
數據當道的現今,多少人、事、物受惠於這些龐大的數據分析和學習,但你知道機器學習、深度學習、統計學的差異是什麼嗎?
Time is money!如何讓製程最佳化、讓生產更簡單?
從網路時代到物聯網興起,工業 4.0 強調自動化與生產線聯網功能,而新一代的智慧工廠發展,則更仰賴邊際運算、AI 和數據分析。然而,究竟要如何讓製程最佳化,使得生產速度提升呢?
CES展上發佈的蚊子偵測器怎麼辨別這種微小差異的?
以色列新創業者Bzigo在CES展出一款室內蚊子或小型飛蟲偵測器,宣稱能夠偵測距離8公尺內的蚊子、追蹤蚊子飛行的軌跡,但蚊子很小隻且飛行速度不慢,實際可以偵測到的成效不知道如何,怎麼辨別蚊子或小型飛蟲和其他東西的差異?  

主題分類