大型機台運用影像辨識呈現於面板燈號控制
傳統大型自動化生產設備由海外原廠進口機具，透過操作面板進行參數調整，進行自動化生產製造，而面板參數與台灣原物料環境與商品容錯性差異有些許差異，往往需由人工紀錄操作，建立警示參數標準。本公司需求透過影像辨識，由電腦自動化分析相關面板資訊，以不破壞機台狀態下擷取相關資訊，完成工廠設備自動化最後一哩技術。
競賽細節
題目敘述
(1) 題目背景與重要性：
隨著行動通訊發展，文字和語音成為溝通利器，然而以手語為語言的聽語障者，因為語言不同，除了無法與聽人直接以手語溝通，也無法發出可供辨識的口語語音轉換文字，致日常溝通受阻。
國際身心障礙者公約（CRPD）強調，確保所有身心障礙者充分及平等享有所有人權及基本自由，並促進對身心障礙者固有尊嚴之尊重，希望透過AI提供聽語障者更即時、便利、有效的溝通。
(2)問題情境與痛點(Pain point)：
聽人可能對手語有興趣，也可能在社團、社區大學等處學手語，但相較於其他口語語言仍非常弱勢。如果能以辨識學生手部關鍵點，將之與老師的手部關鍵點進行比對，有效輔助手語老師的教學，將能加快聽人的手語學習速度，提高手語普及度，降低聽語障者日常溝通的困難度。
(2) 預期透過AI達到的目的與利益點(Gain)：
透過單詞片段檢測手部關節並標註關鍵點，發展軟體並應用於行動裝置，使聽人與聽語障者能更容易學習手語。
(3) 技術完成後的使用對象：
聽語障者與聽人。
(4) 成果運用方式等內容：
開發手機APP或網頁，提供手語教學輔助使用。
資料型態
(1)『臺灣親子手語數位學習網』網站內主題學習之單詞詞彙手語影片
https://sites.google.com/view/babysignlanguagetaiwan/%E9%96%8B%E5%A7%8B?authuser=0
378個主題篇手語辭彙影片(MP4格式)
(2)德國佛萊堡大學 (University of Freiburg) 開發的 FreiHAND Dataset ( arxiv : https://arxiv.org/pdf/1909.04349.pdf )
原始手部圖片共 32560 張，及利用這些原始圖片進行背景填補、色調變化的延伸照片共 97680 張。
如下圖所示
資料集整備度與細節說明
1. 『臺灣親子手語數位學習網』主題學習網站共有378個實用手語詞彙影片。
2. 德國佛萊堡大學 (University of Freiburg) 開發的 FreiHAND Dataset ( arxiv : https://arxiv.org/pdf/1909.04349.pdf )
原始手部圖片共 32560 張，及利用這些原始圖片進行背景填補、色調變化的延伸照片共 97680 張。
3. 手語翻譯協會亦可提供聽語障者與聽人手語使用者，可另外依照解題斷對需求協助錄製單詞手語影片供測試偵測率判斷，且可增加手語關鍵點資料庫，提高詞彙判讀正確率。
期望成果需求
(1) 關鍵點檢測均分及誤差小於0.2
(2) 藉由關鍵點檢測進行單詞判斷之準確度，單詞判讀率75%以上
(3) 供手語教學輔助使用之手機APP或網頁
可提供之解題資源
(1)美國的AI手語翻譯服務網站( https://slait.ai/#usecases)
(2)手語翻譯協會之聽語障者與手語翻譯員
(3) 可參考使用其他網站資源:台灣手語新詞彙(https://newtsl.taslifamily.org/index)、常用手語詞典、台灣手語線上詞點之學習資源資料。
額外獎勵誘因
無
出題單位
社團法人台灣手語翻譯協會
單位(公司)簡介
手語翻譯員是聽障朋友對外溝通很重要的『輔具』，在許多場合以手語和口語交替翻譯協助聽障者溝通與吸收資訊。早期手語翻譯多半被認為是做愛心的志工角色，自開辦手語翻譯技能檢定之後始朝向專業化發展，民國106年社團法人台灣手語翻譯協會成立，會員包含手語翻譯員、聾人(聽語障者)與社會各界人士。手語翻譯協會的目標是成為聽障與聽人溝通橋樑，提供手語資源給更多身障家庭與機構，維護聽語障者公平參與社會的權利。
官網：http://taslifamily.org/
臉書：https://www.facebook.com/tasli2017
其他備註
無
* 題目因實際數據改變或其他不可抗力之事由，出題企業保有修改、變更或取消題目之權利。
相關競賽
透過影像辨識技術偵測跨越鐵路平交道之障礙物示警
阿里山林業鐵路(簡稱林鐵)總長約85公里，共計有82處平交道，嘉義市區鐵路沿線緊鄰住家，部分平交道經市區重要道路車流量大，冀望透過AI影像辨識技術偵測闖越平交道人、車或障礙物偵測、判斷提供主動性示警，以保障用路人及火車之行車安全。
小鼠MRI影像與病理切片影像自動化定位與匹配
本題希望透過磁振造影儀(MRI)拍攝實驗小鼠影像比對病理染色切片的結果，匹配腦部型態輪廓，能對疾病變化有更精確的判斷與描述，進而真實反應出新開發藥物治療的效果或藥物對疾病造成的變化。
基於機器視覺的臺灣手語機器翻譯
全球化的時代，語言的隔閡除了透過文化交流來弭平之外，機器翻譯可以說是助力最大的新興技術，透過機器翻譯，可以讓使用不同語言的族群都能夠溝通理解彼此的想法，然而，聽語障者所使用的手語，卻一直沒有辦法透過機器翻譯來讓更多的聽人聽到來自聽語障者的心聲。
相較於一般語言能夠同時透過文字以及發音來表達意義，手語則是一個包含手部、肢體、表情等元素的複雜概念。手語表達意義的方式跟口語非常不同。而因地域關係，手語的文法順序、空間、方位、表情會有些微差異，聽語障者以手語對話時類似的手部動作放在不同位置即為不同意思，連續動作及組合也有著不同的含意，礙於手語無法為聽人所理解，手語翻譯者也很有限，藉由人工智慧學習聽語障者的日常對話動作，將其轉為文字，希望針對臺灣的手語讓臺灣的聽人能透過翻譯跟聽語障者溝通。
以手部關鍵點檢測輔助臺灣手語單詞教學
國內使用手語為主要語言的聽語障者超過萬名，礙於手語無法為一般民眾所熟悉，也不是隨處都有手語翻譯者可協助溝通。如果可以透過人工智慧協助手語教學，AI影像辨識判讀學生及老師的手部姿勢，就可降低門檻，讓學習手語變得簡單，提高懂手語的聽人比例，讓聽語障者與聽人的溝通不再需要等待協助。