價創團隊

S3: 全方位音樂娛樂學習平台

計畫主持人:國立台灣大學  張智星教授

計畫摘要

在本計畫中,我們將以AI及機器學習為基底,開發相關產品所需的各項關鍵技術,包含:

  • 主動噪音消除(可用於伺服器端和客戶端的裝置)
  • 單聲道音源分離(可用於音訊音樂及語音)
  • 人臉表情辨識
  • 歌聲與伴奏同步
  • 音高改變及人聲消除的硬體實現
  • 歌聲美化

這些關鍵技術可以使用於B2B的商業模式,可以用於各項商業服務與應用,例如:

  • 視訊重製系統(能夠抽出使用者的語音來進行進一步的處理)
  • 線上卡拉OK(可以支援歌唱評分、可以使用Youtube的音樂)
  • 麥克風式卡拉OK(能夠對人生及音樂升降key、使用Youtube音樂)
  • 音樂韻律遊戲(遊戲譜可以自動產生、可以使用Youtube 的音樂)
  • 電腦輔助音樂學習工具(具有自動譜、自動翻頁、自動評分等功能)
  • 音樂檢索系統(使用哼唱、語音或原生音樂片段等)
  • 語音增強(例如用於車輛內部的語音辨識)

我們希望透過這些技術可以建立一個音樂AI平台,串接目前所擁有的

團隊介紹

  1. 張智星教授,於1992年取得加州大學柏克萊分校的電機電腦博士, 1995年回台任教後,研究方向轉向機器學習的各項應用,包含語音評分、音樂檢索、文件分類、影像辨識等領域。曾任2014年ISMIR(在台北舉行)的General Chair及2017年ISMIR(在蘇州舉行)的General Co-chair,他的團隊也在歷年MIREX國際音樂檢索評比中,拿下數個項目的第一名佳績。
  2. 葉子雋,目前為清大資訊工程博士候選人,專長為哼唱搜尋、歌聲主旋律抽取、噪聲消除與音樂遊戲自動生成內容。於2013, 2014年在MIREX國際音樂檢索賽事中的Query by Singing/Humming比賽中皆獲得第二名的佳績,參與多項與業界合作的計畫(包括中華電信、資策會、台積電等),致力於各式音樂與語音系統的開發實作規劃,專案經驗豐富。
  3. 邱瑞華,曾任德恩科技的CTO,現為QNAP的資深經理人,對於音樂產業有深度的理解與認識,在德恩科技時曾領導產出多項的實體卡啦OK機與卡啦OK app,在QNAP對雲端開發亦有所經驗,對於引領公司走向將有非常大的幫助。
  4. 楊德倫,曾任PCHome等多家企業之資深工程師,對於網路、搜尋引擎與雲端連結、串流等多項技術皆非常嫻熟,曾負責全文檢索、搜尋引擎與網頁之開發,是我們在雲端技術整合開發上不可或缺的管理與開發人才。

計畫目標

我們計畫的milestone,可如下圖所示:

市場壁壘

        我們在各項技術上亦參與各種國內外比賽並獲得許多大獎,在音樂技術方面,我們在音樂的辨識、人聲分離、曲風分析上皆獲得很好的成績。近年來在國際上最大的音樂分析比賽MIREX (Music Information Retrieval Evaluation eXchange) 上,我們的獲獎紀錄如下所示:

  • 1st place in Singing Voice Separation (SVS) task, 2015, Spain
  • 1st place in Audio Melody Extraction (AME) task, 2015, Spain
  • 1st place in AME task, 2014, Taiwan
  • 2nd place in Query by Singing/Humming task, 2014, Taiwan
  • 3rd place in Audio Mood Classification task, 2014, Taiwan
  • 1st place in Audio Mood Classification task, 2013, Brazil
  • 2nd place in QBSH task , 2013, Brazil

 

臉部辨識方面,我們的獲獎項目如下所示:

  • 2nd place in Utechzone computer vision competition (由田機器視覺獎), 2013

因此在這些技術上,我們目前都是引領全球的技術領先,對於對手而言我們創造了高度的技術門檻,因此在市場競爭上可以確保我們的技術優勢。

預期市場規模

我們預期可能的市場如下所列:

  • 音樂遊戲:雷亞旗下所創造的遊戲Cytus與Deemo,於2012年至今已創造了730萬美金的全球營收。
  • 線上卡拉OK:國際知名的Smule Sing目前在Android/IOS上已有破億的下載次數,而2017年在騰訊投資之後,目前的估值已經來到6億美金。另外,大陸的唱吧APP在2015年有43億人民幣的估值,預估在2017可以達到60億人民幣的估值。
  • 藍芽無線卡拉OK麥克風:無線麥克風在2016年全球的市場大小為20億美金,其中光是藍芽無線卡拉OK麥克風單在美國就有32億美金的市場大小。
  • 音樂學習線上工具:全球音樂學習的市場在2017年預期會有60億的市場大小,而目前而言並沒有一套非常完整有系統且有競爭力的音樂學習APP或是PC軟體。