連編舞都難不倒人工智慧!就讓它為你編舞吧!
AI人工智慧

人工智慧也是專業編舞家!讓它為你編舞吧!(上)

2021-11-29

連編舞都難不倒人工智慧!就讓它為你編舞吧!

連編舞都難不倒人工智慧!就讓它為你編舞吧!
連編舞都難不倒人工智慧!就讓它為你編舞吧!

人工智慧學編舞,動作搭配音樂複雜度高

Google正在進行一種人工智慧研究,開發稱它為「FACT (Full-Attention Cross-modal Transformer)」的模型,它會模仿、理解舞蹈動作,而且可以提升個人的編舞才能。Google 研究團隊為了訓練該模型,也隨之發布一個大規模、多模態的 3D 舞蹈動作資料庫「AIST++」,包含長達 5.2 小時的 1408 個 3D 舞蹈動作序列,涵蓋 10 種舞蹈類型。都包含了已知相機位置的多視角影片,可生成逼真流暢的 3D 舞蹈動作。

Google 提到:雖然隨著音樂節拍編排出動作,是人類的本能;然而舞蹈是「需要練習」的藝術形式。專業的舞者都需要經過大量的、包含各式各樣舞步的曲目來訓練,才有編舞能力。這樣的訓練,對人類來說已不容易;對 ML(Maching Learning,機器學習)來說更是難上加難。因為要使用人工智慧來實現編舞,需要生成動力複雜度高的連續動作,同時還要捕捉動作與配樂間的非線性關係。

人工智慧如何學舞?Google修正AIST舞蹈資料庫成教材

Google 從現有的 AIST 舞蹈影片資料庫(一組帶有音樂伴奏的舞蹈影片,但無任何 3D 信息)生成 3D 動作資料庫。AIST 包含 10 種舞蹈類型:Old School(地板舞 Breaking、機械舞 Popping、鎖舞 Locking 和 Waack)以及 New School(Middle Hip-Hop、LA-style Hip-Hop、House、Krump、Street Jazz 和 Ballet Jazz),雖然包含了許多舞者的多視角影片,但鏡頭都沒有經過校準。Google 依研究人員的需求,根據常用的 SMPL 3D模型參數,修復 AIST 影片的拍攝校準正後的數值和 3D 人體動作,重建為「AIST++ 數位資料庫」,包含與音樂搭配的各種 3D 動作,並將上述十種舞蹈均勻地呈現在動作中、以每分鐘節拍 (BPM) 為單位涵蓋各種音樂節奏。每種舞蹈類型都含 85% 的基本動作和 15% 的進階動作(舞者自由設計的更長編舞)。

未經修正的 AIST 舞蹈影片資料庫如下所示:

Google 依研究人員的需求,根據常用的 SMPL 3D 模型參數,修復 AIST 影片的拍攝校準正後的數值,以及 3D 人體動作,重建為「AIST++」數位資料庫。重建後的「AIST++」包含與音樂搭配的各種 3D 動作,並將上述十種舞蹈均勻地呈現在動作中、以每分鐘節拍 (BPM) 為單位涵蓋各種音樂節奏。每種舞蹈類型都含 85% 的基本動作和 15% 的進階動作(舞者自由設計的更長編舞)。

AIST++ 數位資料庫還包括多視角同步圖片資訊,以便於應用在其他研究(如 2D/3D人體姿勢評估)。就我們所知,含有 1408 個序列、30 個主題和 10 個舞蹈流派的 AIST++ 是當前最大的 3D 人類舞蹈資料庫。

Google 使用 SMPL 3D 模型參數,將 AIST 舞蹈影片資料庫(上圖左)重建為具有 3D 動作的「AIST++」數位資料庫(上圖右)

AIST 資料庫原作為教學使用,記錄了多個真人舞者以相同的編舞搭配不同配樂的舞蹈影片——這是舞蹈中的常見作法。由於模型需要學習音樂和動作間的一對多布局,因此在跨模型序列到序列生成(cross-modal sequence-to-sequence generation)中,斷定是獨一無二的挑戰!Google 在 AIST++ 上仔細構建了非重疊訓練(non-overlapping train)和測試子集,以確保在子集間既不共享編舞、也不共享音樂。

 

下篇請看此連結

 

相關文章:

油價漲免驚!Google Maps 用人工智慧規劃「最省油路線」

人類又輸了?工程師需花數月設計出IC晶片,AI六小時就搞定!

人工智慧幫你診斷皮膚疾病!Google AI鏡頭變身皮膚科幫手

生物學最大謎團被人工智慧 破解!DeepMind 攻克「蛋白質折疊」奧秘

人工智慧讓你不懂代碼也能成為寫程式達人!(上)

以色列靠AI人工智慧將軍事戰力再升級!(上)

人工智慧GPT-3成為超強寫手勝過人類(上)

 

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

這個網站採用 Akismet 服務減少垃圾留言。進一步瞭解 Akismet 如何處理網站訪客的留言資料