全國電子音樂交流中心

AI+ | 藝術:人工智能DJ

Frontiers2020-03-26 16:18:34

導讀

自動音樂生成(automatic music generation)在游戲、虛擬環境和娛樂產業等多種領域中都有所應用,電子舞曲(electronic dance music,EDM)領域就是其中之一。最近,有科學家提出了一種新的基于深度學習的系統,可以像DJ一樣,實現不同流派的音樂之間,音軌的自動化過渡。

來源/雷克世界

文章僅代表作者本人觀點


我們描述了一個基于深度學習的系統,該系統可以在電子舞曲(electronic dance music, EDM)領域中生成鼓點模式(drum pattern)。實驗結果表明,這種生成的模式可以用于在不同的流派之間產生音樂性的聲音和具有創造性的過渡,而這一生成過程對于該領域的從業者來說是意義重大的。

自動音樂生成(automatic music generation)是一個快速發展的領域,在游戲、虛擬環境和娛樂產業等多種領域中都有所應用。有關目標和技術的詳細說明將在文中介紹。電子舞曲(electronic dance music,EDM)領域是自動生成看起來特別有發展前景的領域之一,因為它以其明確定義的體裁形式為特征,具有高度受限的重復性結構。在這個領域中,在舞蹈俱樂部和廣播電臺中進行操作的“傳統”唱片騎士(DJ)的典型任務是在給定播放列表的連續音軌之間獲得無縫過渡。當單個歌曲音軌完全是預先錄制時,DJ可用的主要工具是將通過節拍匹配(beatmatching)精確同步每分鐘的節拍(beats-per-minute,BPM)和感知上平滑的交叉淡入淡出(crossfading)(即逐漸降低一個音軌的音量,同時增加其他音軌的音量)相結合,偶爾借助均衡器和其他諸如混響、移相器(phaser)或延遲等在商用混音控制臺中通常可用的效果。然而,自20世紀90年代初以來,DJ便已經越來越普遍地利用采樣器和合成器,這些采樣器和合成器可以用于生成(作曲)即時、新穎的音樂部分,從而與預先錄制的素材相結合。像DJ Shadow和DJ Spooky這樣的藝術家確實已經證明了,劃分DJ和電子音樂作曲的界限可能非常模糊。?

圖1:用于內插鼓點模式的變分自編碼器的體系結構。頂部:編碼器;底部:解碼器。

在本文中,我們探討了當連續音軌屬于不同流派時,音軌過渡的自動化。以前所嘗試的自動音軌過渡都局限于時間伸縮(time-stretching)和交叉淡入淡出,本質上是模仿傳統DJ的人工工作。雖然這些方法可以有效地實現預先錄制好的音軌(特別是當音軌保持在相同音樂流派)之間進行無縫融合的目標,但它們幾乎不符合當代場景,即DJ和作曲家通過創造性的方式進行跨越流派的過渡以尋求藝術上有趣的結果。因此,我們提倡一種完全不同的視角,即由計算機自動生成(作曲)新的音樂素材,以便平滑地實現從一種流派到另一種流派的過渡。我們希望,通過以一種自動的方式探索這個平滑的音樂空間,我們可以創造出對音樂家有用的素材,作為他們創作和表演的新元素。因此,在這種新方法中,我們將過渡視為它們自己的作曲設備。根據長度的不同,過渡在舞曲中具有不同的功能:它們可以是短時間上的瞬時音效(momentary sound effect),或者可以與更長時間尺度上的頻率掃描(frequency sweep)相媲美,或者甚至可以在更長時間尺度上作為自動生成的基礎,無論在現場表演還是后期制作中都可以添加音樂層。

圖2:EDM數據集中的十個樣本鼓點模式。(1):低音鼓(2):小軍鼓(3):閉合hi-hat(4):開放hi-hat(5)rimshot(6):cowbell。像素強度對應于MIDI速度。第一排:放克電子(Electro-Funk);中間兩排:IDM; 底部兩排:Techno。

可以這樣說,構建一個涵蓋整套工具的通用插值工具超出了本文的范圍。EDM領域中的流派類型主要是由鼓樂器(drum instruments)的基本節奏結構決定的。因此,通過將這些鼓點樣本作為實驗的音樂素材,便可以回避與其他音樂領域的流派類型相關的諸如和聲、旋律和音色等方面的復雜性。與此同時,該領域仍然非常復雜,適合于諸如DJ、制作人和電子音樂家等音樂專業人士在現實世界中加以使用。?

圖3:通過在其表示的空間中插入鼓點模式來構建過渡。

為了調查深度學習在舞蹈音樂流派之間進行轉換的潛力,我們設計了一個基于變分自編碼器(variational autoencoders)的學習系統,我們在一個我們所創建的不同流派的節奏模式數據集對其進行訓練訓練,然后我們要求它在兩個給定節奏模式之間生成插值。這種轉換由一系列的節奏模式組成,從來自一個流派的給定模式開始,并以一個給定的目標模式結束(可能來自另一個流派)。而兩者之間的連接模式是由經過訓練的系統本身所產生的新的節奏模式。同樣,我們還開發了一種自動擊鼓器(autonomous drummer),通過移動生成對抗網絡的噪聲空間,平滑地探索EDM鼓點模式空間。我們構建了一個實驗性的軟件工具,使得從業人員能夠通過將學習系統嵌入Ableton Live(這是EDM生產社區內部常用的音樂軟件工具)來創建插值。最后,對于我們所提出的用于創建插值的過程和產生的音樂材料,由一組專門為這項研究而招募的音樂家進行全面評估。

圖4:頂部:在兩個MNIST字符之間的模式空間(即,淡入淡出)中的插值;底部:表示空間中的插值。

可以這樣說,我們的工具已經有了很大的潛在性應用。首先,它可以用來改進生產(和傳送)鼓點模式庫的過程,因為經過訓練的網絡可以以已訓練數據所表示的風格生成大量的模式。其次,它可以以新的方式支持舞蹈音樂家的工作流程。所生成的插值音軌可以記錄在工具內部,以創建用于后期制作或現場表演的片段,作為DJ或樂器演奏者可以將更多的音樂元素進行分層的基礎。除此之外,VAE或GAN可以在由個人用戶所制作的材料上進行訓練,從而為用戶提供高度自定義的軟件工具,這種軟件工具“知道”他們的個人風格,并且能夠以這種風格產生新的鼓曲目以用于后期制作或演出。

在這項研究中,有若干個方向可以進一步豐富鼓聲空間,包括為那些需要節奏隨時間變化的音軌生成節奏,以及用于在一個寬的音集里為選擇鼓聲所需要的附加信息的產生。一個更加有意義、挑戰性更大的方向是擴展我們在EDM中生成整套樂器(低音線、導線、墊片等)的方法,這不僅涉及音符起點(note onsets),而且還涉及音高和持續時間,而對于這一方向的研究,未來還要很大的探索空間。


原文來源:https://arxiv.org/pdf/1804.09808v2.pdf

作者:Tijn Borghuis、Alessandro Tibo、Simone Conforti、Luca Canciello、Lorenzo Brusci、Paolo Frasconi

「雷克世界」編譯:嗯~是阿童木呀、EVA


@雷克世界

版權聲明

本文版權歸雷克世界,轉載請自行聯系



「推薦閱讀」 

【深度】譚鐵牛院士談人工智能發展新動態

【干貨】新一代人工智能發展白皮書(2017)(附完整版PDF)

??AIdea | 邁克爾.喬丹 :人工智能,革命尚未到來

? AIdea | 安迪·克拉克的意識延展論

?集異璧作者侯世達吐槽谷歌翻譯:AI讓譯者失業?還早著呢!

??AI+ | 物理學:基于智能全局優化算法的理論結構預測

??AI+ | 軍事:當排爆機器人變成武器



福建快三开奖结果走势