😥 Проблема: почти вся современная музыка основана на сэмплировании, когда в новой композиции используют кусочки готовых аудиозаписей. Например, воспроизводят целый фрагмент, добавляют звучание нужных инструментов и так далее. Это дешевле, чем нанимать музыкантов и записываться в студии, и делает творчество доступнее.
Особый вид сэмплов — барабанные брейки, или сбивки, которые задают ритм. Например, самый первый барабанный сэмпл из песни Джемса Брауна Funky Drummer использовали более чем в 1700 песнях разных артистов и коллективов, в том числе Run-D.M.C., Enigma, Prodigy, Black Eyed Peas, Ники Минаж и Хаски.
В девяностых записывали сборники барабанных сэмплов, но сегодня брейков настолько много, что подбор подходящего занимает очень много времени и энергии.
😎 Решение: модель SampleMatch, которая подбирает барабанные брейки для новых музыкальных композиций.
Если обычные сэмплы можно подобрать автоматически по типу и признакам, то с барабанными так не получится. Непонятно, какие параметры определяют, подойдёт брейк к новому треку или нет. Поэтому модель обучили на данных уже существующих композиций с удачными звуковыми парами из инструментальной музыки и соответствующих барабанных партий.
Можно сказать, что модель научилась слушать музыку как человек. Она проанализировала 4830 треков электронной музыки и 885 поп- и рок-песен и научилась искать для новых треков подходящие брейки и даже сортировать их по соответствию. Модель планируют доработать, в частности научить создавать подходящие брейки и работать с другими сэмплами, например гитарными и басовыми.
📺 Посмотреть:
🧑💻 Кто: исследователи Sony Computer Science Laboratories, Франция.
Источники: techxplore.com и arxiv.org
