NSynth представляет собой один из интересных проектов, созданных исследовательской командой Google Magenta и предназначенных для любителей музыкального творчества. Эта нейронная сеть была обучена на более чем 300 000 различных инструментальных звуков, что позволило ей создавать совершенно новые тембры. Проект представляет собой эксперимент на пересечении технологий машинного обучения и музыкального искусства. Интересно в нем то, что он является не просто инструментом для наложения звуков, а реализует принципиально новый подход к синтезу звука.
Технологическая основа проекта
NSynth построен на базе TensorFlow с использованием архитектуры автоэнкодера в стиле Wavenet и библиотеки Tone.js. Система анализирует основные характеристики каждого отдельного звука, изучает его акустические свойства на глубинном уровне. В отличие от традиционных синтезаторов NSynth не просто генерирует ноты или накладывает звуки друг на друга – он создает полностью новые тембры, основываясь на изученных характеристиках исходных инструментов. Этот подход позволяет получать неожиданные звуковые комбинации, которые невозможно создать традиционными методами.
Узнать детальнее о том, каким образом работает инструмент, можно непосредственно на сайте NSynth:
Или же ознакомившись с информацией на официальном сайте компании Magenta:
С момента запуска в 2017 году проект значительно эволюционировал. Если изначально NSynth Sound Maker существовал только лишь в качестве программного обеспечения, то позже появилось специальное устройство NSynth Super. Это открытое аппаратное решение позволяет одновременно комбинировать четыре различных звука, создавая уникальные тембры. Стоит отметить, что открытый исходный код устройства позволяет энтузиастам не только использовать готовое решение, но и модифицировать его под свои потребности.
Практическое воплощение
Команда Google разработала специальное устройство NSynth Super, которое позволяет музыкантам взаимодействовать с этой технологией в режиме реального времени. Центральным элементом управления является сенсорная панель X/Y, разделенная на четыре квадранта. Каждый квадрант может быть назначен определенному инструменту, а перемещение пальца по панели создает новые гибридные звуки. Например, при смешивании флейты и малого барабана получается совершенно неожиданный звук со стеклянным, почти острым характером, который не содержит явных признаков ударного инструмента.
Творческие возможности
Интересно, что NSynth можно использовать не только для создания музыки в традиционном понимании этого слова. Комбинирование необычных звуков (например, грома с мяуканьем кошки) может создавать совершенно неожиданные звуковые эффекты, которые могут найти применение в создании звукового дизайна для фильмов, видеоигр или инсталляций. Это открывает новые горизонты для звукорежиссеров и создателей контента. Здесь NSynth послужит полезным инструментом для генерации своеобразных звуковых ландшафтов.
Многие считают, что платформа NSynth предлагает увлекательные возможности для музыкального образования — особенно при работе с детьми. В библиотеку звуков включены не только традиционные музыкальные инструменты, но и разнообразные природные звуки – лай собаки, мяуканье кошки, мычание коровы и раскаты грома. Такое разнообразие звуков делает процесс обучения более увлекательным и помогает детям лучше понимать базовые музыкальные концепции (например, тембр, смешение звуков и прочие). Простота интерфейса позволяет даже начинающим музыкантам экспериментировать со звуком без необходимости углубляться в технические детали.
Недостатки
Несмотря на инновационность подхода, у технологии есть свои ограничения. Качество синтезированного звука может быть непредсказуемым, а некоторые комбинации инструментов могут давать неожиданные и не всегда музыкально приемлемые результаты. Еще один минус состоит в том, что система требует значительных вычислительных ресурсов, что может ограничивать ее применение на практике. Однако сам факт открытости проекта и публикация исходного кода на Github позволяет энтузиастам экспериментировать с технологией и развивать ее дальше.
Однако, вопреки имеющимся недостаткам, все же NSynth представляет собой смелый эксперимент на стыке технологий и музыки, демонстрирующий потенциал искусственного интеллекта в создании новых творческих инструментов. Проект показывает, как машинное обучение может расширять границы музыкального восприятия при помощи неожиданных тембральных решений. Открытый исходный код и аппаратные разработки позволяют сообществу разработчиков и музыкантов продолжать исследовать и развивать технологию. Как полагают эксперты портала Креатор Проджект, даже несмотря на текущие ограничения NSynth уже сегодня открывает новые перспективы для экспериментов в области звукового искусства.
