Почему MIDI-музыка, синтезированная программным обеспечением, звучит так плохо?

Кажется, что преобразование MIDI в звук должно быть достаточно простым: записать все возможные ноты, а затем просто наложить отдельные звуки в соответствии с данными MIDI (смещения, длительность и громкость), и сжать результат в MP3 или отправить на звуковую карту. .

Тем не менее, синтезаторы MIDI, которые я пробовал ( timidityв Ubuntu и некоторых других, которых я не помню), звучат искаженно и в целом намного хуже, чем записи MP3 реальных музыкантов.

Почему это?

Обновление: я только что попробовал Fluid Synth на Ubuntu, который использует около 100 МБ «звуковых шрифтов», сжатых. Вроде стало намного лучше, но все равно плохо.

Звуковые карты обычно не декодируют MP3. MP3 декодируется в PCM перед отправкой на звуковую карту, а программные синтезаторы просто переходят прямо в PCM (или сэмплеры просто считываются из файлов PCM).
Я думаю, вы сильно упрощаете. Один готовый миди-файл, воспроизведенный на другом готовом наборе семплов, вряд ли сможет соответствовать нюансам, которые мог бы получить даже неквалифицированный создатель, используя один и тот же источник как для создания, так и для воспроизведения.
Попробуйте профессиональное MIDI-программное обеспечение, такое как Trillian Bass, Steven Slate Drums или Vienna Symphonic Library .
Программные инструменты, которые вы пробовали, не относятся к соответствующей весовой категории. Приличный «звуковой шрифт» для одного инструмента обычно занимает DVD или дюжину DVD и стоит сравнимо с приличным физическим инструментом.
«Кажется, преобразование MIDI в звук должно быть достаточно простым». Может ли ОП быть физиком ? :-)

Ответы (8)

MIDI - это только спецификация того, какой инструмент (патч) использовать, какие ноты играть, как долго и громко играть ноту и другие вещи, такие как темп, тактовый размер и текст текста. Концепция очень похожа на то, как работает старое пианино. Миди-данные похожи на пианино, звук, который вы слышите, — это физический звук, возникающий при ударе молоточков по струнам. Точно так же звучание музыки при воспроизведении через спецификацию MIDI зависит от качества звуков патча. Можно даже подключить MIDI-соединение к машине, которая играет на физических акустических инструментах и ​​может звучать великолепно. Точно так же я мог бы дать вам набор моего пения для каждого инструментального патча, и это звучало бы ужасно. Все зависит от набора патчей, который у вас есть, или от инструмента, к которому вы подключили MIDI-секвенсор или контроллер.

Примером того, как качество звука может быть разным, является то, что в 90-х годах была игра под названием Doom II, в которой для музыки использовались MIDI-файлы. В зависимости от того, какая у вас звуковая карта, игра будет звучать лучше или хуже из-за качества патчей инструментов, которые включены в вашу звуковую карту. Можно было даже подключить MIDI-кабели от компьютера к внешнему синтезатору и использовать там синтез звука. Однажды мы подключили его к Kurzweil K2000, и это было похоже на живую музыку, играющую для вас музыку Doom II во время игры.

Как протокол и формат файла, MIDI оказался на удивление удачным и почти не нуждался в пересмотре за последние 30 с лишним лет. Хотя в начале 2015 года Ассоциация производителей MIDI объявила о разработке нового протокола MIDI «HD».

В Фениксе есть орган Wurlitzer (в пиццерии), который делает именно то, что вы описываете; сложная программно-аппаратная система на основе MIDI управляет не только несколькими десятками реальных органных упоров, но и дополнительным набором инструментов от фортепиано и ксилофонов до различных деревянных духовых и духовых инструментов и даже пары гитар.
Однако стандарт MIDI находится на рассмотрении; идея состоит в том, чтобы, во-первых, увеличить разрешение различных непрерывных элементов управления, таких как скорость и модуляция, а во-вторых, стандартизировать некоторые виды использования MIDI для программного управления, такие как HUI, которые в настоящее время используют более или менее проприетарную комбинацию NRPN. Все это при сохранении обратной совместимости с более чем 30-летним оборудованием и программным обеспечением, разработанным для использования MIDI «1.0».
Это также может представлять интерес. Пару лет назад я снял видео для climagic, демонстрирующее, насколько компактным может быть формат MIDI-файла: youtube.com/watch?v=zRF1S-8P6_k Мне удалось уместить короткий MIDI-файл и его декодер в твит длиной 140 символов.
«MIDI оказался на удивление искусным и за последние 30 с лишним лет почти не нуждался в пересмотре», ну… я бы сказал менее лестно: люди разработали все больше обходных путей, чтобы компенсировать неадекватность MIDI, потому что никому не было дела до этого. внедрить надлежащий стандарт замены .

MIDI не звучит. Спецификация MIDI не диктует, как звучит тот или иной инструмент, синтезатор должен генерировать звук. Бесплатные синтезаторы звучат как дерьмо, но хорошие могут звучать так же хорошо, как их создатели могут сделать. Например, саундтрек к «Пиратам Карибского моря» полностью синтезирован, но большинство людей даже не осознают этого.

«MIDI не звучит». – собственно, и вот собственно весь ответ на вопрос. — Я не совсем согласен с тем, как вы противопоставляете бесплатные/плохие синтезаторы хорошим — правда в том, что некоторые из более дорогих позволяют добиться результатов, близких к человеческому исполнению на реальном инструменте; но в конечном итоге качество во многом зависит от того, насколько хорошо аранжировщик знает конкретный синтезатор. Профессиональные синтезаторные произведения обычно представляют собой не только MIDI, по крайней мере, не в традиционном смысле GM: требуется много динамической настройки всех необходимых параметров.
(И FWIW, я не думаю, что окончательный саундтрек к «Пиратам Карибского моря» полностью синтезирован (хотя Циммер, по-видимому, сделал предварительный просмотр полного синтезатора); по крайней мере, некоторые из менее напыщенных пассажей сыграны на реальных инструментах.)
Действительно, существуют MIDI-контроллеры со многими источниками модуляции, смоделированными по образцу реальных инструментов, так что исполнители могут придавать все виды экспрессии, которые затем переводятся в компьютерный код. Даже с очень скромным синтезатором это может привести к совершенно уникальной и предельно выразительной музыке. Все дело в том, как вы его используете. Типичный MIDI-файл из Интернета не содержит ничего, кроме значений нот и длительности, тогда как в нем НАМНОГО больше информации, чем в большинстве музыкальных исполнений.
* Теоретически нет никаких причин, по которым вы не могли бы перевести каждый бит информации из музыкального исполнения в MIDI, если бы у вас были рабочие модели акустики и звуковых генераторов.
Согласно Википедии , по крайней мере, для первого саундтрека к «Пиратам» были настоящие музыканты (микшированные с секвенсорными звуками).
Я думаю , что на телевидении очень распространено использование секвенсора, а затем наложение настоящего скрипача и исполнителя на деревянных духовых инструментах поверх него, просто чтобы сделать это менее отстойным. Но Голливуд? Хех, этот Циммер странный.
Извините, если задуматься, где , черт возьми , эта статья в Википедии говорит, что (часть) саундтрека была секвенирована? В нем говорится, что Циммер сначала создал секвенированное демо, но это 100% стандартная практика, особенно с «композиторами», которые не могут оркестровать (отсюда возьмут оркестратор и копировщик). Вы не заказываете оркестровую сессию только для того, чтобы услышать, как директор говорит вам: «Эй, на самом деле это отстой, мы это не используем».
@SomeDudeOnTheInterwebs: я так интерпретировал эту часть . Мой комментарий был призван опровергнуть, что он был "целиком синтезирован", не надо злиться...
Да, ты прав. Там упоминаются сэмплы ударных и прочее. Хотя я не вижу ссылок на этот абзац, так что это может быть что-то, что автор придумал.

MIDI — это просто поток инструкций, например:

  • "Скажи каналу 1 включить Note 60"
  • "Скажи каналу 2 выключить Note 72"
  • «Скажите каналу 3 установить для параметра 1 значение 231»

Существует набор соглашений, таких как:

  • Канал 1 — пианино, 34 — электробас и т. д.
  • Параметр 1 — модуляция, 7 — громкость, 64 — сустейн и т. д.

Это называется General MIDI ( Википедия ).

General MIDI был указан позже, чем сам MIDI. Пользователи MIDI могут свободно использовать любой инструмент на канале 1. Вам даже не нужно управлять инструментом — MIDI можно использовать для управления светом или чем-либо еще.

Если вы получаете MIDI-файл из Интернета, скорее всего, он написан для GM, но иногда это не так.

Представьте себе простейший случай MIDI-файла — запись одного человека, играющего фортепианную партию на клавиатуре. Это немного похоже на то, как заставить робота точно имитировать движения пианиста, а затем посадить робота за клавиатуру другого инструмента.

Если робот сидит за хорошим пианино, он, вероятно, будет хорошо звучать. У этого фортепиано может быть не совсем такая же реакция скорости нажатия клавиш на громкость, поэтому экспрессия будет звучать немного иначе. Но это будет звучать очень хорошо.

Если вы посадите робота за игрушечную клавиатуру, он, скорее всего, будет звучать ужасно. Хороший музыкант, вероятно, смог бы добиться приличного звука из этой игрушечной клавиатуры. Но здесь музыкант «играл» на хорошем инструменте, и его ввод был перенесен на другой инструмент, поэтому он не может учитывать его ограничения.

Потом все остальные параметры. Какое влияние на звук оказывает "модуляция 127"? Насколько "100 питч бенд" меняет высоту тона? Даже когда GM указывает это, не все реализации делают это правильно.

Затем умножьте его на количество инструментов и примите во внимание, что если бы вы занимались мастерингом своего собственного музыкального произведения, вы бы настраивали аспекты, которые GM не указывает, и становится очевидным, почему воспроизведение MIDI может звучать ужасно.

Высококачественный «звуковой шрифт» — набор вещей, которые переводят события в звуки — может улучшить ситуацию, но даже в этом случае вы не достигнете стандартов полноценной профессиональной записи.

Многие записи электроники полностью состоят из секвенсорных MIDI-инструментов, но музыканты также тщательно настраивают свои инструменты и эффекты, чтобы получить желаемое звучание.

Очень весело отправлять MIDI-файлы на встроенные звуки самой дешевой звуковой карты, которую вы можете найти, и играть в «угадай мелодию». Или поменять местами инструменты.

Кажется, что преобразование MIDI в звук должно быть достаточно простым, записать все возможные ноты, а затем просто наложить отдельные звуки в соответствии с MIDI-данными (смещения, продолжительность и громкость) и сжать > результат в MP3 или отправить его на звуковую карту. .

И такое мышление (то есть неправильное) дает именно те результаты, которые вы слышите.

Прежде всего, у вас есть две основные проблемы.

а. Хреновые звуковые цепи.

б. Дерьмовые последовательности

Давайте посмотрим, почему.

  1. На других инструментах, кроме фортепиано, нет двух одинаковых нот. Скажем, гитара. Есть миллион способов изменить звучание ноты на гитаре. Выберите между медиатором, пальцами, пальцами, и у вас будут разные звуки. Выберите, где ладить одну и ту же ноту, и у вас будут разные звуки. - или регистрирует.

  2. Электрические инструменты и эффекты, широко используемые в производстве музыки, часто нелинейны. Если вы вводите две ноты в перегруженный гитарный усилитель, выходной сигнал не будет суммой отдельных нот. Даже старые добрые акустические пианино имеют так называемый симпатический резонанс.

Вы решаете эту проблему с помощью хорошей специальной цепочки инструментов + эффектов, решая проблему а, но timidityдаже не квалифицируя ее.

Я говорю специально, потому что для игры в Limp Bizkit вам нужны другие настройки, чем для игры в госпел, в реальной жизни и на компьютере. Вам нужно соединить правильные эффекты, правильные сэмплы и т. д. Вы же не хотите воспроизводить свою миди-партию Limp Bizkit с сэмплом малого барабана, не так ли? Если вы хотите сделать это правильно, вы также хотите, чтобы ваши виртуальные инструменты могли интерпретировать данные артикуляции (позицию выбора и т. д.), которые обычно передаются через файлы CC. Это очень сложно. Настолько сложно, что на самом деле люди просто предпочитают записывать настоящую гитару.

  1. Артикуляция и экспрессия. Даже на чем-то сравнительно несложном, таком как фортепиано, настоящий пианист не играет как робот, как плохо запрограммированный секвенсор, где каждая нота соответствует 1/8, 1/16, а глиссандо или «изгибы» совершенно линейны .

  2. Люди, которые делают миди-файлы, которые вы можете найти в Интернете, обычно довольно ленивы и вдобавок предоставляют вам плохие транскрипции, в которых отсутствует даже тривиальная артикуляция.

Если вы просто воспользуетесь выходным сигналом секвенсора, исполнение будет звучать роботизированно и лишено экспрессии, что неудивительно, даже если вы сделаете правильную артикуляцию и орнаментацию. Но если вы запишете ноты, сыгранные настоящим музыкантом, скажем, на MIDI-клавиатуре и MIDI-гитаре, результаты будут совсем другими.

Это заботится о б.

А теперь я сброшу бомбу, друг.

Большая часть того, что вы слышите по радио в наши дни, это MIDI.

Оборудование для записи и редактирования использует MIDI, и большинство фонограмм либо секвенированы, либо записаны через MIDI. Даже автонастройка вокального трека, вероятно, управляется событиями MIDI.

И если вы идете на живой концерт, они, вероятно, используют тайм-код и события MIDI для управления световым шоу и цепочкой эффектов на педалборде гитариста.

Дело в том, что Селин Дион не использует timidityдля своих минусовок, а ее продюсеры тратят некоторое время на последовательности.

Бесплатные звуковые шрифты, обычно устанавливаемые вместе с Timidity, имеют очень разное качество. Маршрутизация воспроизведения через какой-нибудь винтажный миди-расширитель хорошего качества значительно улучшит результаты, а маршрутизация его через какое-нибудь достаточно актуальное предложение хорошего качества даст некоторые дополнительные улучшения при гораздо более портативном аппаратном размере. Естественно, задействованные здесь аналоговые тракты снова снизят качество.

Вы можете несколько улучшить действие Timidity, поработав с другими звуковыми шрифтами и настроив его параметры, но на самом деле это не идет ни в какое сравнение.

Могут быть некоторые коммерческие программные MIDI-расширители, которые хорошо справляются со своей задачей, но их ожидаемый срок полезного использования намного меньше, чем у аппаратных расширителей (аппаратные расширители, вероятно, будут продолжать работать через 20 лет, а программные расширители - нет, если вы не держите с собой некоторое оборудование + ОС). ) и есть много различий по цене и качеству. И они вряд ли будут работать в GNU/Linux и могут действовать вам на нервы схемами DRM/лицензирования.

Снабжение хорошего MIDI-расширителя хорошими MIDI-данными на самом деле будет производить звук, весьма полезный для ряда целей (частично в зависимости от того, на чем специализируется MIDI-расширитель). Некоторые инструменты с непрерывным и «аналоговым» управлением, такие как соло-струны, довольно трудно убедительно воспроизвести, особенно если не используются непрерывные MIDI-контроллеры (аналоговые педали, MIDI-аккордеон или духовой инструмент с датчиком давления и т. д.): в этом отношении струнные секции работают лучше.

здесь возможны 2 проблемы.

1) Миди-файл создается прямо из нот. каждая нота начинается точно в нужное время и длится точную продолжительность, а скорость всех нот равна 100. Это делает песню абсолютно бесчувственной. Если у вас есть музыкант, играющий песню с выразительной скоростью, вариациями темпа, улучшенной аранжировкой, то она будет звучать намного лучше.

2) Синтезатор, который вы используете, может быть хромым. Кажется, Робкость использует звуковые шрифты. Это довольно старая технология, где частота дискретизации не всегда соответствует качеству компакт-диска, сэмплы представляют собой короткие петли и не очень много сэмплов на инструмент. Современные программные синтезаторы обычно имеют массу перекрывающихся сэмплов на инструмент.

В любом случае, если вы музыкант, это могут быть единственные ноты вашей любимой поп-песни, которые вы найдете. Я считаю эти вещи бесценными.

Музыка на основе MIDI будет так же хороша, как и ее дизайнер. Дело не в том, что качество звука музыки на основе MIDI плохо по своей природе; окончательные результаты зависят от того, кто разработал MIDI и кто его использует. Другими словами, если это звучит плохо, то это из-за людей, связанных с этим. Даже если вы не разрабатывали его, а просто используете, вы несете ответственность за качество его вывода, поскольку вы решаете, какое устройство с какими настройками будет использоваться.

В музыкальном дизайне MIDI есть две отдельные области:

  1. MIDI-файл. Если это было снято, качество будет зависеть от исполнителя. Если он был запрограммирован, то качество будет зависеть от дизайнера/программиста. Здесь (пока) не задействован звук, поэтому вы можете думать об этом шаге как о качестве вырезания инструкций, которые позже будут интерпретированы устройством, понимающим MIDI.

  2. Звуковой дизайн. Теперь инструкции нужно интерпретировать чем-то вроде сэмплера, драм-машины, синтезатора. Качество здесь зависит как от устройства, которое вы используете, так и от ваших навыков звукового дизайнера.

Если вам не нравится результат, значит, что-то пошло не так на этих шагах.

Вы не даете много подробностей, поэтому трудно точно знать, что не так в вашем случае. Я не знаком с Timidity, но если это синтезатор (субтрактивный, FM и т. д.), то вы сами его программируете, поэтому качество вывода является отражением вашего мастерства. Если Timidity — сэмплер, возможно, сэмплы низкого качества. Возможно, искажение возникает из-за отсечения, это может быть много вещей.

Искажений быть не должно, поэтому попробуйте использовать синтезатор хорошего качества и/или сэмплер хорошего качества с семплами хорошего качества.

Они звучат «плохо», потому что они не созданы естественным путем. Это не звуки акустических инструментов, которые имеют гораздо более широкий набор характеристик, чем просто отдельные частоты, звучащие в определенное время.

Неправильно и легко фальсифицируемо. Кроме того, единственные «естественно созданные звуки» — это пение птиц, Мать-природа не делает духовых органов.