Почему я могу отличить флейту от трубы?

Здесь происходит несколько разных вещей:

1. Спектр музыкального инструмента довольно сложен, в нем участвует множество различных частот, и они должны быть достаточно точно сбалансированы, чтобы он звучал правильно. Маловероятно, что вы случайно наткнетесь на правильное сочетание гармоник, играя на таком синтезаторе, как этот апплет. Но если, например, вы смотрите на таблицу относительной интенсивности различных пиков для определенного инструмента, то вы будете знать, где установить ползунки, и таким образом вы сможете подобраться достаточно близко, чтобы вас можно было распознать. С некоторыми инструментами (флейтами и гитарами) это проще, чем с другими (медные духовые) из-за относительной сложности спектров.
2. Даже если вам удастся точно определить относительную интенсивность гармоник, в спектре есть нечто большее — другими словами, частоты, кратные частоте проигрываемой ноты, не единственные, которые имеют значение. . Настоящий инструмент представляет собой сложную систему с множеством различных резонансных мод, которые можно возбуждать в различных пропорциях, и не все из них являются гармониками. Чтобы получить что-то, что звучит лучше, чем дешевый MIDI-синтезатор, вам нужно продублировать все эти режимы. (Это может потребовать больших вычислительных ресурсов, поэтому дешевые MIDI-синтезаторы звучат нереально: они воспроизводят только самые большие 6-10 пиков в частотном пространстве.)
3. На самом деле, это даже не так просто, как просто говорить об инструменте: вы также должны учитывать музыканта, акустическую среду (реверберацию и т. д.) и даже исполняемую ноту. Один и тот же инструмент может иметь немного другой спектр, когда он играет высокую ноту, а не низкую, например, из-за негармонических режимов. Мы привыкаем слышать эти различия в музыкальном исполнении. Поэтому, когда вы пытаетесь синтезировать ноту, не внося корректировок на основе абсолютной частоты, она звучит механически.
4. И, конечно же, есть вещи, упомянутые в других ответах о тонких регулировках амплитуды и частоты, которые музыканты намеренно или нет делают во время игры. Это тоже эффекты, к которым мы привыкли слышать в реальных музыкальных исполнениях, и мы замечаем разницу, когда они отсутствуют.

Для реальных физических инструментов неверно, что гармоники являются целыми кратными основной гармоники. Близко, как правило, но есть небольшие отклонения. Кроме того, ни один музыкант не играет идеально ровной ноты. Существуют случайные небольшие вариации высоты тона и громкости, и они имеют разные характеристики на разных инструментах.

Основное отличие заключается в медленных амплитудных и частотных модуляциях естественных инструментов, которые слегка изгибают ноту. Электронный инструмент, конечно, может производить эти эффекты, но они не являются естественными вещами, которые можно найти в пространстве Фурье. Чтобы воспроизвести ноту, которая постепенно затухает или немного смещается по частоте, вам нужен особый выбор амплитуд для очень низких частот по сравнению с основным тоном, и вы не найдете их путем слепого поиска в пространстве обертонов.

Вы можете использовать запись естественного инструмента, чтобы найти приемлемую характерную последовательность обертонов, и это воспроизведет узнаваемое факсимиле инструмента серии Фурье, но он будет звучать деревянно и жестяно без добавления амплитудных и частотных модуляций.

Одна вещь, которая еще не была указана (я думаю), это то, что частотный спектр инструмента меняется со временем. Так что не только обертоны имеют значение, но и меняются со временем.

Некоторые синтезаторы могут на самом деле синтезировать звуки с заданным частотным спектром, и в сочетании с другими эффектами, которые каким-то образом изменяют синтезированный звук (например, фильтр нижних частот, который со временем меняет частоту среза), это может создавать звук, который довольно хорошо напоминает инструмент. Однако в реальном инструменте так много переменных, что смоделировать их все невозможно, и поэтому синтезированный звук будет звучать несколько иначе.