От звука к нотам

От звука к нотам: как нейросети научились слышать музыку.

Эволюция технологии audio-to-MIDI — от первых FFT-алгоритмов до трансформеров, пишущих партитуры.

Звук — это волна. Ноты — это символы. Между ними пропасть, которую музыкальная наука пытается преодолеть более полувека. Сегодня, в 2026 году, эта пропасть наконец начинает сужаться: нейросети умеют слушать запись и выдавать редактируемые MIDI-файлы, разделять инструменты в плотном миксе и даже рисовать партитуры. Но насколько хорош результат — и где граница между «черновиком» и «готовой партитурой»?

Короткая история проблемы.

MIDI (Musical Instrument Digital Interface) — стандарт, появившийся в 1983 году, — не содержит звука. Это набор инструкций: какая нота, когда началась, когда закончилась, с какой силой нажата. В отличие от MP3 или WAV, MIDI можно редактировать: поменять темп, тональность, инструмент, вытащить отдельную партию. Именно поэтому конвертация аудио в MIDI — не прихоть, а насущная задача для продюсеров, аранжировщиков, преподавателей и просто музыкантов, которым нужны ноты из записи.

Первые попытки автоматической транскрипции музыки (AMT — Automatic Music Transcription) относятся к 1970-м годам. В 1977 году Джеймс Мурер опубликовал первую научную статью на эту тему — «On the Transcription of Musical Sound by Computer». Подход был основан на цифровой обработке сигналов: быстрое преобразование Фурье (FFT) разлагало звук на частоты, а алгоритм искал пиковые значения, соответствующие основным частотам нот.

Это работало — но только для монофонии (одна нота за раз). Стоило появиться аккорду или второму инструменту, как обертоны перемешивались, и алгоритм путался: что реальная нота, а что гармоника от соседней? Задача полифонической транскрипции — распознать несколько одновременных нот — оказалась на порядок сложнее.

Три этапа технологии.

1. Цифровая обработка сигналов (1970-е — 2000-е).

Ранние системы работали по схеме: FFT ; поиск пиков ; сопоставление с частотами нот ; отсеивание гармоник. Применялись автокорреляция, кепстральный анализ, вероятностные методы (NMF, PLCA). Результат для монофонных записей был приемлемым, для полифонических — почти непригодным. Типичная точность: 60–70% верно определённых нот для фортепиано, ниже для смешанных ансамблей.

2. Машинное обучение (2000-е — начало 2010-х).

В 2000-х появились системы, обучавшиеся на размеченных данных: аудио, сопоставленное с MIDI. Вместо ручных правил классификации — модели, которые сами учились отличать ноту от шума. Качество подросло, но оставалось ограниченным: нужны были огромные наборы данных, вычисления были медленными, а полифония всё ещё была проблемой.

3. Глубокое обучение (2010-е — настоящее).

Революция началась с свёрточных (CNN) и рекуррентных (RNN/LSTM) нейросетей. Архитектура CRNN (Convolutional Recurrent Neural Network) с функцией потерь CTC (Connectionist Temporal Classification) позволила обрабатывать звук «от конца к концу»: аудио на вход, последовательность нот на выход — без ручного выравнивания фреймов с партитурой. Биполярные LSTM-сети научились одновременно определять момент начала ноты (onset) и её высоту, что резко снизило количество ложных срабатываний.

К 2020-м годам на сцену вышли трансформеры — архитектура, изначально разработанная для языковых моделей, но оказавшаяся неожиданно эффективной для музыки. Идея простая и элегантная: представить партитуролл (piano roll) как последовательность токенов — как текст, где каждый «токен» кодирует высоту, время и тип инструмента. Трансформер читает мел-спектрограмму и генерирует эту последовательность авторегрессионно.

Ландшафт 2026 года: кто, что умеет.

Сегодняшние инструменты делятся на три категории по подходу и качеству.

Лёгкие и бесплатные: быстрые черновики.

Spotify Basic Pitch (2022) — открытая модель весом менее 20 МБ и 17 тыс. параметров, работающая прямо в браузере. Полифоническая, инструменто-независимая, распознаёт pitch bend (вибрато, слайды). Время обработки — быстрее реального времени в 10 раз. Но: не разделяет инструменты, работает лучше на сольных записях, плотный микс превращает в «кашу».

MusicToMIDI — онлайн-конвертер на базе ИИ, работает в браузере, локальная обработка в бесплатном режиме. Простой интерфейс: загрузил файл — получил MIDI. Результат — базовый черновик, требующий ручной доработки.

Timbrica — инструмент на основе Spotify Basic Pitch с визуализацией (piano roll, нотная запись). Честно сообщает о точности: 65–80% верных нот для одного инструмента, 10–40% для плотного микса.

Профессиональные: точность и контроль.

Melodyne (Celemony) — студийный стандарт для редактирования высоты и тайминга. Полифонический режим (Direct Note Access) в редакции Editor (~$399) позволяет выделять отдельные ноты в аккорде. Но это не транскриптор: MIDI — побочный продукт редактирования, а не цель. Партитуру не выдаёт. Для полифонических джазовых аккордов даёт около 70–80% верных нот — причём младшая редакция Essential ($99) вообще не экспортирует MIDI.

Ableton Live, Logic Pro — встроенные функции Convert Harmony/Melody/Drums to MIDI прямо в DAW. Удобно, но качество ограничено — Logic работает только монофонно.

Новое поколение: мультиинструментальная транскрипция.

MuScriptor (Kyutai + Mirelo, 2026) — самый значимый прорыв. Decoder-only трансформер, читающий аудио 5-секундными чанками и генерирующий токены нот, инструментов и тайминга. Обучен на 170 тыс. композиций от классики до хэви-метала. Что принципиально нового:

Автоматическое определение инструментов в полном миксе — вокал, ударные, бас, клавишные, гитары, духовые.

Отдельная MIDI-дорожка для каждого инструмента — можно скачать партию баса отдельно от вокала.

Нотные партитуры в PDF и табы для гитары — не только MIDI, но и читаемый нотный текст.

Открытый код (MIT) и веса на HuggingFace (CC BY-NC 4.0). Можно запускать локально на NVIDIA GPU, Apple Silicon или CPU.

Три размера модели: small (103M), medium (307M), large (1.4B). Лучше всего работает с акустической и гитарной музыкой, хуже — с электронной.

Songscription — ИИ-транскриптор, обученный специально на записанных исполнениях, а не на синтезированном аудио. Выдаёт партитуру, MIDI, MusicXML и табы в один проход. Бесплатный тариф — неограниченные 30-секундные транскрипции.

Klangio — онлайн-набор инструментов (Piano2Notes, Guitar2Tabs) с экспортом MIDI, MusicXML, PDF и Guitar Pro. Поддерживает ссылки на YouTube, Instagram, TikTok.

Что реально работает, а что нет.

Точность транскрипции — не бинарная величина. Она зависит от трёх факторов: тип материала, качество записи и архитектура модели.

Монофонический материал — вокал, бас, соло-инструмент — распознаётся уверенно: от 65 до 95% верных нот в зависимости от чистоты записи. Для одиночной партии задача фактически решена, разница между инструментами скорее в удобстве интерфейса, чем в качестве распознавания.

Полифония одного инструмента — соло-пианино, гитарная партия — даёт 70–85% точности. Это уже хорошо работающий черновик: структура и гармония считываются, отдельные ноты приходится поправлять.

Полный микс без разделения — готовая песня, где все инструменты звучат одновременно — самая сложная задача. Точность падает до 10–40%: результат — не партитура, а набросок, который почти не несёт практической пользы без серьёзной ручной переработки.

Полный микс с разделением инструментов — область, где MuScriptor делает качественный скачок. Оценочная точность 50–70%: это не финал, но первый инструмент, дающий осмысленные отдельные партии из плотной записи, а не кашу.

Что по-прежнему не работает:

Velocity (сила нажатия) почти у всех моделей возвращается плоской. Mirelo прямо указывает в карточке модели, что динамика не представлена.

Реверберация создаёт ложные ноты — эхо интерпретируется как повторные onset-ы.

Сложные гармонии (джазовые аккорды с надстройками, кластеры) распознаются хуже, чем трезвучия.

Транскрипция MIDI ; читаемая партитура — отдельная нерешённая задача. MIDI не знает ключевых знаков, тактовых размеров, артикуляций. Преобразование требует отдельного этапа ритмического квантования и нотного гравирования.

Технологический контекст: почему сейчас.

Три фактора сошлись вместе:

Данные. Датасеты выросли с тысяч до сотен тысяч записей. MuScriptor обучен на 170 тыс. песен. Spotify Basic Pitch использовал комбинацию синтезированных и реальных аудио.

Архитектура. Переход от CNN/RNN к трансформерам позволил моделировать длинные зависимости в музыке. Представление нот как токенной последовательности — та же идея, что в GPT: «языковое моделирование музыки».

Вычисления. Модели стали достаточно компактными, чтобы работать в браузере (Basic Pitch) или на локальном GPU (MuScriptor small/medium). Это снимает барьер: раньше для AMT нужен был сервер, теперь — ноутбук.

Практические выводы.

Технология audio-to-MIDI в 2026 году — это достаточно хороший черновик, но не готовый продукт. Разрыв между «лучшим результатом» и «приемлемым без правки» всё ещё значителен для всего, что сложнее сольной записи.

Выбор инструмента зависит от задачи. Если нужно быстро набросать MIDI из напева или риффа — подойдут Spotify Basic Pitch или MusicToMIDI, бесплатно, прямо в браузере. Если нужна партия конкретного инструмента из готового трека — MuScriptor (когда требуется сегрегация по инструментам) или Klangio (когда нужен конкретный инструмент с нотной выдачей). Если нужна точность на уровне студии — Melodyne Editor, но с пониманием, что результат потребует ручной правки. Если нужны ноты для исполнения или обучения — Songscription или MuScriptor с экспортом в MusicXML и последующей гравировкой в MuseScore.

Главная ложная надежда — загрузить любимую песню и получить идеальную партитуру одним кликом. Это не произойдёт ни в одном инструменте. Но получить черновик, который экономит 70–80% ручной работы, — это уже реальность. И граница, за которой начинается «100% без правки», кажется теперь вопросом нескольких лет, а не десятилетий.




Информация из открытых источников в интернете.
Использован инструмент ИИ.





Музыкальные обзоры.



91. Специфические и смешанные жанры - музыкальные и кинообзоры, 15.09.2026 17:26
http://proza.ru/2026/09/15/1559

90. Панк и его ответвления - музыкальные и кинообзоры, 15.09.2026 17:15
http://proza.ru/2026/09/15/1529

89. Экстремальный рок, индастриал и шум - музыкальные и кинообзоры, 15.09.2026 17:08
http://proza.ru/2026/09/15/1511

88. Классическая музыка и академические стили - музыкальные и кинообзоры, 15.09.2026 17:02
http://proza.ru/2026/09/15/1496

87. Металл тяжесть, как философия - музыкальные и кинообзоры, 15.09.2026 16:48
http://proza.ru/2026/09/15/1470

86. Джаз импровизация, как философия - музыкальные и кинообзоры, 15.09.2026 16:37
http://proza.ru/2026/09/15/1451

85. Фолк, кантри и мировая музыка - музыкальные и кинообзоры, 15.09.2026 16:29
http://proza.ru/2026/09/15/1446

84. Хип-хоп, рэп и r b - музыкальные и кинообзоры, 15.09.2026 16:22
http://proza.ru/2026/09/15/1430

83. Электронная и танцевальная музыка - музыкальные и кинообзоры, 15.09.2026 16:15
http://proza.ru/2026/09/15/1417

82. Рок-музыка анатомия бунта, - музыкальные и кинообзоры, 15.09.2026 16:06
http://proza.ru/2026/09/15/1395

81. Поп-музыка и смежные направления - музыкальные и кинообзоры, 15.09.2026 15:49
http://proza.ru/2026/09/15/1357

80. Полный глоссарий музыкальных жанров и стилей - музыкальные и кинообзоры, 12.09.2026 09:03
http://proza.ru/2026/09/12/552

79. ИИ, творчество и закон 243 ФЗ - музыкальные и кинообзоры, 09.09.2026 22:26
http://proza.ru/2026/09/09/2026

78.Демо-песни на бесплатном тарифе Suno - музыкальные и кинообзоры, 07.09.2026 19:06
http://proza.ru/2026/09/07/1691

77. Bandlink Ваш личный менеджер - музыкальные и кинообзоры, 05.09.2026 19:29
http://proza.ru/2026/09/05/1722

76. WanGP против платных сервисов - музыкальные и кинообзоры, 05.09.2026 18:55
http://proza.ru/2026/09/05/1656

75. Как создать обложку для музыкального релиза - музыкальные и кинообзоры, 05.09.2026 18:30
http://proza.ru/2026/09/05/1631

74. Как сделать клип с AI-артистом - музыкальные и кинообзоры, 05.09.2026 18:06
http://proza.ru/2026/09/05/1586

73. Как записать живой вокал на инструментал - музыкальные и кинообзоры, 05.09.2026 17:46
http://proza.ru/2026/09/05/1560

72. Слух может обманывать - музыкальные и кинообзоры, 03.09.2026 12:15
http://proza.ru/2026/09/03/911

71. Treblo как бесплатный ИИ музыкант - музыкальные и кинообзоры, 03.09.2026 08:12
http://proza.ru/2026/09/03/459

70. Treblo музыкальный генератор на нейросети - музыкальные и кинообзоры, 02.09.2026 14:01
http://proza.ru/2026/09/02/1160

69. Treblo Революция в создании музыки - музыкальные и кинообзоры, 02.09.2026 13:58
http://proza.ru/2026/09/02/1155

68. Руководство по лайфакам Treblo - музыкальные и кинообзоры, 01.09.2026 09:31
http://proza.ru/2026/09/01/577

67. Руководство по стилям в Treblo - музыкальные и кинообзоры, 01.09.2026 08:52
http://proza.ru/2026/09/01/504

66. Полное руководство по Treblo - музыкальные и кинообзоры, 01.09.2026 08:24
http://proza.ru/2026/09/01/469

65. ACE Step-1. 5 Полное руководство - музыкальные и кинообзоры, 31.08.2026 19:30
http://proza.ru/2026/08/31/1665

64. Voloco Полное руководство по настройке - музыкальные и кинообзоры, 31.08.2026 18:51
http://proza.ru/2026/08/31/1604

63. Караоке 2. 0 как смартфон убил караоке-бар - музыкальные и кинообзоры, 31.08.2026 18:20
http://proza.ru/2026/08/31/1557

62. Поэт-песенник и демо-версии SUNO - музыкальные и кинообзоры, 28.08.2026 16:28
http://proza.ru/2026/08/28/1282

61. Индустриальный стандарт 4 столпа продакшна - музыкальные и кинообзоры, 27.08.2026 16:54
http://proza.ru/2026/08/27/1284

60. Революция в звуке - музыкальные и кинообзоры, 27.08.2026 13:35
http://proza.ru/2026/08/27/943

59. Как заставить Suno танцевать - музыкальные и кинообзоры, 26.08.2026 11:57
http://proza.ru/2026/08/26/869

58. Как выбрать ИИ-сервис для создания музыки - музыкальные и кинообзоры, 17.08.2026 14:21
http://proza.ru/2026/08/17/1164

57. Как записать философскую балладу. - музыкальные и кинообзоры, 16.08.2026 16:55
http://proza.ru/2026/08/16/1386

56. Гениальная музыка. Симфония семи элементов. - музыкальные и кинообзоры, 12.08.2026 17:44
http://proza.ru/2026/08/12/1522

55. Незримый камертон души. - музыкальные и кинообзоры, 12.08.2026 17:40
http://proza.ru/2026/08/12/1519

54. Великий Миф о Запрете на Слух - музыкальные и кинообзоры, 12.08.2026 17:36
http://proza.ru/2026/08/12/1511

53. Маркировка треков Suno - музыкальные и кинообзоры, 12.08.2026 17:32
http://proza.ru/2026/08/12/1505

52. От MP3 к нотам как компьютер учится слышать музыку - музыкальные и кинообзоры, 05.08.2026 16:01
http://proza.ru/2026/08/05/1400

51.  Suno для релакс-музыки. - музыкальные и кинообзоры, 26.07.2026 19:34
http://proza.ru/2026/07/26/1680

50. Подбор мелодии к песне по аккордам для игры - музыкальные и кинообзоры, 13.07.2026 17:29
http://proza.ru/2026/07/13/1531

49. Как сделка с Warner Music меняет правила игры - музыкальные и кинообзоры, 19.03.2026 16:10
http://proza.ru/2026/03/19/1423

48. Краснодар музыкальный весна независимой сцены - публицистика, 22.03.2026 08:38
http://proza.ru/2026/03/22/508

47. Как вставить обложку в аудиофайл. - музыкальные и кинообзоры, 14.03.2026 17:46
http://proza.ru/2026/03/14/1556

46. Полный гид по дистрибуции ИИ-музыки - музыкальные и кинообзоры, 11.03.2026 12:07
http://proza.ru/2026/03/11/875

45. ChatGPT теперь умеет распознавать музыку. - музыкальные и кинообзоры, 10.03.2026 20:44
http://proza.ru/2026/03/10/1889

44. Как загрузить свою собственную песню в TikTok - музыкальные и кинообзоры, 08.03.2026 20:14
http://proza.ru/2026/03/08/1764

43. Music Maker JAM для начинающих. - музыкальные и кинообзоры, 07.03.2026 19:07
http://proza.ru/2026/03/07/1799

42. Создание текстов песен - музыкальные и кинообзоры, 10.02.2026 14:14
http://proza.ru/2026/02/10/1252

41. Создание текстов рэп-песен - музыкальные и кинообзоры, 10.02.2026 14:33
http://proza.ru/2026/02/10/1287

40. Создание текстов рок-песен - музыкальные и кинообзоры, 10.02.2026 14:42
http://proza.ru/2026/02/10/1304

39. Создание текста поп-песни - музыкальные и кинообзоры, 10.02.2026 14:54
http://proza.ru/2026/02/10/1334

38. Создание текста блюз-песни - музыкальные и кинообзоры, 10.02.2026 15:06
http://proza.ru/2026/02/10/1359

37. Фолк, как жанр для текстов песен - музыкальные и кинообзоры, 10.02.2026 15:14
http://proza.ru/2026/02/10/1376

36. Джаз, как жанр для написания песен - музыкальные и кинообзоры, 10.02.2026 15:18
http://proza.ru/2026/02/10/1387

35. Металл, как жанр для текстов песен - музыкальные и кинообзоры, 10.02.2026 15:24
http://proza.ru/2026/02/10/1402

34. Кантри, как жанр для текстов песен - музыкальные и кинообзоры, 12.02.2026 08:54
http://proza.ru/2026/02/12/531

33. Ремикс, как феномен современной музыки - музыкальные и кинообзоры, 12.02.2026 09:10
http://proza.ru/2026/02/12/557

32. Перезапись песен с собственным вокалом - музыкальные и кинообзоры, 13.02.2026 14:26
http://proza.ru/2026/02/13/1363

31. Синтез-поп - музыкальные и кинообзоры, 15.02.2026 10:01
http://proza.ru/2026/02/15/651

30. Как написать свою первую песню - музыкальные и кинообзоры, 17.02.2026 11:17
http://proza.ru/2026/02/17/819

29. Как научиться петь - музыкальные и кинообзоры, 18.02.2026 19:54
http://proza.ru/2026/02/18/1929

28. Панк-рок - музыкальные и кинообзоры, 22.02.2026 07:28
http://proza.ru/2026/02/22/381

27. История русского панка - музыкальные и кинообзоры, 23.02.2026 19:22
http://proza.ru/2026/02/23/1817

26. Как перевернуть мир с помощью гитары - музыкальные и кинообзоры, 26.02.2026 16:02
http://proza.ru/2026/02/26/1499

25. Коди Джинкс. Железный баритон. - музыкальные и кинообзоры, 26.02.2026 16:29
http://proza.ru/2026/02/26/1544

24. Элвис Пресли. Король рок-н-ролла - музыкальные и кинообзоры, 26.02.2026 17:09
http://proza.ru/2026/02/26/1622

23. Брюс Спрингстин. Босс. - музыкальные и кинообзоры, 26.02.2026 17:36
http://proza.ru/2026/02/26/1683

22. Как создать Музыкально-поэтическое произведение - музыкальные и кинообзоры, 03.03.2026 14:50
http://proza.ru/2026/03/03/1267

21. Как бесплатно озвучить стихи с помощью нейросети - музыкальные и кинообзоры, 07.03.2026 09:44
http://proza.ru/2026/03/07/671

20. Программы, которые преобразуют музыку в ноты - публицистика, 23.12.2025 14:54
http://proza.ru/2025/12/23/1312

19. Инструменты для создания и редактирования музыки. - публицистика, 23.12.2025 14:36
http://proza.ru/2025/12/23/1288

18. Сервисы для стриминга и поиска музыки. - публицистика, 23.12.2025 14:27
http://proza.ru/2025/12/23/1271

17. Музыкальные редакторы для обработки файлов. - публицистика, 23.12.2025 15:18
http://proza.ru/2025/12/23/1356

16. Как убрать вокал из MP3 - публицистика, 24.12.2025 15:09
http://proza.ru/2025/12/24/1243

15. Как записать песню с фонограммой в студии записи - публицистика, 24.12.2025 15:27
http://proza.ru/2025/12/24/1267

14. Как озвучить текст и наложить фоновую музыку - публицистика, 25.12.2025 10:09
http://proza.ru/2025/12/25/683

13. SUNO от идеи до готовой песни. - публицистика, 26.12.2025 07:11
http://proza.ru/2025/12/26/393

12. Где найти музыку с бесплатными правами? - публицистика, 07.01.2026 09:29
http://proza.ru/2026/01/07/554

11.  Аккордовый справочник для синте
затора. - публицистика, 08.01.2026 18:16
http://proza.ru/2026/01/08/1541

10. Авторский союз композиторов России - публицистика, 07.01.2026 10:03
http://proza.ru/2026/01/07/638

9. Единый учебник игры на синтезаторе. - публицистика, 08.01.2026 18:11
http://proza.ru/2026/01/08/1520

8. Каталог аккордов для шестиструнной гитары - публицистика, 30.01.2026 15:18
http://proza.ru/2026/01/30/1277

7. Кавер-версия в современной музыке. - публицистика, 03.02.2026 09:25
http://proza.ru/2026/02/03/587

6. Программа SUNO. Основные вопросы и опасения - публицистика, 11.02.2026 09:27
http://proza.ru/2026/02/11/546

5. Концепт-арт Concept Art - публицистика, 17.02.2026 09:13
http://proza.ru/2026/02/17/514

4. Продвижение песен, созданных с помощью Suno - публицистика, 18.02.2026 20:21
http://proza.ru/2026/02/18/1969

3. Генерация MIDI-файлов. - публицистика, 24.02.2026 14:35
http://proza.ru/2026/02/24/1265

2. Не пропустите хит. Подробный гайд. - публицистика, 26.02.2026 15:33
http://proza.ru/2026/02/26/1444

1. Как создать видео с караоке - музыкальные и кинообзоры, 07.03.2026 18:30
http://proza.ru/2026/03/07/1721




Мой аккаунт на стихи.ру
https://stihi.ru/avtor/biz2010


Каталог песен на стихи.ру
https://stihi.ru/2026/05/19/6708