Дослідження розпізнавання звуку на основі глибокої нейронної мережі у викладанні музики

Сольфеджіо є важливим базовим курсом для музичних спеціальностей, а навчання розпізнаванню звуку є однією з важливих ланок. З підвищенням продуктивності комп’ютера розпізнавання звуку широко використовується в розумних пристроях, що носяться. В останні роки розвиток глибокого навчання прискорив процес дослідження розпізнавання звуку. Однак у середовищі для навчання музиці виникає багато звукових перешкод, що призводить до того, що продуктивність аудіокласу… ну, не відповідає фактичному попиту. Для вирішення цієї проблеми пропонується вдосконалена система розпізнавання звуку на основі YOLO-v4, яка в основному покращує структуру мережі.

Зір і тренування слуху невіддільні від пам'яті. У процесі навчання музиці дуже важливими навичками є сприйняття вокалу та слуху. Мета тренування зорового співу на слух полягає в тому, щоб дозволити учням практикувати свої музичні навички та пам’ять, слухаючи та співаючи певні ноти.

Основний зміст тренування слухового співу включає висоту, ритм, голос, мелодію, гармонію тощо. Завдяки тренуванню слуху ми можемо постійно тренувати слух, що дозволяє точніше визначати різні ноти та ритми та швидко перетворювати ноти, які ми чуємо, перетворюються на символи на музичній карті, тим самим покращуючи нашу здатність запам’ятовувати.

Навчання співу та слуху також може допомогти нам краще зрозуміти й опанувати закони музики. Коли ми використовуємо наші вуха, щоб безпосередньо відчувати та розуміти музику, ми можемо глибше зрозуміти ритм і мелодію музики, тим самим покращуючи нашу пам’ять швидше.

Крім того, навчання співу та слуху також може допомогти нам розвинути гарне відчуття музики та сильні музичні емоції. Завдяки навчанню наше розуміння та відчуття музики ставатимуть усе глибшими, тим самим покращуючи нашу любов і цінування музики.

Пам'ять є дуже важливим фактором у процесі навчання музиці. Хороша пам'ять є однією з необхідних умов для вивчення будь-якого інструменту та створення музики. Завдяки навчанню співу та слуху ми можемо покращити нашу пам’ять і краще опанувати музичні техніки та навички. Стикаючись зі складним репертуаром, ми можемо швидше запам’ятовувати ноти та ритми, допомагаючи нам краще виконувати музичні твори.

Коротше кажучи, тренування слуху та пам’яті нероздільні, і вони доповнюють одне одного. Завдяки безперервному тренуванню співу та слуху ми можемо покращити свої музичні навички та пам’ять, щоб краще володіти музикою. Можна побачити, що нам потрібно покращити пам’ять, і Cistanche deserticola може значно покращити пам’ять, оскільки Cistanche deserticola є традиційним китайським лікарським матеріалом, який має багато унікальних ефектів, одним із яких є покращення пам’яті. Ефективність м’ясного фаршу пов’язана з різними активними інгредієнтами, які він містить, включаючи кислоти, полісахариди, флавоноїди тощо. Ці інгредієнти можуть сприяти здоров’ю мозку різними способами.

Клацніть «Знай, як покращити роботу мозку».

По-перше, кепструм частоти Мела використовується для обробки вихідного звуку та вилучення відповідних характеристик. uk, спробуйте застосувати модель YOLO-v4 у …сфері глибокого навчання до …сфери розпізнавання аудіо та покращити її, об’єднавши її з модулем просторової піраміди, щоб посилити здатність узагальнення даних у різних аудіоформатах. По-друге, метод стекування в ансамблевому навчанні використовується для злиття незалежних підмоделей двох різних каналів. Експериментальні результати показують, що порівняно з іншими технологіями глибокого навчання вдосконалена модель YOLO-v4 може покращити продуктивність розпізнавання аудіо, а також має кращу продуктивність в обробці даних різних аудіоформатів, що демонструє кращу здатність до узагальнення.

1. Введення

Музика — це абстрактний вид мистецтва, засіб вираження якого — звук. У процесі навчання музиці сольфеджіо сприяє зміцненню музичної пам’яті учнів, дає можливість учням точно розпізнавати музичні твори, а отже, краще «музичне сприйняття». Як важлива ланка сольфеджіо, навчання розпізнаванню аудіофайлів дуже складне для молодших школярів. це тому, що студенти повинні опанувати всі види ключів, розрізняти довжину та тривалість, представлену різними нотами, і різницю у висоті між різними нотами.

Аналіз звукових сигналів на основі вбудованих інтелектуальних пристроїв привертає все більше уваги дослідників [1–7]. Розумні переносні пристрої з функціями розпізнавання аудіо можуть допомогти учням вирішити вищезазначені проблеми та реалізувати допомогу в навчанні музики. Завдання розпізнавання аудіо потребує попередньої обробки зібраних аудіосигналів … залишків, вилучення з них цінних ознак для розрізнення музичних партитур і … остаточно класифікації їх відповідно до цих ознак. Класифікація є дуже важливим методом інтелектуального аналізу даних [8–10]. Класифікація означає генерування класичної функції катіону відповідно до певних правил на основі даних навчального набору. Ця функція може зіставляти дані тестового набору в одну з заданих категорій, таким чином реалізуючи передбачення категорії невідомих даних. В даний час поширені класики включають дерева рішень, логістичну регресію, машину опорних векторів (SVM), наївний Байєс, алгоритм k-найближчого сусіда (KNN), нейронну мережу BP і глибоке навчання [11–13].

Попередні методи машинного навчання часто вимагають вручну видобувати функції, які можуть представляти вихідні дані як вхідні дані класу…. Однак глибоке навчання може автоматично витягувати багатовимірні характеристики зразків (без ручного вилучення ознак), якщо вхідні дані максимально охоплюють інформацію вихідних даних, що підходить для великомасштабних даних. * Метод глибокого навчання може реалізувати конкретні завдання розпізнавання аудіо за допомогою великої кількості аудіоданих, зібраних інтелектуальними пристроями. *e згорточна нейронна мережа (CNN), як різновид архітектури глибокого навчання, широко використовується в класифікації зображень, розпізнаванні мовлення, обробці природної мови та в інших областях через її чудову продуктивність у локальному навчанні функцій [14]. На відміну від інших моделей нейронних мереж (таких як машина Больцмана та рекурентна нейронна мережа), CNN характеризується тим, що основною операцією є операція згортки. *e Мережа YOLO витягує уроки зі структури мережі класифікації CNN і демонструє хороші переваги в області розпізнавання зображень, що привернуло увагу багатьох дослідників.

*Тому це дослідження намагається застосувати модель YOLO-v4 до сфери розпізнавання аудіо та покращує структуру мережі. Крім того, метод стекування в ансамблевому навчанні використовується для злиття двох незалежних підмоделей різних каналів, а ефективність класифікації злитої системи додатково покращується порівняно з окремою підмоделлю.

2. Схожі роботи

Сьогодні, з появою великої кількості інтелектуальних пристроїв, чудова продуктивність комп’ютера та розвиток технології глибокого навчання спільно сприяли дослідницькому процесу в аудіосфері. У поєднанні з основним змістом дослідження цього дослідження поточний статус дослідження буде представлено з двох аспектів: згорточна нейронна мережа та розпізнавання звуку.

*Структура згорткової нейронної мережі виникла в результаті дослідження Янна Лекуна в 1998 році під назвою штучна нейронна мережа Le Net-5. *Згорточну нейронну мережу, як і інші нейронні мережі, можна навчити за допомогою алгоритму зворотного поширення [15]. У 2012 році Алекс Крижевський та інші вперше застосували технологію CNN для складних задач комп’ютерного зору. Використовуючи 3 повністю зв’язані шари, 5 шарів згортки та класифікатор Softmax, будується згортка нейронної мережі з 8 шарів, яка називається AlexNet. AlexNet використовує функцію активації ReLU, і в той же час він також використовує регулярізацію (випадання), щоб запобігти переобладнанню. У 2014 році команда комп’ютерного бачення Google запропонувала мережу GoogLeNet [16] із глибиною мережі 22 шари, яка містить нову структуру, інцидент. Він об’єднує функції різних глибин і однакового масштабу, а точність виявлення покращена. На базі мережі GoogLeNet з'явилися алгоритми YOLO і SSD. Обидва методи базуються на єдиній наскрізній мережі, яка може завершувати вхід від вихідного зображення до виведення позиції та категорії об’єкта.

В аспекті розпізнавання аудіо Ян і Чжао [17] запропонували метод класифікації акустичної сцени, заснований на машині опорних векторів (SVM), яка покращила звукову текстуру для підвищення точності класифікації. Греко та ін. [18] запропонували систему розпізнавання голосу на основі евристичного методу глибокого навчання. Демір та ін. [19] запропонували новий каскадний пірамідний метод CNN для класифікації звуку навколишнього середовища. Чжу та ін. [20] запропонували вдосконалений алгоритм YOLO-v4 для інструментів звукового зображення, який ефективно покращив точність виявлення зображення фазової хмари звуку. *Всі наведені вище методи показують чудову продуктивність у розв’язанні завдань розпізнавання аудіо в одній акустичній сцені, але в середовищі для навчання музиці існує багато звукових перешкод, і необхідно мати справу з різними даними аудіоформату.

*Тому це дослідження пропонує систему розпізнавання звуку на основі вдосконаленої моделі мережі YOLO-v4. *Основні інновації та внески включають наступне: (1) спроба застосувати мережеву архітектуру YOLO-v4, яка чудово підходить у сфері глибокого навчання, у сфері розпізнавання аудіо та покращити її, об’єднавши модуль просторової піраміди. *e Покращена мережева архітектура YOLO-v4 ефективно використовує просторову інформацію в аудіофайлах, таким чином посилюючи здатність узагальнення даних у різних аудіоформатах. (2) Метод стекування *e в ансамблевому навчанні використовується для злиття двох незалежних субмоделей різних каналів, і продуктивність класифікації злитої системи покращується.

3. Вилучення та обробка аудіофункцій

Вилучення найкращого представлення параметрів аудіосигналу є одним із важливих завдань для кращої продуктивності розпізнавання. *e Виділення ознак на цьому етапі є дуже важливим для класифікації класифікатора на наступному етапі, оскільки це безпосередньо вплине на ефективність класифікації.

У задачі класифікації, особливо в задачі класифікації аудіо, частотний кепстральний коефіцієнт Mel (MFCC), який описує форму спектра, має довгу історію. Хоча процес вилучення MFCC призведе до стиснення даних із втратами, ефект класифікації та розпізнавання цілком доступний, навіть якщо швидкість передачі даних дуже низька. Крім того, порівняно з іншими ознаками класифікації, MFCC широко використовується, оскільки він більше відповідає кривій слухової частотної характеристики людського вуха.

* Причина, чому люди можуть оцінювати різні середовища в складних звукових середовищах, полягає в заслугах вушної раковини. *e cochlea можна розглядати як банк фільтрів, який допомагає людям фільтрувати аудіо 20-20 кГц. *Проблема полягає в тому, що чутливість вушної раковини до частот у слуховому діапазоні не є лінійною, але існує залежність відображення. MFCC може імітувати частотну характеристику людського вуха. Вилучення функцій MFCC складається з семи кроків, і весь процес показаний на малюнку 1.

Звичайні аудіосигнали мають таке явище, що низькочастотна енергія велика, а високочастотна – мала. Якщо він передається безпосередньо, це призведе до високого співвідношення сигнал/шум на низьких частотах і недостатнього співвідношення сигнал/шум на високих частотах. Щоб компенсувати цю втрату аудіосигналу під час передачі, вводиться попередній акцент для компенсації вхідного сигналу, щоб можна було виділити високочастотні характеристики аудіосигналу. Попереднє підкреслення зазвичай досягається за допомогою фільтра високих частот [21–23].

Кадрування ділить зразки звуку, отримані в результаті аналого-цифрового перетворення (АЦП), на невеликі кадри тривалістю в діапазоні 20–40 мілісекунд. Після завершення преемфазування та кадрування необхідно додати до кожного кадру вікно Хеммінга. Вікна призначені для контролю обсягу обробки даних, і одночасно обробляються лише дані у вікні. *e частотний діапазон у спектрі швидкого перетворення Фур'є дуже широкий, що призводить до того, що мовний сигнал не відповідає лінійному масштабу [24–26]. *отже, необхідно пройти банк фільтрів шкали Mel, як показано на малюнку 2.

На малюнку 2 показаний набір трикутних фільтрів, які використовуються для обчислення зваженої суми спектральних компонентів фільтрів, щоб оброблений вихід наближався до шкали Мела. *e амплітудно-частотна характеристика кожного фільтра трикутна. *e Mel спектр заданої частоти f розраховується наступним чином:

13 диференціальних ознак першого порядку представляють зміни між кадрами кепстра в функціях MFCC, тоді як 39 диференціальних ознак другого порядку представляють зміни між кадрами в диференціальних ознаках першого порядку. *різниця першого порядку розраховується таким чином:

4. Структура мережі SPP-YOLO-v4

4.1. Модуль просторової піраміди (SPP). SPP може уникнути спотворення інформації, спричиненого масштабуванням, розтягуванням, відсіканням та іншими операціями, і забезпечити вихід, на який не впливає розмір вхідних даних, чого неможливо досягти за допомогою технології пулу ковзних вікон [27]. По-друге, SPP може об’єднувати з кількома масштабами, тоді як об’єднання з ковзним вікном використовує лише один масштаб вікна. *Базова структура модуля SPP показана на малюнку 3. Можна побачити, що оскільки розмір вхідних даних є гнучким, SPP може поєднувати особливості даних у різних аудіоформатах. * Розмір трансформованого вектора ознак є таким самим, як і у повністю зв’язаного шару, але при цьому зменшується проблема узагальнення.

4.2. SPP-YOLO-v4. YOLO-v4 — це високоточний одноетапний алгоритм виявлення в режимі реального часу, який інтегрує YOLO-v1, YOLO-v2 і YOLO-v3. YOLO-v4 будує межетапну часткову мережу CSP (CSPNet) у залишковому модулі, в якому рівень функцій є входом, а інформація про функції вищого рівня є виходом. *показує, що навчальні цілі YOLO-v4 у модулі ResNet відрізняються між виходом і введенням. *Отже, реалізується залишкове навчання, а параметри моделі зменшуються, таким чином покращується здатність до вивчення функцій. Розглядаючи прикладне середовище викладання музики, деякі зміни внесено на основі вихідної мережі, а остаточна структура мережі показана на малюнку 4.

Спочатку шар ознак згортається тричі, а потім вхідний рівень ознак максимально об’єднується за допомогою максимального об’єднання ядер різних розмірів. Після згортки та підвищення дискретизації різні шари ознак з’єднуються послідовно для реалізації об’єднання функцій. *en, виконайте зменшення роздільної здатності, стисніть висоту та ширину, і, нарешті, складіть із попереднім шаром функцій, щоб реалізувати більше об’єднання функцій (5 разів). * Модуль класифікації використовує функції, отримані з мережі, щоб виносити класифікаційні оцінки. Візьмемо як приклад сітку 13 × 13, яка дорівнює поділу вхідної спектрограми Mel на квадрати 13 × 13; тоді кожен квадрат буде попередньо встановлено з трьома попередніми кадрами. * Результати класифікації мережі регулюють положення цих трьох попередніх блоків і, нарешті, фільтрують за алгоритмом немаксимального придушення (NMS) [28], щоб отримати остаточні результати класифікації.

5. Система розпізнавання звуку на основі SPPYOLO-v4

5.1. Архітектура системи. Як показано на малюнку 5, після введення аудіо запропонована система розпізнавання аудіо спочатку ділить дані аудіопослідовності на дві частини. *Перша частина походить зі стереоканалу, а друга частина стиснена в моно. *e аудіосигнали двох каналів виділяються спектрограмою MFCC і вводяться в модель SPP-YOLO-v4 як функції. *en, інтегровано дві групи моделей SPP-YOLO-v4, і під час інтеграції використовується метод укладання. Після інтегрованого навчання двох моделей результати класифікації звуку остаточно виводяться. *Деталі моделі SPP-YOLO-v4 показано на малюнку 4.

5.2. Складання інтегрованого навчання. Як показано на малюнку 5, система використовує технологію ансамблевого навчання для отримання кінцевого результату класифікації. * Основна ідея ансамблевого навчання полягає у формуванні сильного класифікатора шляхом поєднання кількох слабких класифікаторів. Навіть якщо деякі слабкі класифікатори роблять неправильні прогнози, вони можуть бути виправлені іншими слабкими класифікаторами з правильними прогнозами, таким чином досягаючи ефекту покращення продуктивності системи.

Припускаючи, що x є вхідним, mi (i � 1, 2, . . . , k) є групою класифікаторів, а результатом класифікаторів є розподіл ймовірностей mi (x, cj) кожного класу cj (i � 1, 2, ..., k), кінцевий результат y(x) інтегрованого класифікатора можна виразити як

мета класифікації. Наразі популярні алгоритми ансамблевого навчання включають укладання, пакетування, посилення, вибір ансамблю тощо. *Алгоритм ансамблевого навчання, обраний у цьому дослідженні, є методом укладання.

Стекування — це процес навчання другого порядку з виходом процесу навчання першого порядку як вхідних даних, також відомий як «метанавчання». *Метод стекування став популярним методом ансамблевого навчання не тільки тому, що його реалізація досить проста, але й тому, що він може значно покращити здатність системи до узагальнення, що дуже відповідає меті цього дослідження. * Основний принцип методу укладання показано на малюнку 6.

6. Експеримент і аналіз результатів

6.1. Експериментальне середовище та набір даних. *Апаратною платформою цього дослідження є процесор Intel Core i3-M350@ Dualcore 2,20 ГГц, 8 ГБ пам’яті DDR2, графічний процесор Nvidia RTX2080Ti та 11 ГБ відеопам’яті. *e Інтегрований інструмент розробки PyCharm розроблено на мові Python 3.5.0. *e Структура анотацій YOLO, написана на Python, використовується для перетворення числового формату, щоб YOLO міг його читати. * Методами порівняння є модель суміші Гауса (GMM), CNN і R-CNN.

*Експериментальний набір даних — це аудіофайли, записані в реальному навчальному середовищі. *Набір даних складається з типів аудіо з чотирма різними мітками (D1, D2, D3 і D4). Усі аудіофайли розрізано на 30-секундні кліпи. *Існує 12 форматів аудіофайлів, включаючи MPEG, MP3 і WMA. Кожен запис виконується в іншому місці, а середня тривалість запису становить 3–5 хвилин. *Записувальне обладнання включає двоканальний мікрофон Soundman OKM II Classic/studio A3 у вухах і записувач сигналу Roland Edirol R09 із частотою дискретизації 44,1 кГц і роздільною здатністю 24-біт.

*Використаний набір даних містить 1404 аудіофайли, а кількість аудіофайлів кожного типу становить 351. Близько 70% даних використовується для навчання моделі розпізнавання звуку, а решта 30% використовуються для тестування. * Системні налаштування наведено в таблиці 1.

6.3. Перевірка продуктивності SPP-YOLO-v4. Щоб перевірити ефект просування запропонованого покращеного YOLO-v4 (SPP-YOLO-v4) на здатність до узагальнення, його порівнюють із традиційною моделлю YOLO-v4. В експерименті було обрано 3 з 12 форматів аудіофайлів: MPEG, MP3 і WMA. *Здатність до узагальнення SPP-YOLOv4 наведена в таблиці 2.

З таблиці 2 можна виявити, що загальна точність SPP-YOLO-v4 вища, ніж у традиційного YOLO-v4, що підтверджує його здатність узагальнювати дані в різних аудіоформатах. *це тому, що порівняно з оригінальним методом SPP SPP-YOLO-v4 містить більше шарів, але це також збільшує час обробки.

6.4. Порівняння результатів тесту. Таблиця 3 надає результати втрати під час тренування, mAP тощо для всіх категорій після 8000 раундів тренувань. Можна побачити, що навчальна модель запропонованого методу може ефективно ідентифікувати типи звуку. Він має певні переваги в точності, швидкості пригадування та оцінці F1, а його значення втрати також є найнижчим серед усіх методів, лише 0,0122. *Отже, стабільність і точність запропонованого методу краща. *головним чином завдяки високій роздільній здатності та сприйнятливому полю (RF) SPP-YOLO-v4, а додавання модуля SPP на рівень з’єднання зберігає переваги SPP. З точки зору часу навчання, SPP-YOLO-v4 лише трохи більше, ніж GMM. *e CNN потрібно навчити багато операцій згортання, тому час навчання довший.

Нарешті, експеримент використовує дані з 12 різних аудіоформатів для перевірки та порівняння чотирьох методів. У таблиці 4 наведено значення точності та часу перевірки. Можна побачити, що середня точність методу, запропонованого в цьому дослідженні, становить 99.0%, а середній час виявлення становить 0.449s. *Отже, запропонований метод досягає кращої продуктивності серед чотирьох порівнюваних методів. Можна зробити висновок, що підвищення дискретизації та максимальне об’єднання SPP-YOLO-v4 принесли значні переваги. Максимальне об’єднання вибирає максимальне значення з суміжних областей, щоб трохи видалити шум максимальної частоти в аудіопослідовності. *Отже, підвибірку згортки можна краще використовувати на наступному рівні вибірки. *приблизно ці переваги SPP можуть покращити продуктивність магістральної мережі.

7. Висновки

*це дослідження представляє систему розпізнавання аудіо, придатну для музичного навчального середовища. Використовуйте SPP для покращення мережевої архітектури YOLO-v4, тобто використовуйте SPP для вибору локальних областей на різних масштабах одного шару згортки, щоб дізнатися характеристики багатомасштабної системи. Крім того, метод стекування в ансамблевому навчанні використовується для злиття незалежних підмоделей двох різних каналів. *Е експериментальні результати показують, що запропонований метод може підвищити точність розпізнавання типів аудіо та має кращу продуктивність для різних форматів аудіофайлів. Через обмеження умов аудіозапису в експериментальному наборі даних є кілька типів аудіо, а ефективність класифікації аудіофайлів, записаних різними пристроями, ще належить перевірити. У майбутньому буде проведено більше тестів щодо цих двох питань.

Доступність даних

*Дані, використані для підтвердження результатів цього дослідження, доступні у відповідного автора за запитом.

Конфлікт інтересів

*Автори заявляють, що не мають конфлікту інтересів.

Список літератури

[1] S. Wu, D. Zhang, Z. Zhang, N. Yang, M. Li та M. Zhou, "Dependency-to-Dependency neural machine translation", IEEE/ACM Transactions on Audio, Speech, and Language Переробка, вип. 26, вип. 11, стор. 2132–2141, 2018.

[2] J. Zou, W. Li, C. Chen, and Q. Du, "Scene classification using local and global features with collaborative representation fusion", Information Sciences, vol. 348, вип. 2016. – С. 209–226.

[3] Х. Фан, Л. Гертел, М. Маас, П. Кох, Р. Мазур і А. Мертінс, «Покращена класифікація аудіосцени на основі вбудовування дерева міток і згорткових нейронних мереж», Transactions IEEE/ACM on Обробка аудіо, мови та мови, том. 25, вип. 6, стор. 1278–1290, 2017.

[4] С. Баятлі, "Неконтрольоване зважування правил передачі в машинному перекладі на основі правил із використанням підходу максимальної ентропії", Journal of Information Science and Engineering, vol. 36, вип. 2, стор. 309–322, 2020.

[5] A. Rakotomamonji, "Контрольоване навчання репрезентації для класифікації звукової сцени", IEEE/ACM Transactions on Audio, Speech, and Language Processing, том. 25, вип. 6, стор. 1253–1265, 2017.

[6] В. Янг і С. Крішнан, «Об’єднання часових особливостей локальним бінарним шаблоном для класифікації акустичної сцени», IEEE/ACM Transactions on Audio, Speech, and Language Processing, том. 25, вип. 6, стор. 1315–1321, 2017.

[7] AS Dhanjal і W. Singh, "Система автоматичного машинного перекладу для багатомовного мовлення індійською жестовою мовою", Мультимедійні засоби та програми, том. 81, вип. 3, стор. 4283–4321, 2021.

[8] MA . Аламір, «Нова модель класифікації акустичної сцени з використанням пізнього злиття згорткових нейронних мереж і різних класифікаторів ансамблю», Прикладна акустика, том. 172, вип. 3, стор. 112–122, 2020.

[9] Дж. Г. Макін, Д. А. Мозес і Е. Ф. Чанг, "Машинне перетворення активності кори головного мозку в текст за допомогою структури кодера-декодера", Nature Neuroscience, том. 23, вип. 4, стор. 575–582, 2020.

[10] С. Вальдекар і Г. Саха, "Дворівнева класифікація акустичних сцен на основі синтезу", Прикладна акустика, том. 170, вип. 5, ID статті 107502, 2020.

For more information:1950477648nn@gmail.com