Застосування рекурентних нейронних мереж з довгостроковою пам'яттю для прогнозування швидкості вітру

Анотація:

Прогнозування швидкості вітру є однією з найважливіших і складних проблем у прогнозуванні енергії вітру для виробництва електроенергії. Довга короткочасна пам’ять була використана як рішення короткочасної пам’яті для вирішення проблеми зникнення або вибуху градієнтної інформації під час процесу навчання, який відчуває рекурентна нейронна мережа (RNN), коли використовується для вивчення часових рядів.

Довготривала пам'ять невіддільна від пам'яті. Пам’ять — це досить складний процес, який включає всі аспекти людського мозку, включаючи відчуття, сприйняття, пізнання, реалізацію, реакцію тощо. Наша мета — зберігати інформацію, яку ми отримуємо, у довготривалій пам’яті для подальшого використання.

Модель довготривалої короткочасної пам’яті (LTM) є важливою в цьому процесі. LTM означає нашу здатність зберігати оброблену інформацію. Тобто LTM допомагає нам зберігати інформацію з короткочасної пам’яті в мозку. А для пам’яті кінцевою метою є довготривале зберігання.

У нашому житті багато факторів, які створюють довготривалу пам’ять, пов’язані з особистим досвідом і діяльністю. Наприклад, вплив ситуації протягом досить тривалого часу, прослуховування лекції або вдосконалення навичок пам’яті може покращити пам’ять.

Модель довготривалої короткочасної пам’яті можна просто пояснити так: коли ми вперше дізнаємося частину інформації, ми можемо зберегти її в короткочасній пам’яті. Ця інформація буде зберігатися певний час, але швидко зникне. Однак якщо ми глибоко задумаємося над цією інформацією або пов’яжемо її з попереднім досвідом, вона буде перенесена в довготривалу пам’ять.

Таким чином, ключ до покращення нашої довгострокової пам’яті полягає в тому, щоб наш мозок був активним, позитивним і творчим. Ми можемо тренувати наш мозок, читаючи книги, граючи в інтерактивні ігри, досліджуючи нові речі та пишучи щоденники. Зокрема, тісне поєднання навчання та дослідження може краще зміцнити пам’ять.

Коротше кажучи, вплив моделі довготривалої та короткочасної пам’яті на пам’ять має вирішальне значення. У житті та навчанні нам потрібно приділяти увагу та практикувати пам’ять. Завдяки активному мисленню та фізичним вправам ми можемо постійно вдосконалювати свою довгострокову пам’ять і освоювати нові знання легше й ефективніше. Видно, що нам потрібно покращувати пам'ять. Цистанхе може значно покращити пам'ять, оскільки він також може регулювати баланс нейромедіаторів, наприклад, підвищувати рівень ацетилхоліну та факторів росту, які дуже важливі для пам'яті та навчання. Крім того, Cistanche також може покращити кровотік і сприяти доставці кисню, що може гарантувати, що мозок отримує достатню кількість живлення та енергії, тим самим покращуючи життєздатність і витривалість мозку.

Клацніть знати добавки для покращення пам'яті

У цьому дослідженні ця проблема вирішується шляхом пропозиції моделі прогнозування, заснованої на довгостроковій пам’яті та глибокій нейронній мережі, розробленій для прогнозування значень швидкості вітру за кілька часових кроків у майбутньому.

База даних погоди в Галіфаксі, Канада, використовувалася як джерело для двох серій швидкості вітру на годину. Два різні сезони весна (березень 2015) і літо (липень 2015) були використані для навчання та тестування моделі прогнозування. Результати показали, що використання запропонованої моделі може ефективно підвищити точність прогнозування швидкості вітру.

Ключові слова: прогнозування; довготривала пам'ять; кілька часових рядів; RNN; швидкість вітру.

1. Вступ

Прогнозування швидкості вітру є дуже складним завданням порівняно з іншими змінними атмосфери, і це пов’язано з їх хаотичною та переривчастою природою, що спричиняє труднощі з інтеграцією енергії вітру в мережу.

Оскільки швидкість вітру є одним із найрозвиненіших і найдешевших джерел зеленої енергії, її точне прогнозування в короткостроковій перспективі стало важливим питанням і має вирішальний вплив на електромережу. Для прогнозування короткострокової швидкості вітру застосовувалися як динамічні, так і статистичні методи, а також деякі гібридні методи, які поєднують ці два методи.

Запуск моделей числового прогнозування погоди з високою роздільною здатністю (NWP) вимагає розуміння багатьох основних принципів, які їх підтримують, включаючи асиміляцію даних, знання про те, як оцінити модель NWP у просторі та часі, а також як виконувати валідацію та перевірку прогнозів. Це може бути дорогим з точки зору часу обчислення.

Надійні методи та методи прогнозування швидкості вітру стають все більш важливими для характеристики та прогнозування вітрових ресурсів [1]. Основною метою будь-якого прогнозу є побудова, ідентифікація, налаштування та перевірка моделей часових рядів.

Прогнозування часових рядів є однією з найважливіших прикладних проблем машинного навчання та штучного інтелекту в цілому, оскільки вдосконалення методів прогнозування дозволить більш точно прогнозувати поведінку різних факторів у різних сферах. Традиційно такі моделі базуються на методах статистичного аналізу та математичного моделювання, розроблених у 1960-1970-х роках [2].

Модель ARIMA використовувалася для прогнозування швидкості вітру з використанням загальних показників співвідношення помилок для точності прогнозування моделі [3]. Останнім часом глибоке навчання в спільноті машинного навчання набуло значної популярності, оскільки воно вважається загальною структурою, яка полегшує навчання глибоких нейронних мереж із багатьма прихованими шарами [4].

Доступність великих наборів даних у поєднанні з удосконаленням алгоритмів і експоненціальним зростанням обчислювальної потужності призвели до неперевершеного сплеску інтересу до теми машинного навчання.

Ці методи використовують лише історичні дані, щоб дізнатися про випадкові залежності між минулим і майбутнім. Серед цих методів рекурентні нейронні мережі (RNN), які призначені для вивчення послідовності даних шляхом проходження прихованого стану від одного кроку послідовності до наступного, у поєднанні з вхідними даними, і маршрутизації їх вперед і назад між входами [5] .

Рекурентна нейронна мережа на основі довготривалої короткочасної пам’яті (LSTM-RNN) використовувалася для прогнозування енергії вітру на 1–24 години [6]. Було проведено порівняння між LSTM, машиною для екстремального навчання (ELM) і SVM. Результати показали, що підходи глибокого навчання є більш ефективними, ніж традиційні методи машинного навчання, у покращенні точності прогнозування через структуру нейронної мережі спрямованого циклу та спеціальний прихований блок [7]. Дослідження показали, що поєднання моделей NWP і штучних нейронних мереж може бути корисним і забезпечувати кращу точність порівняно зі звичайними методами зменшення масштабу моделей NWP [8].

Чисельний метод прогнозування погоди (NWP) є одним із найбільш використовуваних методів, і він підходить для довгострокового, а не короткострокового та середньострокового прогнозу через великий обсяг обчислень [9]. Був проведений аналіз точності прогнозування швидкості вітру рекурентних моделей нейронної мережі, і вони показали кращі результати порівняно з однофакторними та багатофакторними моделями ARIMA [10].

Лінійні та нелінійні авторегресійні моделі із зовнішніми змінними та без них були розроблені для прогнозування короткострокової швидкості вітру. Три метрики ефективності, MAE, RMSE і MAPE використовувалися для вимірювання точності моделей [11].

Метод LSTM використовувався для прогнозування швидкості вітру, а результати порівнювалися з традиційною штучною нейронною мережею та моделями авторегресійної інтегрованої ковзної середньої, запропонований метод показав кращі результати [12]. Модель довгострокової пам’яті (LSTM) була створена для короткострокового просторово-часового прогнозу швидкості вітру для п’яти місць з використанням дворічних даних для історичної швидкості вітру та авторегресії.

Модель була спрямована на підвищення точності прогнозування на коротшому часовому горизонті. Наприклад, використання LSTM протягом двох або трьох годин може прогнозувати горизонти, що розтягуються до п’ятнадцяти днів, використовуючи модель NWP, яка зазвичай оновлюється з частотою шести годин [13]. Швидкість навчання RNN для прогнозування багатовимірних часових рядів зазвичай є відносно низькою, особливо при використанні з великою глибиною мережі.

Нещодавно віддали перевагу різновиду RNN, який називається довготривалою пам’яттю (LSTM), завдяки його чудовій продуктивності під час фази навчання завдяки кращому вирішенню проблем градієнта зникнення та вибуху стандартної архітектури RNN [14,15].

Моделі довготривалої короткочасної пам’яті (LSTM) і часових згорткових мереж (TCN) були запропоновані для прогнозування легкої погоди на основі даних, і їх ефективність порівнювалася з класичними підходами машинного навчання (стандартна регресія (SR), опорна векторна регресія (SVR), випадковий ліс ( RF), підходи до статистичного машинного навчання (авторегресійне інтегроване ковзне середнє (ARIMA), векторна авторегресія (VAR) і векторна модель корекції помилок (VECM)) і метод динамічного ансамблю (арбітраж експерта з прогнозування (AFE)).

Результати запропонованої моделі демонструють її здатність прогнозувати ефективну та точну погоду [16]. Незважаючи на безперервний розвиток досліджень алгоритму LSTM у довгостроковому прогнозуванні швидкості вітру, традиційний алгоритм RNN для прогнозування все ще є пріоритетним у більшості досліджень.

У цьому документі акцент було зроблено на застосуванні алгоритму LSTM у сфері прогнозування швидкості вітру, а для навчання та тестування використовувалося порівняння ефективності прогнозування та точності алгоритму за різних часових рядів швидкості вітру.

2. Методологія та джерело даних

2.1. Джерела даних

У цьому дослідженні запропонована модель була реалізована лише для короткострокового прогнозування швидкості вітру, щоб уникнути тривалого обчислювального часу для здійснення динамічного масштабування за допомогою моделей NWP, таких як Модель дослідження та прогнозування погоди (WRF). Дані про швидкість вітру зі станції Halifax Dockyard у Новій Шотландії, яка розташована на широті 44,66° пн.ш., довготі 63,58° зх.д.

Швидкість вітру було виміряно на висоті 3,80 м, і він використовувався як джерело для двох різних сезонів, весни (березень 2015 року) і літа (липень 2015 року), як показано на малюнку 1.

Для обох сезонів дані реєструються щогодини (576 зчитувань/24 дні) як спостереження та (168 зчитувань/7 днів), відповідно, як групи навчання та тестування. Запропонована реалізація LSTM добре підходить до набору даних часового ряду, який може підвищити точність конвергенції процесу навчання.

2.2. Рекурентні нейронні мережі

Повторювані нейронні мережі (RNN) — це нейронні мережі з послідовними даними, метою яких є прогнозування наступного кроку в послідовності спостережень відносно попередніх кроків у тій же послідовності.

RNN містять приховані шари, розподілені в часі, що дозволяє їм зберігати інформацію, отриману на попередніх етапах зчитування послідовних даних. Швидкість вітру залежить від короткострокової та довгострокової перспективи.

Проста модель RNN не в змозі обробляти довгострокові залежності часу. Однією з проблем, яка виникає при розгортанні RNN, є те, що градієнт деяких ваг починає ставати занадто малим або занадто великим, якщо мережа розгортається на занадто багато часових кроків.

Це явище називається проблемою зникаючих градієнтів, і воно може зберігати короткочасну пам’ять лише тому, що включає функції активації лише прихованого шару попереднього часового кроку, що спричиняє втрату інформації в довгостроковій перспективі [17,18].

Типом мережевої архітектури, яка вирішує цю проблему, є LSTM. У типовій реалізації прихований рівень замінюється складним блоком обчислювальних блоків, що складається з вентилів, які фіксують помилку в блоці, утворюючи так звану «карусель помилок» [5]. На малюнку 2 показано структуру RNN, де вихідні дані попередньо прихованого шару вводяться в поточний прихований шар. Модель RNN виражається через

2.2. Рекурентні нейронні мережі

Повторювані нейронні мережі (RNN) — це нейронні мережі з послідовними даними, метою яких є прогнозування наступного кроку в послідовності спостережень відносно попередніх кроків у тій же послідовності. RNN містять приховані шари, розподілені в часі, що дозволяє їм зберігати інформацію, отриману на попередніх етапах зчитування послідовних даних. Швидкість вітру залежить від короткострокової та довгострокової перспективи.

Проста модель RNN не в змозі обробляти довгострокові залежності часу. Однією з проблем, яка виникає при розгортанні RNN, є те, що градієнт деяких ваг починає ставати занадто малим або занадто великим, якщо мережа розгортається на занадто багато часових кроків. Це явище називається проблемою зникаючих градієнтів, і воно може зберігати короткочасну пам’ять лише тому, що включає функції активації лише прихованого шару попереднього часового кроку, що спричиняє втрату інформації в довгостроковій перспективі [17,18].

Типом мережевої архітектури, яка вирішує цю проблему, є LSTM. У типовій реалізації прихований рівень замінюється складним блоком обчислювальних блоків, що складається з вентилів, які фіксують помилку в блоці, утворюючи так звану «карусель помилок» [5]. На малюнку 2 показано структуру RNN, де вихідні дані попередньо прихованого шару вводяться в поточний прихований шар.

Модель RNN виражається де це вхід, h це значення стану прихованого шару, воно оцінюється на вихідному шарі в момент часу t, чому дорівнює вага з вхідного шару, чому дорівнює вага для відкладеного виведення в момент часу t − 1, tanh є гіперболічним тангенсом як функцією активації на прихованому шарі, а σ є сигмоподібною функцією як функцією активації на вихідному шарі.

2.3. Довга короткочасна пам'ять

Мережі довготривалої короткочасної пам’яті є типом рекурентної нейронної мережі (RNN), розробленої для уникнення проблеми довготривалої залежності, де кожен нейрон містить клітинку пам’яті, здатну зберігати попередню інформацію, використану RNN, або забувати її, якщо необхідно [19] . В даний час він широко використовується з успіхом у задачах прогнозування часових рядів.

LSTM-RNN було розроблено з комірки пам’яті, яка зберігає довгострокові залежності. На додаток до комірки пам'яті, комірка LSTM містить вхідний вентиль, вихідний вентиль і забувальний вентиль.

Кожен вентиль у комірці отримує поточний вхід tx, прихований стан ht-1 у попередній момент і інформацію про стан Ct-1 внутрішньої пам'яті комірки для виконання різноманітних операцій і визначення того, чи слід активувати за допомогою логічної функції. Стан ht блоку, вихідний сигнал у момент часу t і прихований стан входу в момент часу t1 визначаються нелінійною активацією tanh ( ) та інформацією вихідного вентиля.

3. Результати та їх обговорення

У цьому дослідженні програмне забезпечення MATLAB (R2019b) використовувалося для процесу навчання LSTM, який є вдосконаленою архітектурою для RNN для прогнозування значень майбутніх часових кроків послідовності. Мережу регресії послідовності було навчено до послідовності LSTM, де відповіді є навчальними послідовностями зі зміною значень за один часовий крок.

Тобто для кожного кроку в часі вхідної послідовності мережа LSTM вчиться передбачати значення наступного кроку в часі. У цій роботі, щоб комплексно та систематично оцінити ефективність та застосовність запропонованої моделі, було вибрано дві серії даних для швидкості вітру для двох різних сезонів через їх різні кліматичні характеристики, якими є, відповідно, весна (березень 2015 р.) та літо (липень 2015 р.). ).

Кожен ряд даних було поділено на 1–576 (24 дні) як спостереження та 577–744 (7 днів), відповідно, як навчальна та тестова групи. Дані навчання були стандартизовані, щоб мати нульове середнє та одиничну дисперсію за час прогнозування, щоб запобігти розбіжності навчання. Найкращий параметр навчання для отримання найнижчого RMSE визначається за допомогою початкової швидкості навчання 0,005.

На рисунках 4 і 5 показано порівняння спостережуваних значень із прогнозованими значеннями погодинної швидкості вітру, зібраними навесні (1–31 березня 2015 р.) і влітку (1–31 липня 2015 р.), відповідно, для оцінки LSTM, який був навчений один раз ( значення попереднього прогнозу) і повторно використовується для прогнозування кожного кроку часу між прогнозами, що представлено рівняннями (2)–(4). Це означає, що після того, як модель вперше відповідає навчальним даним, жодних оновлень не відбувається, і модель у цьому випадку називається фіксованою моделлю, оскільки немає оновлень.

Для 200 прихованих модулів було вибрано варіанти навчання мережі LSTM. Початкова швидкість навчання становить 0,005, а максимальна кількість ітерацій зафіксована на рівні 250. Порогове значення градієнта встановлено на 1, щоб запобігти вибуху градієнтів. Швидкість навчання знижується після 125 епох шляхом множення на коефіцієнт 0,2. На обох малюнках 6 і 7 LSTM оновлено новими даними для прогнозування часового ряду за допомогою прогнозованих значень і оновлених значень стану з набору тестів і доступно для модель для прогнозу на наступному часовому етапі Спеціально модифікований LSTM прийняв Ct-1 до вхідних, забутих і вихідних вентилів.

Це пояснюється тим, що кожного разу, коли виконується LSTM, Ct-1 впливає на введення, забуття та вихід LSTM. Усі прогнози збираються в тестовому наборі даних, і оцінка помилки обчислюється для узагальнення навичок моделі. Середньоквадратична помилка (RMSE) використовується, оскільки вона штрафує великі помилки та призводить до оцінки в тих самих одиницях, що й прогнозовані дані, якою є швидкість вітру за годину.

Тут передбачення є більш точними, якщо оновлювати стан мережі спостережуваними значеннями замість прогнозованих значень. З результатів видно, що в обох серіях Весна (березень 2015) і Літо (липень 2015) значення RMSE впало на 4,5845 і 4,9392, відповідно, при використанні оновлення LSTM, і це пов’язано з різними характеристиками кожного.

У цій роботі та на основі різноманітних попередніх досліджень за різними моделями зазначається, що точність моделей передбачення відрізняється відповідно до різних характеристик інформації, і тому досі не було створено жодної моделі, яка б працювала з однаковою точністю з різною інформацією. . У таблиці 1 показано помилки для двох рядів даних (липень 2015 р.) і (березень 2015 р.) у запропонованій моделі LSTM з використанням показників помилок RMSE.

4. Висновки

Точна модель прогнозування джерел швидкості вітру необхідна для надання необхідної інформації для розширення можливостей операторів електромереж і системних проектувальників у створенні оптимальної вітроелектростанції та для збалансування попиту та пропозиції на енергетичному ринку.

У цьому дослідженні була запропонована модифікована довготривала короткочасна пам’ять (LSTM) для прогнозування швидкості вітру. Оскільки можна отримати доступ до фактичного значення часових кроків між прогнозами, швидкість вітру прогнозується шляхом оновлення стану мережі в кожному прогнозі з використанням спостережуваного значення замість воріт.

Це пояснюється тим, що кожного разу, коли LSTM виконується, стан комірки впливає на введення, забуття та вихід LSTM. Результати моделі продемонстрували підвищену точність прогнозування швидкості вітру.

Авторські внески: Conceptualization, ME; методика, МЕ; програмне забезпечення, МЕ; валідація, ME; формальний аналіз, ME та AM; написання - Підготовка оригіналу, ME; написання-Рецензування таредагування, AM; нагляд, AM; адміністрація проекту, AM Усі автори прочитали та погодилися з опублікованою версією рукопису.

Фінансування: це дослідження було частково профінансовано Міністерством освіти Лівії, грант № 3772.

Заява інституційної ревізійної ради: не застосовується.

Заява про інформовану згоду: не застосовується.

Заява про доступність даних: не застосовується.

Конфлікт інтересів: автори заявляють про відсутність конфлікту інтересів.

Список літератури

1. Монфаред М.; Растегар, Х.; Коджабаді, Х.М. Нова стратегія прогнозування швидкості вітру за допомогою методів штучного інтелекту. Renew.Energy 2009, 34, 845–848. [CrossRef]

2. Коробка, Г.Е.; Дженкінс, Г.М.; Reinsel, GC; Люнг, Г. М. Аналіз часових рядів: Прогнозування та контроль, 5-е видання; John Wiley & Sons: Hoboken, NJ, США, 2015; С. 129–171.

3. Ельсарайті, М.; Мерабет, А.; Аль-Дурра, А. Аналіз часових рядів і прогнозування даних швидкості вітру. У матеріалах щорічної зустрічі Товариства промислових прикладних програм IEEEI, Балтімор, штат Меріленд, США, 29 вересня–3 жовтня 2019 р.; С. 1–5.

4. Ядав А.П.; Кумар, А.; Бехера, Л. Прогнозування сонячної радіації на основі RNN з використанням адаптивної швидкості навчання. У Міжнародній конференції з ройових, еволюційних і меметичних обчислень; Springer: Cham, Швейцарія, 2013; С. 442–452.

5. Hochreiter, S.; Шмідхубер, Дж. Довга короткочасна пам'ять. Нейронний комп'ютер. 1997, 9, 1735–1780. [CrossRef] [PubMed]

6. Кумар, Д.; Матур, HD; Бханот, С.; Bansal, RC Прогнозування сонячної та вітрової енергії з використанням LSTM RNN для керування частотою навантаження в ізольованій мікромережі. Міжн. Дж. Модель. Симул. 2020. [CrossRef]

7. Ши, X.; Лей, X.; Хуан, К.; Хуанг, С.; Рен, К.; Hu, Y. Погодинне прогнозування потужності вітру на добу вперед з використанням гібридної моделі декомпозиції варіаційної моделі та довготривалої короткочасної пам’яті. Energies 2018, 11, 3227. [CrossRef]

8. Родрігес, ER; Олівейра, І.; Кунья, Р.; Нетто, М. DeepDownscale: стратегія глибокого навчання для прогнозу погоди з високою роздільною здатністю. У матеріалах 2018 IEEE 14th International Conference on e-Science (e-Science), Амстердам, Нідерланди, 29 жовтня–1 листопада 2018 р.; IEEE: Нью-Йорк, Нью-Йорк, США, 2018; С. 415–422.

9. Чен, Н.; Цянь, З.; Набні, І.Т.; Менг, X. Прогнози вітрової енергії з використанням процесів Гауса та чисельного прогнозу погоди. IEEE Trans. Power Syst. 2013, 29, 656–665. [CrossRef]

10. Цао, К.; Юінг, Б.Т.; Томпсон, Массачусетс Прогнозування швидкості вітру за допомогою рекурентних нейронних мереж. євро J. Oper. рез. 2012, 221, 148–154. [CrossRef]

11. Лідія М.; Кумар, СС; Селвакумар, А. І.; Kumar, GE Лінійні та нелінійні авторегресійні моделі для короткострокового прогнозування швидкості вітру. Перетворення енергії кер. 2016, 112, 115–124. [CrossRef]

12. Гадері, А.; Сананджі, Б.М.; Ghaderi, F. Deep Forecast: Deep Learning Based Spatio-Temporal Forecasting; Корнельський університет: Ітака, Нью-Йорк, США, 2017.

For more information:1950477648nn@gmail.com