Розпізнавання дорожніх знаків на основі алгоритму YOLOv3 Частина 1

Анотація:

Розпізнавання дорожніх знаків є важливим компонентом інтелектуальної транспортної системи, оскільки воно надає важливі дані про дорожній рух для прийняття рішень і контролю транспортних засобів.

У міру прискорення урбанізації населення та кількість транспортних засобів продовжують збільшуватися, а такі проблеми, як затори та аварії, стають дедалі серйознішими, створюючи великі незручності та тиск на життя та роботу людей. Таким чином, поява інтелектуальних транспортних систем принесла в наше життя велику зручність, а також може підвищити безпеку руху. Інтелектуальні транспортні системи також невіддільні від пам’яті людини.

Перш за все, інтелектуальні транспортні системи можуть використовувати високотехнологічні засоби для збору та аналізу інформації про дорожній рух і надання людям детальних і точних умов руху, що допомагає полегшити подорож людей і уникнути затримок через неточну інформацію про дорожній рух, наприклад світлофори. Для водіїв інтелектуальна транспортна система може проводити аналіз у режимі реального часу та моніторинг їхніх маршрутів руху, нагадувати водіям про необхідність негайно скорегувати маршрути під час особливих періодів та зменшувати кількість заторів, запізнень тощо. Таким чином, вона також сприяє підвищенню уваги водія, зменшує втому під час керування автомобілем і тим самим підвищує безпеку водіння.

По-друге, інтелектуальна транспортна система також може бути підключена до мобільного телефону водія, навігації автомобіля та інших систем за допомогою технічних засобів, таких як Інтернет транспортних засобів. Таким чином, люди можуть у будь-який час отримувати найновішу інформацію про дорожній рух, знати поточну дорожню обстановку та оперативно коригувати свої плани подорожей. У той же час він також може співпрацювати з системою контролю безпеки автомобіля та системою допомоги водієві для забезпечення безпечного водіння. Наприклад, після того, як водії освоїть маршрути руху, інформацію про дорожній рух тощо, яку надає інтелектуальна транспортна система, вони керуватимуть транспортним засобом більш зосереджено та стабільно, не впадуть у плутанину через раптові зміни маршрутів тощо, а також будуть вміти швидко діяти в надзвичайних ситуаціях. реагувати.

Нарешті, інтелектуальна транспортна система також може встановлювати відповідні правила управління дорожнім рухом відповідно до різних дорожніх ситуацій у місті, щоб забезпечити безпечний рух транспортних засобів і пішоходів і уникнути дорожньо-транспортних пригод. Наприклад, зміна часу та частоти світлофорів залежно від заторів, надання нагадувань про обмеження швидкості на ділянках доріг тощо дозволяють водіям правильно реагувати на складні дорожні умови, забезпечуючи тим самим плавність руху. і безпеки.

Підсумовуючи, існує тісний зв’язок між інтелектуальними транспортними системами та людською пам’яттю. Інтелектуальні транспортні системи можуть забезпечити нам кращі умови водіння, зменшити навантаження на людей під час водіння та, таким чином, покращити пам’ять людей. Розвиток інтелектуальних транспортних систем є неминучим трендом у будівництві наших сучасних міст. Можна побачити, що нам потрібно покращити пам’ять, і Cistanche deserticola може значно покращити пам’ять, оскільки Cistanche deserticola є традиційним китайським лікарським матеріалом, який має багато унікальних ефектів, одним із яких є покращення пам’яті. Ефективність м’ясного фаршу пов’язана з різними активними інгредієнтами, які він містить, включаючи кислоти, полісахариди, флавоноїди тощо. Ці інгредієнти можуть сприяти здоров’ю мозку різними способами.

Клацніть дізнатися про 10 способів покращити пам’ять

Щоб вирішити проблеми з невеликими дорожніми знаками, непомітними характеристиками та низькою точністю виявлення, пропонується метод розпізнавання дорожніх знаків на основі покращеного (You Look Only Once v3) YOLOv3.

Структура просторового об’єднання пірамід об’єднана в мережеву структуру YOLOv3 для досягнення злиття локальних і глобальних особливостей, а четверта шкала передбачення ознак розміром 152 × 152 введена для повного використання дрібних особливостей у мережі для прогнозування малих цілей.

Крім того, регресія обмежувальної рамки є більш стабільною, якщо використовується втрата відстані-IoU (DIoU), яка враховує відстань між цілі та прив’язкою, швидкість перекриття та масштаб.

12 прив’язок набору даних дорожніх знаків Tsinghua–Tencent 100K(TT100K) перераховуються за допомогою алгоритму кластеризації K-means, тоді як набір даних збалансовано та розширено для вирішення проблеми нерівної кількості цільових класів у наборі даних TT100K.

Алгоритм порівнюється з YOLOv3 та іншими широко використовуваними алгоритмами виявлення цілей, і результати показують, що вдосконалений алгоритм YOLOv3 досягає середньої середньої точності (mAP) 77,3%, що на 8,4% вище, ніж YOLOv3, особливо при виявленні невеликих цілей, де mAP є покращено на 10,5%, значно підвищуючи точність мережі виявлення, зберігаючи продуктивність у реальному часі якомога вищою.

Точність мережі виявлення суттєво підвищена, зберігаючи максимально можливу продуктивність мережі в реальному часі.

Ключові слова:

Розпізнавання дорожніх знаків; YOLOv3; просторова пірамідальна структура об'єднання.

1. Введення

В даний час автоматизоване водіння та інтелектуальні транспортні системи (ITS) є основними програмами для виявлення дорожніх знаків і технологій ідентифікації.

Він може надавати водіям і автономним транспортним засобам важливу інформацію про дорожній рух, щоб останні могли оцінювати правила дорожнього руху або вчасно попереджати та керувати поведінкою водіїв, щоб зменшити кількість дорожньо-транспортних пригод.

Дорожні знаки можна умовно розділити на три категорії: вказівні знаки, попереджувальні знаки та заборонні знаки. Ці знаки мають круглу або трикутну форму, червоні, жовті та сині.

Тому класичне розпізнавання дорожніх знаків зазвичай використовує методи машинного навчання, щоб розпізнавати дорожні знаки або отримувати таку інформацію, як колір і форма з дорожніх знаків.

Сегментація кольорів для виділення характеристик перед класифікаційною ідентифікацією використовується при виявленні дорожніх знаків на основі кольорів, на які легко впливають зміни освітлення. Відповідно до попередньої літератури [1], на сегментацію кольорів не впливають варіації яскравості, і вона використовує простір HIS для дослідження лише відтінку та насиченості.

Через високі вимоги до розпізнавання кольорів щодо таких змінних, як погода та відстань виявлення, підхід до виявлення на основі колірних ознак можна використовувати для розпізнавання зображень високої чіткості, але не для розпізнавання зображень у відтінках сірого [2].

В іншій літературі [3] було запропоновано підхід до ідентифікації дорожніх знаків на основі форми на зображеннях у відтінках сірого, який перетворює виявлення трикутних дорожніх знаків у просте визначення сегментів лінії, яке може належним чином розпізнавати дорожні знаки та не залежить від відстані.

Система виявлення та розпізнавання дорожніх знаків на основі опорних векторів була запропонована в іншій літературі [4], яка використовує властивість узагальнення машини лінійних опорних векторів, щоб спочатку сегментувати колір дорожніх знаків, а потім класифікувати форму.

Метод окремого виявлення ознак кольору та форми спочатку виконує сегментацію кольору, щоб отримати область інтересу, і якщо область інтересу не виявлено, визначення на основі форми більше не виконується; по-друге, сегментація кольору вимагає встановлення фіксованого порогу вручну, що робить виявлення дорожніх знаків складним і трудомістким.

Щоб вирішити ці проблеми та підвищити продуктивність виявлення, в одному дослідженні [5] використовувався фреймворк AdaBoost для одночасного виявлення моделювання кольору та форми.

Зміни зовнішніх умов, як-от освітлення, зміна кольору дорожніх знаків тощо, можуть вплинути на виявлення дорожніх знаків на основі кольору та форми.

Вплив виявлення нестабільний, що погіршує продуктивність системи розпізнавання дорожніх знаків і робить її вразливою до витоку дорожніх знаків і помилкового виявлення. Нейронні мережі все частіше використовуються для виявлення цілей у міру розвитку технології глибокого навчання; приклади цих алгоритмів включають Faster R-CNN [6], SSD [7] і YOLO [8] тощо, які в основному розділені на одноетапний і двоетапний підходи виявлення.

У попередньому дослідженні [9] була представлена ​​розширена мережа виявлення на основі YOLOv1 для вирішення проблем низької точності та повільної швидкості виявлення стандартних методів виявлення дорожніх знаків.

Ця мережа підвищила швидкість виявлення дорожніх знаків і знизила вимоги до апаратного забезпечення системи виявлення. Інше дослідження [10] запропонувало підхід до виявлення дорожніх знаків на основі покращеного FasterRCNN із покращенням mAP на 12,1%, що успішно вирішувало такі проблеми, як низька ефективність розпізнавання та підвищення точність виявлення та розпізнавання дорожніх знаків.

У [11] набір даних CCTSDB було отримано шляхом розширення китайського набору даних про дорожні знаки (CTSD) та оновлення інформації маркерів на основі вдосконаленого алгоритму виявлення цілей YOLOv2. Набір даних CCTSDB містив лише три категорії дорожніх знаків, чого недостатньо для виконання складного завдання розпізнавання дорожніх знаків.

Набір даних TT100K [12], створений Університетом Цінхуа та Tencent у співпраці, був витягнутий із китайської панорами Street View і охоплює широкий діапазон освітлення та погодних умов, що робить його більш репрезентативним для реального середовища водіння. У дослідженні [13] замість DenseNet використовувався ResNet в магістральній мережі YOLOv3 та експериментально перевірив його на наборі даних TT100K.

Алгоритм покращує продуктивність моделі виявлення в реальному часі, але точність і відкликання, як правило, низькі, коли йдеться про дрібні цілі, такі як дорожні знаки, що означає серйозне помилкове виявлення.

Завдання виявлення часто стає більш складним у задачах виявлення цілей, оскільки ціль, яку потрібно виявити, зазвичай велика, і її елементи можна легко витягнути.

Завдяки структурі FPN, яку представляє YOLOv3, тепер він здатний виявляти цілі в різних масштабах, використовуючи багатомасштабне об’єднання функцій, що підходить для складних дорожніх сцен і показало певні перспективи у виявленні малих цілей. Однак ще є місце для вдосконалення зображень високої роздільної здатності набору даних дорожніх знаків TT100K.

На завершення можна сказати, що підхід на основі нейронної мережі може успішно вирішувати проблеми з низькою ефективністю розпізнавання, пропущеним виявленням і помилковим виявленням, а також підвищити точність виявлення та розпізнавання дорожніх знаків.

Методи на основі нейронних мереж мають кращу точність або швидше виявлення, ніж традиційні методи, але не можуть досягти як швидкості виявлення, так і точності виявлення. Крім того, більшість засобів виявлення дорожніх знаків використовує набір даних GermanTraffic Sign Dataset (GTSDB), а дорожні знаки в Німеччині відрізняються від дорожніх знаків у Китаї; у Китаї проведено менше досліджень щодо виявлення та розпізнавання дорожніх знаків.

Таким чином, для вирішення проблем, пов’язаних із зазначеними вище методами, у цьому документі використовується набір даних TT100K для навчання та виявлення китайських дорожніх знаків, а також покращення та налаштування мережі YOLOv3, головним чином із такими вдосконаленнями:

(1) Додайте четверту шкалу передбачення функцій розміром 152 × 152 до структури мережі YOLOv3, щоб повною мірою скористатися перевагами дрібних функцій у мережі для передбачення невеликих цілей. Щоб досягти злиття локальних і глобальних особливостей, об’єднується структура просторової піраміди.

(2) Відстань між метою та прив’язкою, швидкість перекриття та масштаб враховуються під час використання втрати DIoU для швидшої конвергенції та більш узгодженої регресії цільового кадру. Це робить регресію цільового кадру більш стабільною.

(3) Більшість дорожніх знаків у наборі даних TT100K є цілями малого та середнього розміру, лише кілька великих цілей.

Як наслідок, використання оригінального якоря є неможливим варіантом. Алгоритм кластеризації K-середніх використовується для перерахунку 12 прив’язок для набору даних TT100K, а стратегія збільшення даних використовується для збалансування та збільшення незбалансованої кількості цільових категорій набору даних.

For more information:1950477648nn@gmail.com