Нейромережу навчили виявляти насилля у натовпі

Про це розробники повідомили в статті, яку представлять на конференції CVPR 2018.

БІЛЬШЕ НОВИН ОСВІТИ, УКРАЇНИ  ТА СВІТУ НА НАШІЙ СТОРІНЦІ У ФЕЙСБУЦІ – Ukr.life – Українське життя  СТАВТЕ “ЛАЙК” ТА ЗАВЖДИ БУДЬТЕ В КУРСІ ПОДІЙ

Оскільки алгоритми комп’ютерного зору вже досить точні, їх стали застосовувати для автоматизації спостереження і виявлення злочинів. У деяких країнах системи відеоспостереження в громадських місцях використовуються разом з подібними алгоритмами, що допомагають розпізнавати людей в натовпі і звіряти їх з базою розшуку. Крім того, є розробки, які дозволяють не тільки виявляти людей, а й аналізувати їх дії, наприклад, існує алгоритм, який виявляє забуті речі.

Група дослідників з Великобританії та Індії вирішила використовувати для збору даних дрон, який може літати над людьми. Варто зазначити, що автори вже представляли подібну систему в 2014 році, але вона мала набагато меншу точність, а розпізнавання велося не в реальному часі.

Порівняння точності розпізнавання з попереднім алгоритмом

Розробники вибрали квадракоптер Parrot AR, оснащений камерою, який записує відео з роздільною здатністю 720p і частотою 30 кадрів в секунду. Оскільки аналіз такого відеопотоку в реальному часі неможливо проводити на бортовому комп’ютері, дані пересилаються через інтернет на хмарний сервер з набагато більшою обчислювальною потужністю.

БІЛЬШЕ НОВИН ОСВІТИ, УКРАЇНИ  ТА СВІТУ НА НАШІЙ СТОРІНЦІ У ФЕЙСБУЦІ – Ukr.life – Українське життя  СТАВТЕ “ЛАЙК” ТА ЗАВЖДИ БУДЬТЕ В КУРСІ ПОДІЙ

Обробка зображення відбувається в три етапи. Спочатку кадри відео передаються розробленій в Facebook нейромережі FPN, яка використовує піраміди зображень і створені на їх основі піраміди ознак для ефективного розпізнавання людей на кадрі незалежно від їх розміру і фону. Потім частини зображення, на яких система розпізнала людей, передаються надточній нейромережі, яка визначає на зображенні людини 14 точок, з яких складається спрощена модель скелета. Після цього алгоритм, який використовує метод опорних векторів, аналізує обчислене на попередньому етапі положення частин тіла і зіставляє його з положеннями, відповідними насильницького поведінки.

Перетворення кадру з відео в модель скелета

Для того, щоб нейромережа навчилася визначати положення частин тіла і розуміти, що на кадрі відбувається насильство, дослідники створили датасет, що складається з двох тисяч розмічених знімків, знятих з дрона. На знімках зображені кілька людей, приблизно половина з яких залучені в насильницькі дії: б’ють або душать іншу людину або направляють на нього пістолет або ніж. У кожної людини на знімку розмічена модель скелета і підписана їх дія.