Як працює розпізнавання облич?

Сьогодні багато хто з нас звик до розпізнавання обличчя, використовуючи його для різноманітних цілей, від фільтрів в Instagram до розблокування пристроїв за допомогою Face ID. Проте, ця відносно нова технологія може викликати певні побоювання, адже наше обличчя, подібно до відбитка пальця, є унікальним і неповторним, а технології розпізнавання обличчя досить складні.

Як і будь-яка інновація, розпізнавання обличчя має свої слабкі сторони. Ці недоліки стають все більш очевидними, оскільки військові, правоохоронні органи, рекламні компанії та творці діпфейків знаходять все нові способи використовувати програмне забезпечення для розпізнавання облич.

Саме тому, зараз, як ніколи, важливо розуміти, як саме функціонує розпізнавання обличчя, які існують обмеження цієї технології та як вона може розвиватися у майбутньому.

Як працює розпізнавання обличчя: основні принципи

Перш ніж заглиблюватися в різноманітні методи розпізнавання облич, необхідно зрозуміти, як саме відбувається процес. Розглянемо три основні програми розпізнавання облич та їхні принципи роботи:

Базове розпізнавання обличчя: Для таких функцій, як фільтри Animoji та Instagram, камера вашого смартфона сканує основні риси обличчя, такі як очі, ніс та рот. Потім за допомогою спеціальних алгоритмів визначається положення обличчя, напрямок погляду, відкритий рот тощо. Важливо зазначити, що це не ідентифікація особи, а просто пошук обличчя в кадрі.

Face ID та аналогічні програми: Після налаштування Face ID (або іншої подібної системи), ваш пристрій створює знімок вашого обличчя та вимірює відстані між його основними рисами. При кожній спробі розблокувати пристрій, камера знову вимірює ці параметри для підтвердження вашої особи.

Ідентифікація незнайомих облич: Коли організація хоче ідентифікувати обличчя для цілей безпеки, реклами або правоохоронної діяльності, використовуються алгоритми для порівняння цього обличчя з великою базою даних. Цей процес схожий на Face ID, але відбувається у більшому масштабі. Теоретично, можна використовувати будь-яку базу даних, однак, ідеальним варіантом є база з чіткими ідентифікованими фотографіями.

Отже, оскільки базове розпізнавання обличчя, що використовується для фільтрів Instagram, є досить простим та нешкідливим процесом, далі ми зосередимося на ідентифікації обличчя та різних технологіях, які використовуються для цього.

2D-зображення: основа більшості систем розпізнавання облич

Як і можна було очікувати, більшість програмного забезпечення для розпізнавання облич базується на 2D-зображеннях. Це пов’язано не з високою точністю, а зі зручністю. Переважна більшість камер роблять плоскі знімки, а загальнодоступні фотографії (наприклад, профілі у соцмережах) також є у двовимірному форматі.

Чому 2D-зображення не є дуже точним? Тому що воно не містить інформації про глибину. За допомогою плоского зображення можна виміряти відстань між зіницями, ширину рота та інші параметри. Однак, неможливо визначити довжину носа або виступання чола.
Крім того, 2D-зображення покладається на видимий спектр світла. Це означає, що воно не працює в темряві і може бути ненадійним за умов недостатнього освітлення.

Зрозуміло, що деякі з цих недоліків можна подолати за допомогою 3D-зображення. Але як це можливо? Чи потрібно використовувати спеціальне обладнання для 3D-сканування обличчя?

Інфрачервоні камери: додавання глибини

Хоча деякі програми розпізнавання облич використовують виключно 2D-зображення, нерідко застосовується і 3D-сканування. Ймовірно, ваш досвід з розпізнаванням облич включає елементи 3D-технології.

Це досягається за допомогою технології LiDAR, яка працює подібно до гідролокатора. Пристрої сканування обличчя, наприклад, iPhone, проектують на ваше обличчя нешкідливу інфрачервону матрицю (стіну з лазерів). Ця матриця відбивається від обличчя та зчитується інфрачервоною камерою (або ToF-камерою) на пристрої.

Де ж тут 3D? Інфрачервона камера вимірює час, за який кожен елемент інфрачервоного світла повертається до камери. Світло, відбите від носа, повертається швидше, ніж світло, відбите від вух. На основі цих даних створюється унікальна карта глибини обличчя. Використання 3D-зображення разом з 2D-зображенням значно підвищує точність розпізнавання облич.

Для кращого розуміння технології LiDAR можна уявити, що інфрачервона матриця є іграшкою “пін-борд”. Подібно до того, як ваше обличчя залишає відбиток на іграшці, воно формує рельєф в інфрачервоній матриці, де ніс виступає далі, ніж, наприклад, очі.

Тепловізійні камери: розпізнавання обличчя вночі

Одним із недоліків 2D-розпізнавання є його залежність від видимого світла. Простіше кажучи, базове розпізнавання облич не працює в темряві. Однак цю проблему можна вирішити за допомогою тепловізійної камери.

Ви можете запитати: “Хіба тепловізори не використовують інфрачервоне випромінювання?” Так, але на відміну від LiDAR, тепловізори не випромінюють інфрачервоне світло. Вони виявляють інфрачервоне випромінювання, яке випускають об’єкти. Теплі предмети випромінюють більше інфрачервоного світла, ніж холодні. Чутливі тепловізійні камери можуть розрізняти навіть незначні перепади температури, що робить їх ідеальними для розпізнавання облич.

Зображення спектру видимого світла, теплові зображення та композиційне теплові зображення.

Існує кілька методів ідентифікації обличчя за допомогою тепловізійної камери. Усі вони досить складні, але мають спільні принципи, які можна узагальнити у наступному списку:

Потрібно кілька знімків: Тепловізійна камера робить кілька знімків обличчя, фокусуючись на різних спектрах інфрачервоного випромінювання (довго-, коротко- та середньохвильовому). Зазвичай, довгохвильовий спектр надає найбільше деталей.
Аналіз кровоносних судин: Інфрачервоні зображення можуть використовуватись для виявлення розташування кровоносних судин на обличчі. Ці карти можуть слугувати унікальним “відбитком пальця” обличчя. Також їх можна використовувати для визначення відстаней між рисами обличчя або для ідентифікації синців та шрамів.
Ідентифікація: Композиційне зображення (або набір даних) створюється на основі кількох інфрачервоних зображень. Потім це зображення можна порівняти з базою даних облич для ідентифікації об’єкта.

Теплове розпізнавання обличчя зазвичай використовується у військовій сфері і навряд чи буде доступним у широкому вжитку в найближчому майбутньому. Також слід врахувати, що тепловізійні камери неефективні вдень або при яскравому освітленні, що обмежує їхнє застосування за межами військової сфери.

Обмеження технології розпізнавання облич

Ми вже обговорили деякі недоліки розпізнавання облич. Як ми бачили, деякі з них можна подолати, використовуючи інфрачервоні та тепловізійні зображення. Проте є ще кілька проблем, які залишаються невирішеними:

  • Аксесуари: Сонцезахисні окуляри та інші аксесуари можуть перешкоджати роботі програмного забезпечення розпізнавання облич.
  • Поза: Розпізнавання облич найкраще працює з нейтральними зображеннями обличчя. Нахил або поворот голови може ускладнити ідентифікацію. Крім того, посмішка або будь-яка інша міміка можуть змінити вимірювання, зроблені комп’ютером.
  • Освітлення: Усі методи розпізнавання облич залежать від світла, будь то видиме чи інфрачервоне. Тому незвичайні умови освітлення можуть зменшити точність розпізнавання. Проте, науковці розробляють технології розпізнавання облич на основі сонара, які можуть вирішити цю проблему.
  • База даних: Розпізнавання облич неможливе без відповідної бази даних. Так само, не можна ідентифікувати обличчя, яке не було правильно зареєстроване раніше.
  • Обробка даних: Залежно від розміру бази даних, комп’ютерам може знадобитися певний час для ідентифікації обличчя. У деяких ситуаціях, таких як робота поліції, обмеження в обробці даних ускладнюють використання технології для повсякденних цілей.

Наразі найкращий спосіб обійти ці обмеження – використовувати розпізнавання облич разом з іншими методами ідентифікації. Наприклад, ваш телефон запросить пароль або відбиток пальця, якщо не зможе розпізнати ваше обличчя. А китайський уряд використовує ідентифікаційні картки та технології відстеження, щоб компенсувати недоліки своїх систем розпізнавання облич.

У майбутньому науковці знайдуть способи вирішити ці проблеми. Можливо, вони зможуть використовувати гідролокатор разом із LiDAR для створення 3D-карт обличчя в будь-яких умовах та обробляти дані за неймовірно короткий час. У будь-якому випадку, ця технологія має великий потенціал для зловживання, тому важливо стежити за її розвитком.

Джерела: Університет Рієки, Фонд “Електронний кордон”.