Хто краще виявляє Deepfakes: людина чи машина?

Ключові висновки

  • Глибокі фейки становлять серйозну загрозу суспільству, включаючи поширення дезінформації, псування репутації через видавання себе за іншу особу та розпалювання конфлікту для національної безпеки.
  • Хоча технологія штучного інтелекту пропонує інструменти для виявлення дипфейків, вони не ідеальні, і людський розсуд залишається вирішальним у виявленні дипфейків.
  • Люди та інструменти виявлення штучного інтелекту мають різні сильні та слабкі сторони у виявленні глибоких фейків, і поєднання їхніх здібностей може підвищити рівень успіху у виявленні та пом’якшенні небезпек технології глибоких фейків.

Діпфейки загрожують кожному аспекту суспільства. Наша здатність розпізнавати фейковий контент має вирішальне значення для зведення нанівець дезінформації, але з удосконаленням технології штучного інтелекту кому ми можемо довірити виявлення глибоких фейків: людині чи машині?

Небезпека Deepfakes

У міру розвитку технологій штучного інтелекту небезпека дипфейків становить все більшу загрозу для всіх нас. Ось короткий підсумок деяких із найактуальніших проблем, які породжують deepfakes:

  • Дезінформація: підроблені відео та записи голосу можуть поширювати дезінформацію, наприклад фейкові новини.
  • Видача себе за іншу особу: видаючи себе за іншу особу, дипфейки можуть завдати шкоди репутації людей або ввести в оману всіх, хто їх знає.
  • Національна безпека: очевидний сценарій кінця світу з дипфейками — це сфабриковані кадри або аудіо, на яких зображено глобального лідера, який розпалює конфлікт.
  • Громадянські заворушення: оманливі кадри та аудіо також можуть використовуватися сторонами для розпалювання гніву та громадянських заворушень серед певних груп.
  • Кібербезпека: кіберзлочинці вже використовують інструменти штучного інтелекту для клонування голосу, щоб націлити на людей переконливі повідомлення від людей, яких вони знають.
  • Конфіденційність і згода: зловмисне використання дипфейків створює вигляд осіб без їхньої згоди.
  • Довіра та впевненість: якщо ви не можете відрізнити правду від обману, точна інформація стає так само недостовірною.

Дипфейки стануть ще переконливішими, тому нам потрібні надійні інструменти та процеси для їх виявлення. Штучний інтелект надає один із таких інструментів у формі моделей виявлення deepfake. Однак, як і алгоритми, розроблені для ідентифікації створених штучним інтелектом текстів, інструменти виявлення deepfake не ідеальні.

У цей час людський розсуд є єдиним інструментом, на який ми можемо покластися. Отже, ми краще за алгоритми ідентифікуємо дипфейки?

Чи можуть алгоритми виявляти Deepfakes краще, ніж люди?

Deepfakes є досить серйозною загрозою, тому технологічні гіганти та дослідницькі групи виділяють величезні ресурси на дослідження та розробки. У 2019 році такі компанії, як Meta, Microsoft і Amazon, запропонували 1 000 000 доларів призів під час Deepfake Detection Challenge для найточнішої моделі виявлення.

Найефективніша модель мала точність 82,56% порівняно з набором даних загальнодоступних відео. Проте, коли ті самі моделі перевіряли на «наборі даних чорної скриньки» з 10 000 непереглядних відео, точність найефективнішої моделі була лише на 65,18%.

У нас також є багато досліджень, які аналізують ефективність інструментів штучного інтелекту для виявлення глибоких фейків проти людей. Звісно, ​​результати різняться від дослідження до дослідження, але загалом люди або дорівнюють, або перевершують результати інструментів виявлення глибоких фейків.

Одне дослідження 2021 року, опубліковане на PNAS виявили, що «звичайні люди-спостерігачі» досягли дещо вищого рівня точності, ніж провідні інструменти виявлення глибоких фейків. Однак дослідження також виявило, що учасники-люди та моделі ШІ були сприйнятливі до різних типів помилок.

Цікаво, що дослідження, проведені в Університет Сіднея виявив, що людський мозок несвідомо ефективніший у виявленні глибоких фейків, ніж наші свідомі зусилля.

Виявлення візуальних підказок у Deepfakes

Наука виявлення глибоких фейків є складною, і необхідний аналіз залежить від характеру відзнятого матеріалу. Наприклад, сумно відоме глибоке фейкове відео лідера Північної Кореї Кім Чен Ина з 2020 року — це, по суті, відео «розмовляючої голови». У цьому випадку найефективнішим методом виявлення дипфейків може бути аналіз візем (рухів рота) і фонем (фонетичних звуків) на наявність невідповідностей.

Експерти, випадкові глядачі та алгоритми можуть виконувати такий аналіз, навіть якщо результати відрізняються. The MIT визначає вісім запитань, які допоможуть розпізнати глибокі фейкові відео:

  • Зверніть увагу на обличчя. Висококласні маніпуляції DeepFake майже завжди є трансформаціями обличчя.
  • Зверніть увагу на щоки і лоб. Шкіра здається занадто гладкою або занадто зморшкуватою? Чи схоже старіння шкіри на старіння волосся та очей? DeepFakes можуть бути невідповідними за деякими параметрами.
  • Зверніть увагу на очі і брови. Чи з’являються тіні в місцях, які ви очікували? DeepFakes може не повністю відобразити природну фізику сцени.
  • Зверніть увагу на окуляри. Чи є відблиски? Чи забагато відблисків? Чи змінюється кут відблиску, коли людина рухається? І знову DeepFakes може не повністю відобразити природну фізику освітлення.
  • Зверніть увагу на волосся на обличчі або їх відсутність. Це волосся на обличчі виглядає справжнім? DeepFakes може додати або видалити вуса, бакенбарди або бороду. Однак DeepFakes може не зробити трансформації волосся на обличчі повністю природними.
  • Зверніть увагу на родимки на обличчі. Чи виглядає родимка справжньою?
  • Зверніть увагу на моргання. Людина моргає достатньо чи занадто багато?
  • Зверніть увагу на рухи губ. Деякі дипфейки засновані на синхронізації губ. Чи виглядають рухи губ природними?

Найновіші інструменти виявлення глибоких фейків штучного інтелекту можуть аналізувати ті самі фактори, знову ж таки, з різним ступенем успіху. Фахівці з обробки даних також постійно розробляють нові методи, як-от виявлення природного кровотоку в обличчях динаміків на екрані. Нові підходи та вдосконалення існуючих можуть призвести до того, що в майбутньому інструменти виявлення штучного інтелекту будуть стабільно перевершувати людей.

Виявлення звукових підказок у Deepfakes

Виявлення deepfake аудіо – це зовсім інше завдання. Без візуальних підказок відео та можливості виявлення аудіовізуальних невідповідностей виявлення deepfake значною мірою покладається на аналіз аудіо (інші методи, як-от перевірка метаданих, також можуть допомогти в деяких випадках).

Дослідження, опубліковане Університетський коледж Лондона у 2023 році було виявлено, що люди можуть розпізнавати глибоке фейкове мовлення в 73% випадків (англійською та мандаринською). Як і у випадку з глибокими фейковими відео, люди, які слухають, часто інтуїтивно виявляють неприродні шаблони мовлення в мовленні, створеному штучним інтелектом, навіть якщо вони не можуть вказати, що здається неправильним.

Загальні ознаки включають:

  • Невиразне
  • Відсутність експресії
  • Фоновий шум або перешкоди
  • Вокальні або мовні неузгодженості
  • Відсутність «наповненості» голосів
  • Надто сценарна доставка
  • Відсутність недоліків (фальстарти, виправлення, прочищення горла тощо)

Знову ж таки, алгоритми також можуть аналізувати мовлення для тих самих сигналів deepfake, але нові методи роблять інструменти ефективнішими. Дослідження за ЮСЕНІКС виявив шаблони у реконструкції голосового тракту ШІ, які не можуть емулювати природну мову. У ньому підсумовується, що генератори голосу штучного інтелекту створюють аудіо, що відповідає вузьким голосовим трактам (розміром приблизно з соломинку для пиття) без природних рухів людської мови.

Більш ранні дослідження з Інститут Горста Гьорца проаналізували справжні та глибокі підробки аудіо англійською та японською мовами, виявивши тонкі відмінності у вищих частотах справжнього мовлення та глибоких підробок.

І голосовий тракт, і високочастотні неузгодженості сприймаються людьми-слухачами та моделями виявлення ШІ. У випадку високочастотних відмінностей моделі штучного інтелекту теоретично можуть ставати все більш точними, хоча те саме можна сказати і про глибинні фейки штучного інтелекту.

Дипфейки обманюють і людей, і алгоритми, але по-різному

Дослідження показують, що люди та новітні інструменти виявлення штучного інтелекту так само здатні ідентифікувати глибокі фейки. Рівень успішності може коливатися від 50% до 90+%, залежно від параметрів тесту.

Крім того, люди та машини також обманюються глибокими фейками в подібній мірі. Але важливо те, що ми вразливі по-різному, і це може бути нашим найбільшим активом у боротьбі з небезпеками технології deepfake. Поєднання сильних сторін людей і інструментів виявлення глибоких фейків пом’якшить слабкі сторони кожного з них і підвищить рівень успіху.

Наприклад, MIT Дослідження показали, що люди краще розпізнають дипфейки світових лідерів і відомих людей, ніж моделі ШІ. Він також показав, що моделі штучного інтелекту стикалися з відеоматеріалами з кількома людьми, хоча було припущено, що це може бути результатом навчання алгоритмів на кадрах із одним динаміком.

І навпаки, те саме дослідження показало, що моделі штучного інтелекту перевершують людські завдяки відеоматеріалу низької якості (розмитому, зернистому, темному тощо), яке можна навмисно використовувати для обману глядачів. Подібним чином нещодавні методи виявлення штучного інтелекту, такі як моніторинг кровотоку в окремих областях обличчя, включають аналіз, на який люди не здатні.

У міру розвитку нових методів здатність штучного інтелекту виявляти ознаки, які ми не вміємо, покращуватиметься, а також його здатність обманювати. Велике питання полягає в тому, чи буде технологія виявлення deepfake продовжувати випереджати самі deepfake.

Дивитися на речі по-іншому в епоху Deepfakes

Інструменти виявлення дипфейків ШІ продовжуватимуть удосконалюватися, як і якість самого дипфейкового контенту. Якщо здатність штучного інтелекту обманювати випереджає його здатність виявляти (як це сталося з текстом, створеним штучним інтелектом), людський розсуд може бути єдиним інструментом, який у нас залишився для боротьби з глибокими фейками.

Кожен зобов’язаний вивчити ознаки дипфейків і як їх розпізнати. Окрім захисту від шахрайства та загроз безпеці, все, що ми обговорюємо та ділимося в Інтернеті, є вразливим до дезінформації, якщо ми втратимо розуміння реальності.