Огляд різноманітних інструментів розвідки з відкритих джерел (OSINT), доступних на ринку.
У щоденному житті ми постійно шукаємо різноманітну інформацію в Інтернеті. Якщо результати пошуку нас не задовольняють, ми часто просто припиняємо пошуки!
Але чи замислювалися ви, що ховається за цими сотнями сторінок результатів? “Інформація”!
Отримати цю інформацію можливо лише за допомогою різноманітних інструментів. Інструменти відіграють важливу роль у процесі пошуку, але без розуміння їхньої цінності та правильного використання вони не принесуть користі користувачам. Перед тим як почати працювати з інструментами, давайте чітко визначимо, що таке OSINT.
Що ж таке розвідка з відкритих джерел?
Розвідка з відкритих джерел, або OSINT, це збір даних з публічно доступних джерел для використання в розвідувальних цілях. Сьогодні ми живемо в “цифрову еру”, і вплив Інтернету на наше життя має як позитивні, так і негативні сторони.
Перевага Інтернету полягає в тому, що він пропонує велику кількість інформації, доступної кожному. Недоліками є зловживання інформацією та значна трата часу на її пошуки.
Інструменти OSINT створені для збору та аналізу інформації в Інтернеті. Інформація може мати різну форму, наприклад, текст, файли, зображення. Згідно зі Звітом для Конгресу, розвідка з відкритих джерел ґрунтується на публічно доступній інформації, яка правильно поширюється, збирається та ефективно використовується. Це робить інформацію доступною для задоволення конкретних розвідувальних потреб.
Навіщо потрібні інструменти OSINT?
Уявімо, що нам потрібно знайти інформацію на певну тему в Інтернеті. Для цього нам доведеться довго шукати, аналізувати, доки не отримаємо точні результати. Саме тому нам потрібні інструменти OSINT, які дозволяють виконати цей процес за лічені секунди.
Ми можемо одночасно запустити кілька інструментів, щоб зібрати всю необхідну інформацію про ціль, проаналізувати її та використати у подальшому.
Давайте детальніше розглянемо деякі з найкращих інструментів OSINT.
Shodan
Google є найпопулярнішою пошуковою системою, а Shodan – потужна пошукова система для фахівців з кібербезпеки, яка дозволяє бачити підключені до мережі пристрої.
Shodan надає результати, які є більш релевантними для фахівців з безпеки, ніж інші пошукові системи. В основному, Shodan показує інформацію про пристрої, підключені до мережі, такі як ноутбуки, світлофори, комп’ютери та різноманітні пристрої Інтернету речей. Цей інструмент допомагає аналітикам з безпеки ідентифікувати цілі та перевіряти їх на наявність вразливостей, паролів, служб, портів тощо.
Крім того, Shodan пропонує користувачам гнучкі можливості пошуку.
Наприклад, користувач може переглядати підключені мережеві камери, веб-камери, світлофори тощо. Ось декілька варіантів використання Shodan:
- Тестування “паролів за замовчуванням”
- Виявлення пристроїв із програмою перегляду VNC
- Аналіз відкритого порту RDP для виявлення вразливих ресурсів
NexVision
NexVision – це просунутий інструмент OSINT на основі штучного інтелекту, що надає дані в реальному часі з усього Інтернету (видимого веб-простору, темної мережі та соціальних мереж). Він забезпечує доступ до пошуку в темній мережі через звичайні браузери, такі як Chrome і Safari, без використання анонімного браузера Tor.
NexVision надає точну інформацію в реальному часі для перевірки репутації, належної обачності, ідентифікації клієнта (KYC/AML/CFT), збору даних про організації, виявлення кіберзагроз та дослідження криптовалютних адрес.
NexVision в основному використовується військовими та урядовими структурами, але з 2020 року став доступний і для комерційного використання. Його застосовують як великі корпорації, так і малий та середній бізнес для розвідувальних і розслідувальних потреб. NexVision надає послуги як у вигляді прямої підписки на SaaS-рішення, так і у вигляді звітів на замовлення.
Як це працює:
На першому етапі двигун NexVision, що базується на штучному інтелекті, постійно збирає, аналізує та класифікує дані, формуючи найбільшу комерційно доступну базу даних. На другому етапі механізм використовує машинне навчання для зменшення кількості хибних спрацьовувань, щоб надати високоточні та контекстуалізовані результати. Це значно скорочує час, необхідний для розслідувань. На останньому кроці всі результати відображаються на панелі, де користувачі можуть легко візуалізувати та приймати обґрунтовані рішення.
Панель дозволяє користувачам встановлювати сповіщення за ключовими словами для моніторингу цілей у реальному часі, проводити розслідування та аналізувати результати, зберігаючи при цьому анонімність.
Програмне забезпечення має простий інтерфейс, призначений для аналітиків будь-якого рівня. Аналітики можуть отримувати доступ до даних військового рівня, не покладаючись на скрипти чи код.
Модуль соціальних мереж відстежує дані з Meta (раніше Facebook), Instagram, LinkedIn, Discord, Twitter, Youtube, Telegram тощо, а також має технологію геолокації для визначення джерела та місця поширення інформації.
Соціальні посилання
Social Links – це компанія, що розробляє програмне забезпечення на основі штучного інтелекту, яке видобуває, аналізує та візуалізує дані з відкритих джерел, зокрема з соціальних мереж, месенджерів, блокчейнів і темної мережі. Їхній флагманський продукт SL Professional дозволяє дослідникам та фахівцям із захисту даних досягати своїх робочих цілей швидше й ефективніше.
SL Professional пропонує набір спеціально розроблених методів пошуку, що охоплює понад 500 відкритих джерел. Розширені пошукові запити, що покладаються на машинне навчання, дозволяють користувачам фільтрувати дані у різний спосіб.
Рішення Social Links для OSINT не лише збирають інформацію, але й пропонують інструменти аналізу для уточнення даних під час розслідування, надаючи точні результати для чіткішого розуміння картини.
Особливості:
- Професійний набір з понад 1000 оригінальних методів пошуку для понад 500 відкритих джерел даних, включаючи всі основні платформи в соціальних мережах, месенджерах, блокчейнах і темній мережі.
- Розширені функції автоматизації, що використовують машинне навчання для швидкого пошуку інформації та показу точних результатів.
- Спеціальні інструменти аналізу для збагачення даних та адаптації їх до конкретних цілей користувача.
- Повна інтеграція у вашу ІТ-інфраструктуру.
- Social Links пропонують навчання та підтримку як частину своїх пакетів продуктів.
Для організацій, що потребують передового рішення OSINT, Social Links пропонує платформу корпоративного рівня SL Private Platform – локальне рішення OSINT, що забезпечує широкий спектр методів пошуку, повне налаштування та приватне зберігання даних.
Google Dorks
Google Dorks, з’явившись у 2002 році, є ефективним інструментом для пошуку в Google. Він допомагає користувачам правильно та ефективно орієнтуватися в результатах пошуку.
Google Dorks дозволяє знаходити інформацію, використовуючи спеціальні оператори, що полегшують пошук. Ось деякі оператори Google Dorks:
- filetype: використовується для пошуку файлів певного типу.
- intext: використовується для пошуку певного тексту на сторінці.
- ext: використовується для пошуку файлів з певним розширенням.
- inurl: використовується для пошуку певного рядка або слова в URL-адресі.
- intitle: використовується для пошуку заголовків сторінок.
Maltego
Maltego, розроблений Paterva, є одним з вбудованих інструментів Kali Linux. Він використовується для дослідження різних цілей за допомогою вбудованих перетворень (також є можливість створювати власні).
Maltego написаний мовою Java та постачається як вбудована версія Kali Linux. Для використання цього інструмента необхідна безкоштовна реєстрація на сайті paterva. Після реєстрації користувачі можуть використовувати Maltego для створення цифрових профілів певних цілей в Інтернеті.
За допомогою Maltego можна ідентифікувати IP-адреси, номери AS, мережеві блоки, фрази та розташування. Інструмент надає детальну інформацію про кожну ідентифіковану сутність.
Maltego є потужним інструментом для відстеження цифрових слідів у мережі. Він доступний для всіх популярних операційних систем.
TheHarvester
TheHarvester – це потужний інструмент для збору електронних адрес, субдоменів, IP-адрес тощо з різних відкритих джерел.
Ось приклад пошуку субдоменів за допомогою DNSdumpster:
[[email protected] theHarvester]# python theHarvester.py -d techukraine.net.com -v -b dnsdumpster ******************************************************************* * _ _ _ * * | |_| |__ ___ / /__ _ _ ____ _____ ___| |_ ___ _ __ * * | __| _ / _ / /_/ / _` | '__ / / _ / __| __/ _ '__| * * | |_| | | | __/ / __ / (_| | | V / __/__ || __/ | * * __|_| |_|___| / /_/ __,_|_| _/ ___||___/_____|_| * * * * theHarvester 3.1.0.dev1 * * Coded by Christian Martorella * * Edge-Security Research * * [email protected] * * * ******************************************************************* [*] Target: techukraine.net.com [*] Searching DNSdumpster. [*] No IPs found. [*] No emails found. [*] Hosts found: 3 --------------------- lab.techukraine.net.com:104.25.134.107 tools.techukraine.net.com:104.25.134.107 www.techukraine.net.com:104.25.134.107 [*] Virtual hosts: ------------------ [[email protected] theHarvester]#
TheHarvester також є в Kali Linux. За потреби ви можете переглянути посібник зі встановлення Kali Linux.
Існує багато інших інструментів для пошуку субдоменів.
Recon-Ng
Recon-ng – це ефективний засіб для розвідки цілі.
Головна перевага інструменту полягає у його модульному підході. Recon-ng має різноманітні вбудовані модулі, що використовуються для отримання інформації про цілі. Модулі використовуються для пошуку інформації про конкретний домен після його додавання до робочої області.
Робочі області використовуються для виконання операцій. Користувачі перенаправляються до робочої області відразу після її створення. Усередині робочої області можна додати домен за допомогою команди add domain <domainname>. Після цього можна використовувати модулі Recon-ng для отримання інформації про цей домен.
Деякі модулі, такі як google-site-web і bing-domain-web, використовуються для пошуку інших доменів, пов’язаних з основним доменом. Результатом буде список доменів, проіндексованих пошуковими системами. Модуль bing_linkedin_cache використовується для отримання електронних адрес, пов’язаних з доменом. Цей модуль можна використовувати для соціальної інженерії.
Інші модулі надають додаткову інформацію про цілі. Recon-ng є чудовим інструментом для фахівців з кібербезпеки.
SpiderFoot – це інструмент OSINT з відкритим кодом, доступний для Linux та Windows. Він розроблений на Python, є гнучким у налаштуванні та працює практично на будь-якій платформі. SpiderFoot має простий графічний інтерфейс та потужний інтерфейс командного рядка.
Інструмент автоматично використовує понад 100 джерел OSINT для отримання інформації про електронні адреси, імена, IP-адреси, доменні імена тощо. Він збирає інформацію про мережеві блоки, електронні листи, Інтернет-сервери та багато іншого. SpiderFoot збирає дані, розуміючи їх взаємозв’язок, дозволяючи користувачам націлюватися на інформацію, що їх цікавить.
Зібрані дані надають широкий спектр інформації про ціль, допомагаючи виявити можливі загрози, вразливості та витоки даних. Це допомагає провести тестування на проникнення та покращити розвідку про загрози.
Creepy
Creepy – це інструмент геолокації з відкритим кодом. Він збирає інформацію про геолокацію з різних платформ соціальних мереж та сервісів хостингу зображень. Creepy представляє звіти на карті, використовуючи фільтр пошуку за місцем та датою. Звіти доступні у форматі CSV або KML для подальшого аналізу.
Основні функції Creepy розділені на дві вкладки: “Цілі” та “Вигляд карти”.
Creepy написаний на Python, а також постачається з двійковими файлами для дистрибутивів Linux, таких як Debian, Backtrack, Ubuntu та Microsoft Windows.
Висновок
Тестування на проникнення є складним завданням, що потребує інформації з різних джерел. Сподіваюсь, наведені вище інструменти OSINT будуть вам корисні.
Ви також можете дослідити онлайн-інструменти для пентесту для пошуку експлойтів.