Сучасні інформаційні системи генерують величезну кількість даних реєстрації. Практично на кожній платформі будь-яка подія, незалежно від її важливості, фіксується у спеціальних журналах. Зазвичай ці журнали зберігаються локально, що є логічним, оскільки вони безпосередньо пов’язані з джерелом їхнього виникнення. Проте, при виявленні та усуненні несправностей, а також пошуку їх першопричин, часто виникає потреба переглядати велику кількість файлів журналів, розподілених по різних пристроях. Чи не було б зручніше, якби всі ці дані зберігалися в єдиному централізованому місці? Саме для цього, та ще багато іншого, і існує керування журналами. Сьогодні ми розглянемо найефективніші системи управління журналами.
Почнемо з визначення поняття “керування журналами”. Як ви побачите, це поняття охоплює значно більше, ніж просто централізацію зберігання журналів. Далі ми розглянемо протоколи реєстрації, які є основою для керування журналами, адже без них воно б не існувало. Потім ми спробуємо розрізнити сервери системних журналів та системи управління журналами, оскільки чіткої межі між ними не завжди є. Також ми торкнемось інформаційної безпеки та систем управління подіями, оскільки їх часто плутають з керуванням журналами через певну неоднозначність визначень. Насамкінець, ми проаналізуємо вісім найкращих систем управління журналами, які нам вдалося знайти.
Управління журналами: суть поняття
Перш ніж заглиблюватись у тему управління журналами, давайте розберемося, що ж таке журнал. Простими словами, журнал – це автоматично створена документація подій, які відбуваються в певній системі, з обов’язковою прив’язкою до часу. Кожна подія в системі залишає свій слід у журналі. Різні системи створюють журнали для різних подій, а адміністратори мають можливість певною мірою контролювати, які саме події будуть реєструватися.
Під керуванням журналами ми розуміємо процеси та політики, спрямовані на адміністрування та спрощення генерації, передачі, аналізу, зберігання, архівування та остаточного видалення великих обсягів даних журналів. Керування журналами передбачає наявність централізованої системи, яка збирає журнали з різних джерел.
Але важливо розуміти, що керування журналами – це не просто збір даних. Його ключова цінність полягає саме в управлінні. Системи управління журналами зазвичай володіють широким спектром функцій, і збір журналів – лише одна з них.
Після збору, дані журналів потребують приведення до загального формату. Різні системи форматують журнали по-різному, включаючи різний набір даних. Одні журнали починаються з дати та часу, інші – з номера події. Деякі містять лише ідентифікатор, а інші – розгорнутий текстовий опис події. Одна з ключових цілей системи управління журналами – забезпечити зберігання всіх зібраних записів у єдиному форматі, що значно спрощує пошук і кореляцію подій.
Пошук та кореляція подій є ще однією важливою функцією багатьох систем управління журналами. Деякі з них мають потужні пошукові механізми, які дозволяють адміністраторам знаходити саме ту інформацію, яка їм потрібна. Функції кореляції автоматично групують пов’язані події, навіть якщо вони походять з різних джерел. Ефективність реалізації цих можливостей є однією з ключових відмінностей між різними системами управління журналами.
Протоколи реєстрації
Керування журналами було б значно складнішим, а можливо, й неможливим без протоколів реєстрації. Ці протоколи визначають, які дані мають міститися в журналах, як вони повинні бути відформатовані, та як вони передаються між системами.
Syslog є, мабуть, найбільш поширеним протоколом реєстрації. Розроблений на початку 80-х, він став стандартом де-факто для Unix-подібних систем. Однією з найбільших переваг Syslog є чітке розділення програмного забезпечення, що створює журнали, системи їх зберігання, та програмного забезпечення для аналізу та звітності. Використання Syslog значно спрощує керування журналами. Багато пристроїв, що не є Unix-системами, такі як комутатори, маршрутизатори та інше мережеве обладнання різних виробників, також використовують його варіант.
Microsoft Windows, як можна здогадатися, використовує іншу систему реєстрації. Це, ймовірно, пов’язано з тим, що журнали операційних систем та додатків Windows зазвичай містять значно більше інформації, ніж дозволяє Syslog. На щастя, Windows Event Collector надає інструмент для систем управління журналами для отримання подій з хостів Windows.
Незалежно від використовуваного протоколу, важливою частиною управління журналами є налаштування пристроїв для відправки своїх журналів до системи управління. Це відрізняється від інших інструментів, таких як системи моніторингу мережі, де інструмент отримує дані з хостів.
Сервери журналів vs. системи управління журналами
Оскільки Syslog доступний у кожній Unix-подібній системі вже досить тривалий час, його часто використовують як сервер журналів, де один комп’ютер отримує дані системних журналів з багатьох інших. Хоча така централізація зберігання журналів має певні переваги, вона не є повноцінним управлінням журналами.
Для того, щоб продукт можна було назвати системою управління журналами, він повинен мати принаймні декілька розширених функцій. Згідно з Вікіпедією, керування журналами включає в себе такі функції: збір журналів, централізоване зведення, довготривале зберігання та збереження журналів, ротація журналів, аналіз, пошук та звітування. Сервери журналів зазвичай забезпечують лише збір і зберігання, рідко щось більше. Кожна система управління журналами в нашому списку має хоча б деякі з розширених функцій.
Системи SIEM: їх роль
Ще одна технологія, яку часто асоціюють з журналами та плутають з системами управління журналами, це системи керування інформацією про безпеку та подіями (SIEM). Хоча вони і тісно пов’язані, вони відрізняються від систем управління журналами. Насправді, деякі продукти, що рекламуються як системи управління журналами, насправді є системами SIEM, а деякі базові SIEM – це не що інше, як системи управління журналами.
Основна причина плутанини полягає в тому, що керування журналами, або принаймні їх аналіз, є важливим компонентом систем SIEM. Фактично, системи SIEM виводять управління журналами на новий рівень, додаючи до процесу інтелектуальні можливості. Ці системи аналізують журнали з метою виявлення проблем безпеки. Наприклад, вони шукають ознаки невдалих спроб входу, які можуть вказувати на спробу несанкціонованого вторгнення. Ці системи автоматично сканують записи журналу в пошуках незвичайних подій.
Системи SIEM мають більше відношення до інформаційної безпеки, ніж до управління ІТ. Хоча деякі з них включають в себе широкі можливості управління журналами, багато з них можуть використовувати зовнішні системи управління журналами, і нерідко можна зустріти ситуацію, коли обидві системи працюють паралельно.
Найкращі програмні рішення для управління журналами
Тепер, коли ми розібралися, що таке управління журналами, а що ні, давайте розглянемо, які рішення доступні на ринку. Ми провели дослідження, щоб знайти найкращі системи управління журналами. Наш висновок: їх багато, і багато з них дійсно хороші. Але у нас обмежений простір, тому ми розглянемо вісім найцікавіших, які нам вдалося знайти.
1. SolarWinds Papertrail
SolarWinds – відома компанія у сфері інструментів для адміністрування мережі. Вона існує вже майже 20 років і розробила одні з найкращих інструментів моніторингу пропускної здатності, аналізатори та колектори NetFlow. Компанія також відома тим, що випускає декілька безкоштовних інструментів для задоволення конкретних потреб мережевих адміністраторів, таких як калькулятор підмереж або сервер системного журналу.
Декілька років тому SolarWinds придбала Papertrail, популярну систему управління журналами. Вона об’єднує файли журналів з широкого спектру популярних продуктів, таких як Apache або MySQL, а також додатків Ruby on Rails, різних хмарних хостинг-сервісів та інших стандартних текстових файлів журналів. Користувачі Papertrail можуть використовувати веб-інтерфейс або інструменти командного рядка для пошуку в цих файлах, щоб діагностувати помилки та проблеми з продуктивністю. Papertrail також інтегрується з іншими продуктами SolarWinds, такими як Librato і Geckoboard, для створення графіків результатів.
Papertrail – це хмарне програмне забезпечення як послуга (SaaS), яке пропонує SolarWinds. Його легко розгорнути, використовувати та розуміти. Він забезпечує миттєву видимість у всіх системах за лічені хвилини. Інструмент має дуже ефективну пошукову систему, яка може шукати як збережені, так і потокові журнали. І він працює надзвичайно швидко.
Papertrail пропонується в декількох тарифних планах, включаючи безкоштовний. Однак він дещо обмежений і дозволяє зберігати лише 100 Мб журналів на місяць. Проте, перший місяць надається 16 Гб журналів, що еквівалентно 30-денній безкоштовній пробній версії. Платні плани починаються від 7 доларів на місяць за 1 Гб журналів на місяць, 1 рік архіву та 1 тиждень індексу. Функція фільтрації шуму дозволяє інструменту зберігати лише потрібні дані, виключаючи непотрібні журнали.
2. SolarWinds Log & Event Manager (БЕЗКОШТОВНА ПРОБНА ВЕРСІЯ)
Наш наступний кандидат – ще один продукт від SolarWinds під назвою SolarWinds Log & Event Manager. На відміну від попереднього, це локально встановлений продукт. І це значно більше, ніж просто система управління журналами. Багато розширених функцій відносять його до категорії SIEM. Наприклад, він має функції кореляції вентиляційних каналів в реальному часі та відновлення в реальному часі.
Ось огляд основних функцій SolarWinds Log & Event Manager. Він швидко усуває загрози за допомогою миттєвого виявлення підозрілої активності та автоматизованих реакцій. Він також може проводити розслідування інцидентів безпеки та криміналістичну експертизу. Також, продукт дозволяє демонструвати відповідність вимогам різних стандартів завдяки перевіреній аудитом звітності для HIPAA, PCI DSS і SOX. Цей інструмент також має моніторинг цілісності файлів і моніторинг USB-пристроїв, дві функції, які виходять далеко за рамки звичайних систем управління журналами.
Ціни на SolarWinds Log & Event Manager починаються від 4585 доларів за 30 контрольованих вузлів. Можна придбати ліцензії на 2500 вузлів, що робить продукт високо масштабованим. Також доступна безкоштовна повнофункціональна 30-денна пробна версія.
3. ipswitch Log Management Suite
Log Management Suite – це інструмент від Ipswitch, тієї ж компанії, що розробила WhatsUp Gold, дуже популярний інструмент моніторингу мережі. Він автоматизовано збирає, зберігає, архівує та керує системними журналами, подіями Windows і журналами W3C/IIC. Крім того, постійний моніторинг журналів сповіщає вас про будь-яку підозрілу активність.
Можна відстежувати події, які часто перевіряються, такі як права доступу та привілеї файлів, папок та об’єктів, створюючи сповіщення за потреби та використовуючи для створення звітів про відповідність HIPAA, SOX, FISMA, PCI, MiFID або Basel II. Інструмент також може допомогти вам перетворити вихідні дані журналів на значущі дані для менеджерів або команд з ІТ-безпеки завдяки функціям автоматичної фільтрації, кореляції, звітності та перетворення.
Інформація про ціни на Log Management Suite від Ipswitch недоступна. Продукт можна придбати безпосередньо у видавця або через мережу посередників Ipswitch. Також доступна безкоштовна пробна версія.
4. ManageEngine EventLog Analyzer
ManageEngine, ще одне відоме ім’я в світі адміністрування мережі, пропонує потужну систему управління журналами під назвою ManageEngine EventLog Analyzer. Продукт збирає, керує, аналізує, співвідносить та здійснює пошук даних журналів з понад 700 джерел, використовуючи комбінацію безгентного збору журналів на основі агентів, а також імпорт журналів.
Швидкість – одна з сильних сторін ManageEngine EventLog Analyzer. Він може обробляти дані журналів зі вражаючою швидкістю 25 000 журналів на секунду та виявляти атаки в режимі реального часу. Він також може проводити швидкий криміналістичний аналіз, щоб зменшити вплив порушення. Можливості аудиту системи поширюються на журнали пристроїв периметра мережі, дії користувачів, зміни облікових записів сервера, доступ користувачів тощо, що допомагає задовольнити вимоги аудиту безпеки.
ManageEngine EventLog Analyzer доступний у безкоштовній версії з обмеженою функціональністю, яка підтримує лише 5 джерел журналів, або у преміум-версії, вартість якої починається від 595 доларів і залежить від кількості пристроїв та програм. Також доступна безкоштовна повнофункціональна 30-денна пробна версія.
5. Nagios Log Server
Nagios найбільш відомий своїм чудовим програмним забезпеченням для моніторингу мережі, але його Log Server є не менш цікавим. Під назвою Nagios Log Server, він пропонує централізоване керування, моніторинг та аналіз журналів. Nagios Log Server спрощує процес пошуку даних журналу, а також дозволяє налаштовувати сповіщення для виявлення потенційних загроз. Крім того, програмне забезпечення має високу доступність і вбудовану функцію перемикання при збоях. Прості майстри налаштування джерела допомагають швидко налаштувати сервери для відправлення даних журналу та почати моніторинг.
Nagios Log Server дозволяє легко співставляти події журналу на різних серверах всього за кілька кліків. Він також надає можливість переглядати дані журналу в реальному часі, що дозволяє аналізувати і вирішувати проблеми в міру їх виникнення. Продукт має високу масштабованість і здатний задовольняти ваші потреби в міру зростання організації. Додаткові екземпляри Nagios Log Server можна додавати до кластеру моніторингу для збільшення потужності, швидкості, сховища та надійності.
Ціна за один екземпляр Nagios Log Server становить 3995 доларів, а безкоштовна пробна версія недоступна. Натомість пропонується безкоштовна онлайн-демонстрація.
6. Alert Logic Log Manager
Основна мета Alert Logic – це безпека та відповідність. І оскільки управління журналами тісно пов’язане з обома, не дивно, що компанія пропонує Alert Logic Log Manager. Цей хмарний інструмент пропонує автоматизоване та уніфіковане управління журналами у всіх ваших середовищах. Він збирає, об’єднує та здійснює пошук у даних журналів з хмарних, серверних, прикладних, безпекових та мережевих ресурсів.
Alert Logic Log Manager включає моніторинг та аналіз журналів, а також перевірку журналів, яка проводиться в режимі реального часу професійними аналітиками. Експерти Alert Logic повідомлятимуть вас про можливі загрози 365 днів на рік. Служба також допомагає задовольнити вимоги до перевірки журналів SOC 2, HIPAA та SOX та зменшує навантаження на перевірку журналів та подальші дії для відповідності PCI/DSS 10.6, 10.6.1, 10.6.3.
Інформація про ціни на Alert Logic Log Manager недоступна в Інтернеті, тому потрібно зв’язатися з відділом продажів Alert Logic, щоб отримати офіційну пропозицію. Безкоштовна пробна версія також недоступна, але можна організувати безкоштовну демонстрацію.
7. LogDNA
Заснована в 2015 році, LogDNA – відносно новий гравець на ринку. Компанія стверджує, що LogDNA є “найшвидшою, найбільш інтуїтивно зрозумілою та економічно ефективною системою управління журналами”. Процес інсталяції займає всього кілька хвилин, після чого ви можете розпочати відстеження журналів. Доступні сотні спеціальних схем інтеграції для централізації журналів на одній панелі, незалежно від того, як вони створюються та передаються.
LogDNA може бути як хмарною, так і самостійно розміщеною, залежно від ваших потреб. Вона високо масштабована і може обробляти сотні тисяч журналів за секунду та десятки терабайт на кожного клієнта на день із повною безпекою та аналізом журналів у реальному часі. Компанія та її продукти відповідають вимогам SOC2, PCI та HIPAA, а також сертифіковані Privacy Shield.
Завдяки простій моделі ціноутворення з оплатою за Гб, яка виключає контракти та фіксовані сегменти даних, компанія має одну з найнижчих загальних витрат на володіння. Доступно кілька планів підписки з розширеними функціями. План початкового рівня є безкоштовним, а платні плани варіюються від $1,50/Гб/місяць до $3/Гб/місяць залежно від тривалості зберігання та кількості користувачів. Також доступна безкоштовна повнофункціональна 14-денна пробна версія.
8. Graylog
Останнім у нашому списку є продукт під назвою Graylog. Він має багато цікавих функцій. Інструмент аналізує та збагачує журнали та дані про події з будь-якого джерела даних. Його конвеєри обробки забезпечують гнучкість у маршрутизації, внесенні до чорного списку, зміні та збагаченні повідомлень у реальному часі. Graylog проводить пошук у терабайтах даних журналу для виявлення та аналізу важливої інформації. Потужний синтаксис пошуку дозволяє знайти саме те, що ви шукаєте.
З Graylog ви можете створювати інформаційні панелі для візуалізації показників та спостереження за тенденціями в одному центральному місці. Ви можете використовувати статистику полів, швидкі значення та діаграми зі сторінки результатів пошуку, щоб зануритися в глибший аналіз ваших даних. Система також має можливість ініціювати дії або надсилати сповіщення про такі події, як невдалі спроби входу, винятки або зниження продуктивності.
Graylog доступний як безкоштовна версія з відкритим вихідним кодом з обмеженими функціями та підтримкою, або як корпоративна версія з розширеними функціями та необмеженою підтримкою. Пробну ліцензію також можна отримати, звернувшись до відділу продажів Graylog.