Постійне збільшення кількості пристроїв, зростаючі вимоги до відповідності стандартам і бізнес-необхідність у зборі даних про події є ключовими для будь-якого сучасного підприємства.
Ретельний аналіз журналів надає цінну інформацію про події, що відбуваються у вашому ІТ-середовищі.
Ось деякі практичні приклади використання:
- Планування обсягу ресурсів
- Оперативне виявлення проблем
- Формування достовірних звітів
- Ефективне управління доступністю
- Постійний моніторинг подій
Обробка журналів, обсяг яких вимірюється кількома мегабайтами, може бути здійснена вручну. Однак, у середньому та великому бізнесі, де журнали можуть займати гігабайти, аналіз вручну стає непосильним завданням.
Якщо ви шукаєте рішення для моніторингу та аналізу журналів веб-додатків, включно з інфраструктурою, варто розглянути хмарні сервіси для керування журналами. Більшість із них пропонують безкоштовні тарифні плани з обмеженнями, що дозволяє протестувати їх функціональність.
Для тих, хто віддає перевагу рішенням з відкритим кодом, пропонуємо ознайомитися з цією статтею.
Papertrail
Керуйте та аналізуйте свої журнали за допомогою сервісу Papertrail.
Збирайте всі журнали додатків, системні журнали та текстові файли журналів в одному централізованому місці. Для пошуку в реальному часі можна використовувати API, командний рядок або веб-браузер.
Papertrail надає миттєві сповіщення та інструменти для виявлення та архівації тенденцій. Насолоджуйтесь миттєвим пошуком у журналах за лічені секунди. Цей аналізатор є інтуїтивно зрозумілим, простим у використанні та застосуванні. Ви можете швидко отримати повну видимість різних систем.
Використовуйте аналітику швидкості журналу для виявлення та усунення проблем, зареєстрованих протягом останніх хвилин або годин.
Graylog
Graylog, доступний у хмарі, забезпечує безперебійне, гнучке та потужне керування журналами, усуваючи необхідність у витратах на операції або інфраструктуру. Це ідеальне рішення для клієнтів, які потребують безперебійного збору даних, швидкого пошуку, гнучкого аналізу та високої доступності, без клопоту з обслуговуванням та оновленням систем.
Інструмент забезпечує розширене охоплення, зниження витрат, зменшення ризиків, безпечну передачу даних та надійну, масштабовану інфраструктуру. Він гарантує 99,9% безвідмовної роботи згідно з угодою про рівень обслуговування, що забезпечує впевненість у його надійності. Ви також отримуєте зашифровану та автентифіковану передачу даних із архівом за рік, гарантуючи, що всі необхідні дані завжди будуть під рукою.
Elastic Cloud
Ви, напевно, вже чули про Elasticsearch, чи не так?
Знаходьте потрібну інформацію легко та швидко за допомогою сервісу Elastic Cloud.
Він також надає вам можливість отримувати статистичні дані та відстежувати інвестиції в технології на таких платформах, як Google Cloud, Amazon Web Services (AWS) або Microsoft Azure. Дозвольте Elastic Cloud керувати вашими рішеннями, щоб ви могли зосередитися на отриманні глибшої інформації для розвитку вашого бізнесу.
Elastic Cloud пропонує розширений пошук, адаптований до ваших додатків, веб-сайтів або робочих процесів. Він надає вам інструменти, що дозволяють швидко вивести ваш пошуковий досвід на ринок і швидко масштабувати його. З його допомогою ви можете зробити ваш контент доступним для пошуку.
Сервіс також дозволяє інтегрувати такі платформи, як Salesforce, Google Drive та інші, у природний та персоналізований пошук. Використовуйте Elasticsearch у своїх додатках та доповнюйте їх розширеними API, засобами керування релевантністю, надійною аналітикою та інтуїтивно зрозумілими інформаційними панелями.
Об’єднайте всі свої трасування APM, показники та журнали в один стек для швидкого реагування на події. Додавайте свої дані, візуалізуйте їх за допомогою інструменту перетягування в Kibana Lens. Elastic Security допомагає виявляти та запобігати загрозам, інтегруючи Elastic SIEM у безпеку кінцевої точки.
Сервіс пропонує розширені робочі процеси розслідування, постійно зростаючу інтеграцію та керування справами для захисту ваших даних від загроз. Його Elastic Stack складається з Elasticsearch, Beats, Logstash і Kibana.
Grafana
Шукаєте хостингове рішення Grafana?
Насолоджуйтесь повністю керованою платформою Grafana для моніторингу вашої інфраструктури та додатків, включаючи інформаційні панелі, журнали та показники.
Використовуйте показники Graphite, журнали Loki та показники Prometheus на цій високопродуктивній та доступній платформі. З цією платформою вам не доведеться перемикатися між різними інструментами та вкладками, оскільки всі показники даних і джерела доступні в одному місці.
Grafana забезпечує централізований перегляд сповіщень та запитів щодо різних екземплярів Prometheus. Він також надає 13-місячне зберігання даних для планування ресурсів та аналізу тенденцій. Отримайте ширшу видимість стека додатків завдяки понад 40 плагінам для корпоративних та стандартних джерел даних.
Додавання джерел до хмари Grafana є простим процесом, що здійснюється в один клік або через API. Швидко розпочніть роботу зі своїм екземпляром Grafana, оскільки він не потребує встановлення та налаштування. Просто виберіть плагіни та почніть імпортувати популярні інформаційні панелі. Вартість Grafana Cloud починається від 49 доларів США на місяць.
DataDog
Використовуйте DataDog для моніторингу журналів, трасування запитів та показників на одній платформі. Швидко шукайте, аналізуйте та фільтруйте свої журнали для дослідження даних та усунення несправностей.
DataDog дає вам можливість аналізувати журнали та досліджувати їх у всіх ваших програмах, платформах та сервісах. Ви можете швидко фільтрувати та шукати свої журнали за допомогою автоматично згенерованих фасетів. Візуалізуйте дані журналу або створюйте сповіщення на інформаційній панелі.
Ви отримуєте чітке уявлення про все, що відбувається у ваших системах. Переходьте безпосередньо від графіків метрик до пов’язаних журналів, використовуючи схожі теги, такі як служба, хост і т.д. Переходьте до APM, щоб оцінити продуктивність ваших журналів. Обробляйте та надсилайте кожен журнал, створений вашою інфраструктурою або програмами, без обмежень.
Виконуйте глибокий аналіз для визначення динамічного індексування за допомогою фільтрів. DataDog дозволяє спостерігати за кожним аспектом у реальному часі через Live Tail, що не потребує індексування. Архівуйте необхідну інформацію, оскільки сервіс зберігає вашу історію централізовано та не залишає нічого на своїх серверах.
Автоматично збирайте та позначайте журнали, інтегруючи їх із вбудованими функціями. Ви можете автоматично застосовувати фасети до даних журналу, такі як код статусу HTTP, роль, зона доступності тощо. Використовуйте сторонні програми для доставки журналів, такі як Logstash, FluentD, NXlog та Rsyslog. За допомогою DataDog ви можете збагачувати журнали, використовуючи різні технології, або створювати власні конвеєри. Ви можете клонувати конвеєри або змінювати їх для захоплення фасетів та полів.
Loggly
Loggly є одним з найпопулярніших інструментів керування журналами для аналізу майже будь-якого типу джерела журналу, включно з:
- Веб-додатками – Apache, Nginx, PHP, Node.js, NET, Java, JavaScript
- ОС – Linux, Windows
За допомогою Loggly ви можете збирати дані (журнали) для аналізу та створення інформаційних панелей для моніторингу потрібних показників. І, звичайно, ви можете виконувати пошук у журналах з інтерфейсу Loggly.
Loggly має потужну функцію пошуку, де ви можете налаштовувати та фільтрувати повний текст, окремі поля та логічні значення. Ви також можете інтегруватися з електронною поштою, PageDuty, Slack, HipChat та іншими сервісами для активації сповіщень.
SumoLogic
Отримайте інформацію про роботу ІТ у режимі реального часу за допомогою SumoLogic для моніторингу, аналізу, усунення неполадок та захисту бізнес-додатків та інфраструктури.
Sumologic має свого агента-збирача/хмарного збирача, який потрібно встановити на вашому сервері для збору та надсилання журналів до Sumologic. Ви можете перетворити будь-який тип журналу на інформаційну панель у реальному часі для моніторингу та отримання сповіщень при досягненні порогових значень.
Sumologic попередньо налаштував деякі програми на основі найпоширеніших випадків використання для пришвидшення оперативних завдань та розслідування проблем.
Приклади додатків:
- MongoDB – загальний стан, оптимізація запитів, моніторинг безпеки
- AWS Lambada – проактивний моніторинг, видимість витрат, глибоке розуміння
- AWS – виявлення проблем з продуктивністю, проактивний моніторинг безпеки, розширена аналітика
- Salesforce – підвищення адаптації користувачів, журнали аудиту, порівняння даних.
- Trend Micro – детальний аналіз вразливостей, історія подій, розширена візуалізація атак
- Github – візуалізація продуктивності команди, продуктивності команди, створення базових показників використання.
- Docker – розширена аналітика, усунення несправностей
- Linux – усунення несправностей та оптимізація ОС, сповіщення про доступ/аудит та події безпеки, інформаційна панель продуктивності.
- Nginx – огляд, місцезнаходження відвідувача, час відповіді, визначення вузьких місць продуктивності.
- Apache – розуміння відвідувачів, оптимізація продуктивності, візуалізація відвідувачів.
- IIS – повна статистика, деталі трафіку, найповільніші сторінки
- MySQL – загальний стан, основні помилки, моніторинг продуктивності запитів
У безкоштовному обліковому записі ви отримаєте 500 Мб обсягу на день із семиденним зберіганням даних з будь-яким типом джерела.
Logsene
Logsene від Sematext – це керований стек ELK у хмарі для керування та аналізу журналів. Ви можете надсилати журнали через зашифровані канали з будь-якого джерела, включно із Syslog.
Він працює на AWS і відповідає вимогам SOC, SSAE, FISMA, DIACAP, HIPPA та інших.
Ознайомтесь із ДЕМО, щоб побачити, як це працює.
Splunk
Splunk Cloud доступний на AWS для збору та індексування будь-яких машинних даних. Splunk – це швидкий і простий спосіб аналізу та візуалізації даних, згенерованих фізичними, хмарними або віртуальними пристроями.
За допомогою Splunk ви можете відстежувати та візуалізувати свої дані та налаштовувати порогові значення показників для сповіщень. Безкоштовного плану немає, але є пробна версія, яка дозволяє аналізувати та візуалізувати 5 ГБ даних протягом 15 днів.
Logz.io
Logz.io надає хостинг ELK як послугу. ELK (Elastic Search, Logstash, Kibana) – одна з найпопулярніших аналітичних платформ з відкритим кодом. Вона може індексувати дані майже з усіх сучасних технологій і надавати практичний аналіз за допомогою візуалізації даних та сповіщень.
Деякі з підтримуваних технологій:
- Apache HTTP/Tomcat
- Nginx
- Hadoop
- Heroku
- Node.js
- MongoDB
- PostgreSQL
- Windows
- Linux
- AWS
Безкоштовний план пропонує три дні зберігання з 1 ГБ даних на день.
Timber
Платформа для ведення журналів у реальному часі, розширена фільтрація та швидкий пошук, інтегрована у ваш додаток.
Timber можна інтегрувати з вашою програмою та платформою.
Бібліотеки доступні для Node, Ruby та Elixir і підтримують багато платформ, зокрема:
- Logstash
- Zeit (зараз)
- AWS Lambda
- Docker
- Linux
- Heroku
- Kubernetes
Ви можете почати з безкоштовного плану для тестування платформи.
Висновок
Сподіваємося, що представлений аналіз хмарних журналів допоможе вам у пошуку, аналізі та візуалізації даних, та полегшить ваші ІТ-операції.