Data Mesh – це концепція організації даних, яка ставить за мету створення розподіленої, а не централізованої, системи управління даними в межах усієї компанії.
Основною ідеєю є формування культури роботи з даними, де автономні команди мають можливість самостійно керувати даними, співпрацювати та впроваджувати інновації, використовуючи їх. Розглянемо детальніше, що саме являє собою Data Mesh.
Що таке Data Mesh?
Говорячи простими словами, Data Mesh – це децентралізований підхід до управління даними в організації. Це означає, що контроль та відповідальність за дані передаються безпосередньо командам, які їх використовують, замість централізації в одному відділі чи групі.
Data Mesh акцентує увагу на важливості даних як ключового активу підприємства. Його метою є сприяння кращому управлінню даними, підвищенню їх якості та інтеграції, а також стимулювання культури прийняття рішень на основі даних.
Архітектура Data Mesh
Типова архітектура Data Mesh складається з трьох основних елементів: джерел даних, інфраструктури та доменно-орієнтованих каналів даних, за які відповідають власники доменів.
Ці три елементи взаємопов’язані, а не існують як окремі сховища даних. У Data Mesh команди несуть відповідальність за дані, які вони використовують, включаючи їх якість, доступність та безпеку.
Такий децентралізований підхід забезпечує ефективне використання даних та надання командам необхідної інформації для прийняття обґрунтованих рішень. Він також сприяє розвитку культури прийняття рішень на основі даних, роблячи їх більш доступними, прозорими та надійними.
Кроки для розробки архітектури Data Mesh
Для впровадження Data Mesh в організації необхідно виконати наступні кроки:
#1. Визначення бізнес-доменів
Першим кроком є ідентифікація бізнес-доменів – областей, що створюють цінність для клієнтів. Кожен домен повинен мати чіткого власника, який відповідає за дані, що використовуються в межах цього домену.
#2. Встановлення управління даними
Необхідно створити чітку структуру управління даними, щоб гарантувати їх відповідальне та етичне використання. Це включає в себе визначення ролей та відповідальності, встановлення стандартів якості та точності, а також визначення процесів для доступу та використання даних.
#3. Визначення права власності на дані
Кожен бізнес-домен має бути відповідальним за дані, які він використовує, включаючи їх якість та точність. Це означає, що домен має брати активну участь у створенні, підтримці, використанні та розповсюдженні даних.
#4. Підвищення грамотності даних
Для того, щоб співробітники могли приймати обґрунтовані рішення, важливо підвищувати їхню грамотність у роботі з даними. Це можна досягти через навчальні програми та надання доступу до необхідних інструментів та ресурсів.
#5. Демократизація доступу до даних
Data Mesh підтримує демократизацію даних, тобто забезпечення їх доступності для всіх співробітників. Це можна реалізувати шляхом надання інструментів та ресурсів, що дозволяють отримувати доступ та використовувати дані з усієї організації.
#6. Впровадження операцій з даними
Щоб забезпечити належне управління та підтримку даних, важливо запровадити процеси та методи роботи з ними, включаючи прийом, перетворення, зберігання та пошук даних.
Принципи Data Mesh
Data Mesh базується на наборі принципів та практик, спрямованих на формування культури прийняття рішень на основі даних та забезпечення легкого доступу до них для всіх співробітників.
Основні чотири принципи:
#1. Децентралізоване володіння даними та доменно-орієнтована архітектура
Цей принцип наголошує на важливості організації даних навколо бізнес-доменів, де кожен домен несе відповідальність за свої дані та їх якість. Це допомагає узгодити дані з потребами бізнесу та клієнтів, а також спрощує доступ та використання даних з різних частин організації.
#2. Дані як продукт
Цей принцип розглядає дані як цінний актив, що потребує управління як будь-який інший продукт. Це передбачає визначення продуктів обробки даних, формування команд, що працюють з цими продуктами, та розробку дорожньої карти.
#3. Інфраструктура даних самообслуговування як платформа
Цей принцип заохочує створення моделі самообслуговування, де бізнес-домени мають більше контролю над даними, які вони використовують, та можуть легко отримувати доступ до даних з інших частин організації.
#4. Об’єднане обчислювальне управління
Цей принцип створює структуру для управління даними, що враховує потреби та цілі різних зацікавлених сторін, включаючи бізнес-домени, ІТ-відділ та фахівців з обробки даних. Такий підхід допомагає забезпечити відповідальне та етичне використання даних, а також сприяє підвищенню грамотності та прийняттю рішень на основі даних.
Важливість Data Mesh
Існує декілька причин, чому організація може розглянути впровадження Data Mesh:
Покращення якості та точності даних
Організуючи дані навколо бізнес-доменів та встановлюючи чітку відповідальність, Data Mesh допомагає покращити якість та точність даних. Це гарантує відповідність даних потребам бізнесу та сприяє прийняттю більш обґрунтованих рішень.
Покращення доступності та зручності використання даних
Data Mesh сприяє демократизації даних, роблячи їх доступними для всіх співробітників. Забезпечуючи легкий доступ та використання даних, Data Mesh сприяє підвищенню грамотності та прийняттю рішень на їх основі.
Кращий контроль над даними
Завдяки Data Mesh бізнес-домени отримують більше контролю над даними, які вони використовують, та їх якістю. Це гарантує відповідність даних потребам бізнесу та спрощує їх доступність.
Краще управління даними
Data Mesh сприяє створенню чіткої структури управління, що забезпечує відповідальне та етичне використання даних. Це включає в себе визначення ролей та відповідальності, встановлення стандартів якості та точності, а також визначення процесів для доступу та використання даних.
В цілому, впровадження Data Mesh допомагає організаціям ефективніше використовувати свої ресурси даних та сприяти розвитку культури прийняття рішень на їх основі.
Data Mesh проти Data Lake
Data Mesh та Data Lake мають відмінності в орієнтації, організації даних, підходах до управління, грамотності, доступу та використання даних.
Порівняння Data Mesh та Data Lake у табличній формі:
| Data Mesh | Data Lake |
| Орієнтований на потреби бізнесу та клієнтів | Орієнтований на технічні аспекти зберігання та обробки даних |
| Організовує дані навколо бізнес-доменів | Організовує дані в ієрархічній файловій структурі |
| Дані належать та управляються бізнес-підрозділами | До даних можуть отримати доступ різні відділи або групи |
| Акцент на управління даними та грамотність | Не обов’язково фокусується на управлінні даними або грамотності |
| Створює культуру прийняття рішень на основі даних | Забезпечує централізоване сховище для зберігання та обробки даних |
| Заохочує самообслуговування доступу до даних | Може вимагати втручання ІТ для доступу та використання даних |
| Сприяє демократизації даних | Може мати обмежений доступ до даних через безпеку або проблеми з конфіденційністю |
| Дотримується принципів дизайну, орієнтованого на домен | Не дотримується певної структури дизайну |
| Включає процеси та практики операцій з даними | Може не мати спеціальних процесів для операцій з даними |
| Може вимагати більш попереднього планування та дизайну | Може бути більш гнучким та допускати спеціальне зберігання даних |
Data Lake – це централізоване сховище, де зберігаються структуровані та неструктуровані дані будь-якого обсягу. Це місце для зберігання даних у первинному вигляді до їх обробки. Data Lake дозволяє організаціям зберігати та аналізувати дані більш гнучко та економічно вигідно.
Data Mesh, на відміну від цього, розроблена для надання командам можливості самостійно володіти даними та керувати ними, а не покладатися на централізовану групу.
Ресурси для вивчення Data Mesh
В Інтернеті є багато ресурсів для вивчення Data Mesh, і вибір найбільш корисних може бути непростим. Правильне навчання є важливим для розуміння концепцій та ефективного їх застосування на практиці.
Наступні ресурси можуть стати основою для розуміння принципів та практик Data Mesh та допомогти розвинути навички, необхідні для управління та аналізу даних у середовищі Data Mesh.
#1. Data Mesh – сучасна децентралізована концепція управління даними
У цьому курсі на Udemy розглядаються основи архітектури Data Mesh та наводяться приклади її реалізації.
Курс на Udemy можна пройти протягом тижня, залежно від вашого графіку. Важливо пам’ятати, що курс розроблено для надання всебічного огляду Data Mesh, тому може знадобитися більше часу для повного розуміння матеріалу.
#2. Data Mesh: повний майстер-клас
Цей курс Data Mesh є чудовим варіантом для тих, хто прагне розвивати свою кар’єру. Він охоплює всі теми, пов’язані з проектуванням Data Mesh та архітектури продукту даних.
Після закінчення курсу ви зможете впровадити концепцію Data Mesh у реальних підприємствах. Для початку не потрібні попередні знання про Data Mesh.
#3. Data Mesh: надання цінності, керованої даними, у масштабі
Ця книга представляє концепцію Data Mesh, чітко описує розробку архітектури Data Mesh та надає посібник зі стратегії та виконання Data Mesh.
Багато рецензентів вважають цю книгу корисним та практичним посібником для розуміння принципів та шаблонів Data Mesh, а також її впровадження в організаціях.
Висновок
Data Mesh – це концепція, що забезпечує організацію, керовану даними. Вона базується на ідеї створення єдиного джерела достовірної інформації та просуванні концепції даних як продукту.
Це досягається за допомогою децентралізованого управління даними, де міжфункціональні групи відповідають за якість, доступність та підтримку даних у своєму домені.
Data Mesh також наголошує на важливості встановлення чітких контрактів на дані між командами та заохочує використання інструментів для виявлення даних для обміну даними в організації.
Сподіваюсь, ця стаття допомогла вам дізнатись про Data Mesh та її принципи. Вас також може зацікавити тема віртуалізації даних.