Data Lakehouse: підтримка вашої подорожі на основі даних

Data Lakehouse — це нова архітектура керування даними, яка поєднує в собі найкращі частини озера даних і сховища даних. Використовуючи базу даних, ви отримуєте можливість зберігати різні типи даних на одній платформі та виконувати ACID-сумісні запити та аналітику.

Отже, навіщо використовувати базу даних? Будучи старшим інженером-програмістом, я можу розуміти, наскільки важко стає, коли вам доводиться керувати двома окремими системами та обслуговувати їх і мати великий потік даних від однієї до іншої.

Якщо ви хочете використовувати свої дані для проведення бізнес-аналітики та створення звітів, вам потрібно зберігати структуровані дані в сховищі даних. З іншого боку, щоб зберігати всі дані, що надходять із різних джерел даних у вихідному форматі, потрібне озеро даних. Наявність одного озерного будиночка усуває потребу в обслуговуванні різних систем, оскільки він поєднує найкраще з обох світів.

Значення Data Lakehouse

Щоб розвивати свою організацію та бізнес, вам потрібно мати можливість зберігати та аналізувати дані незалежно від формату чи структури. Озера даних важливі для сучасного управління даними, оскільки вони усувають обмеження як озер даних, так і сховищ даних.

Ваші озера даних часто можуть перетворюватися на болота даних, куди дані скидаються без будь-якої структури чи керування. Це ускладнює пошук і використання даних, а також може призвести до проблем із якістю даних. З іншого боку, наявність сховища даних часто змушує вас бути занадто жорсткими. Це також стає дорогим.

Озеро даних має власний набір характеристик. Давайте поглянемо на них.

Характеристики Data Lakehouse

Перед тим, як зануритися в архітектуру озерця даних, давайте подивимося на найважливіші функції чи характеристики озерця даних.

Він підтримує транзакції. Коли ви використовуєте базу даних у помірно великому масштабі, читання та запис відбуватимуться одночасно. Відповідність ACID гарантує, що одночасне читання та запис не заважає даним.

Підтримка бізнес-аналітики – ви можете додати свої інструменти BI безпосередньо до проіндексованих даних. Відпадає необхідність копіювати дані в інше місце. Крім того, ви отримуєте найновіші дані за скорочений час і за меншу ціну.

Рівень зберігання даних і обчислення розділені – коли два рівні розділені, ви можете масштабувати один із них, не впливаючи на інший. Якщо вам потрібно більше пам’яті, ви можете додати його, не збільшуючи обчислення.

Підтримка різних типів даних. Оскільки озеро даних побудовано на озері даних, воно підтримує різні типи та формати даних. Ви можете зберігати й аналізувати різні типи даних, наприклад аудіо, відео, зображення та текст.

Відкритість у форматах зберігання даних – бази даних використовують відкриті та стандартизовані формати зберігання, наприклад Паркет Apache. Це дозволяє підключати різні інструменти та бібліотеки для доступу до даних.

Підтримуються різноманітні робочі навантаження – використовуючи дані, що зберігаються в базі даних, ви можете виконувати широкий спектр робочих навантажень. Це включає запити через SQL, а також BI, аналітику та машинне навчання.

Підтримка потокової передачі в реальному часі. Вам не потрібно створювати окреме сховище даних і запускати окремий конвеєр для аналітики в реальному часі.

Управління схемою – озерця даних сприяють надійному управлінню та аудиту даних.

Data Lakehouse Architecture

Тепер настав час поглянути на архітектуру бази даних. Розуміння архітектури data lakehouse є ключовим для розуміння того, як вона працює. Архітектура Data Lakehouse в основному складається з п’яти основних компонентів. Давайте розглянемо їх по черзі.

Рівень прийому даних

Це рівень, де фіксуються всі різні дані в різних форматах. Це можуть бути зміни даних у вашій основній базі даних, дані з різних датчиків IoT або дані користувача в реальному часі, що надходять через потоки даних.

Рівень зберігання даних

Після того, як дані були отримані з різних джерел, настав час зберегти їх у належних форматах. Тут на допомогу приходить ваш рівень зберігання даних. Дані можна зберігати на різних носіях, як-от AWS S3. По суті, це ваше озеро даних.

Рівень метаданих і кешування

Тепер, коли у вас є рівень зберігання даних, вам знадобляться метадані та рівень керування даними. Це забезпечує єдине уявлення про всі дані, присутні в озері даних. Це також рівень, який додає транзакції ACID до існуючого озера даних, щоб перетворити його на базу даних.

Рівень API

Ви можете отримати доступ до індексованих даних із рівня метаданих за допомогою рівня API. Вони можуть бути у формі драйверів бази даних, які дозволяють запускати запити через код. Або вони можуть бути представлені у вигляді кінцевих точок, доступ до яких можна отримати з будь-якого клієнта.

Рівень споживання даних

Цей рівень містить інструменти аналітики та бізнес-аналітики, які є основними користувачами даних із бази даних. Ви можете запускати свої програми машинного навчання тут, щоб отримати цінну інформацію з даних, які ви зберігаєте та індексуєте.

Отже, тепер у вас є чітке уявлення про архітектуру озера. Але як його створити?

Кроки для побудови Data Lakehouse

Давайте розглянемо, як ви можете створити власну базу даних. Незалежно від того, чи є у вас озеро чи сховище даних, чи ви створюєте озеро з нуля, кроки залишаються однаковими.

Визначте вимоги – це включає визначення типів даних, які ви будете зберігати, і на які випадки використання ви хочете націлитися. Це можуть бути ваші моделі машинного навчання, бізнес-звіти чи аналітика.

Створіть конвеєр прийому – конвеєр прийому даних відповідає за передачу даних у вашу систему. Виходячи з джерельних систем, які генерують дані, ви можете скористатися шинами обміну повідомленнями, такими як Apache Kafka, або розкрити кінцеві точки API.

Створіть рівень зберігання – якщо у вас уже є озеро даних, воно може виконувати роль рівня зберігання. В іншому випадку ви можете вибрати з різних варіантів, як-от AWS S3, HDFS або Озеро Дельта.

Застосовувати обробку даних – це місце, де ви витягуєте та перетворюєте дані відповідно до вимог вашого бізнесу. Ви можете використовувати такі інструменти з відкритим кодом, як Apache Spark для запуску попередньо визначених періодичних завдань, які будуть приймати та обробляти дані з вашого рівня зберігання.

Створіть керування метаданими – вам потрібно відстежувати та зберігати різні типи даних і їхні відповідні властивості, щоб їх можна було легко каталогізувати та шукати, коли це необхідно. Ви також можете створити рівень кешування.

Надайте параметри інтеграції – тепер, коли ваш основний озерний дім готовий, вам потрібно буде надати гаки інтеграції, за допомогою яких зовнішні інструменти зможуть підключатися та отримувати доступ до даних. Це можуть бути запити SQL, інструменти машинного навчання або рішення Business Intelligence.

Запровадження керування даними. Оскільки ви працюватимете з різними типами даних із різних джерел, вам потрібно встановити політику керування даними, зокрема контроль доступу, шифрування та аудит. Це необхідно для забезпечення якості даних, узгодженості та дотримання нормативних актів.

Далі розглянемо, як можна перейти до бази даних, якщо у вас є існуюче рішення для керування даними.

Етапи переходу до Data Lakehouse

Переносячи робоче навантаження даних до рішення Data Lakehouse, потрібно пам’ятати про певні кроки. Наявність плану дій дозволить уникнути проблем в останню хвилину.

Крок 1: Проаналізуйте дані

Початковим і одним із найважливіших кроків для будь-якої успішної міграції є аналіз даних. За допомогою належного аналізу ви можете визначити масштаб вашої міграції. Крім того, це дозволяє визначити всі додаткові залежності, які у вас можуть бути. Тепер у вас є кращий огляд вашого середовища та того, що ви збираєтеся перенести. Це дає змогу краще розставляти пріоритети завдань.

Крок 2: Підготуйте дані для міграції

Наступним кроком для успішної міграції є підготовка даних. Це включає дані, які ви будете переносити, а також допоміжні структури даних, які вам знадобляться. Замість того, щоб сліпо чекати, поки всі ваші дані будуть доступні у вашому озері, знаючи, які набори даних і стовпці вам насправді потрібні, може заощадити дорогоцінний час і ресурси.

Крок 3: Перетворіть дані в необхідний формат

Ви можете використовувати автоматичне перетворення. Насправді вам слід якомога більше віддавати перевагу інструментам автоматичного перетворення. Перетворення даних під час міграції до data lakehouse може бути складним. На щастя, більшість інструментів постачається з легко читаним кодом SQL або рішеннями з низьким кодом. Такі інструменти, як Алхімік допомогти з цим.

Крок 4. Перевірте дані після міграції

Після завершення міграції настав час перевірити дані. Тут вам слід спробувати максимально автоматизувати процес перевірки. Інакше ручна міграція стане стомлюючою та сповільнить роботу. Його слід використовувати лише в крайньому випадку. Важливо переконатися, що ваші бізнес-процеси та завдання даних залишаються незмінними після міграції.

Основні характеристики Data Lakehouse

🔷 Повне керування даними – ви отримуєте функції керування даними, які допомагають максимально ефективно використовувати ваші дані. До них належать очищення даних, процес ETL або процес «Вилучення-перетворення-завантаження» та застосування схеми. Таким чином, ви можете легко очистити та підготувати свої дані для подальшої аналітики та інструментів BI (Business Intelligence).

🔷 Відкриті формати зберігання – формат зберігання, у якому зберігаються ваші дані, відкритий і стандартизований. Це означає, що всі дані, які ви збираєте з різних джерел даних, зберігаються однаково, і ви можете працювати з ними з самого початку. Він підтримує такі формати, як AVRO, ORC або Parquet. Крім того, вони також підтримують формати табличних даних.

🔷 Розділення сховища – ви можете відокремити сховище від обчислювальних ресурсів. Це досягається використанням окремих кластерів для обох. Таким чином, ви можете окремо збільшити обсяг пам’яті за потреби, не вносячи зайвих змін у свої обчислювальні ресурси.

🔷 Підтримка потокової передачі даних – прийняття рішень на основі даних часто передбачає використання потоків даних у реальному часі. Порівняно зі стандартним сховищем даних, сховище даних забезпечує підтримку прийому даних у реальному часі.

🔷 Управління даними – підтримує ефективне управління. Крім того, ви також отримуєте можливості аудиту. Це особливо важливо для підтримки цілісності даних.

🔷 Зниження витрат на дані – експлуатаційні витрати на роботу сховища даних порівняно нижчі, ніж на сховище даних. Ви можете отримати хмарне сховище об’єктів для зростаючих потреб у даних за меншою ціною. Крім того, ви отримуєте гібридну архітектуру. Таким чином, ви можете позбутися необхідності підтримувати декілька систем зберігання даних.

Data Lake проти Data Warehouse проти Data Lakehouse

FeatureData LakeData WarehouseData LakehouseData StorageЗберігає необроблені або неструктуровані даніЗберігає оброблені та структуровані даніЗберігає як необроблені, так і структуровані дані Схема данихНе має фіксованої схемиМає фіксовану схемуВикористовує схему з відкритим вихідним кодом для інтеграціїПеретворення данихДані не трансформуютьсяПотрібна розширена ETL ETL виконується за потреби Відповідність ACIDНе відповідає ACID anceCID -compliantACID-CompliantQuery PerformanceЯк правило, повільніше, оскільки дані неструктурованіДуже швидко через структуровані даніШвидко через напівструктуровані дані. Вартість зберігання є економічно ефективним. Вищі витрати на зберігання та запити. Вартість зберігання та запитів збалансована. Управління даними. Потрібне ретельне керування. Потрібне надійне керування. Підтримує заходи керування. Аналітика в реальному часі – часова аналітикаПідтримує аналітику в реальному часіВикористовуйте випадкиЗберігання даних, дослідження, ML і AIRзвіти та аналіз за допомогою BІ Машинне навчання та аналітика

Висновок

Поєднуючи сильні сторони як озер даних, так і сховищ даних, озеро даних вирішує важливі проблеми, з якими ви можете зіткнутися під час керування та аналізу даних.

Тепер ви знаєте про особливості та архітектуру будиночка на озері. Важливість озерця даних очевидна в його здатності працювати як зі структурованими, так і з неструктурованими даними, пропонуючи уніфіковану платформу для зберігання, запитів і аналітики. Крім того, ви також отримуєте відповідність ACID.

За допомогою кроків, згаданих у цій статті щодо створення та переходу до бази даних, ви зможете розблокувати переваги уніфікованої та економічно ефективної платформи керування даними. Будьте в курсі сучасного ландшафту управління даними та сприяйте прийняттю рішень на основі даних, аналітиці та розвитку бізнесу.

Далі перегляньте нашу детальну статтю про реплікацію даних.