Що таке сховище даних SQL Azure?

| | 0 Comments| 6:52 AM
Categories:

Корпорація Майкрософт перетворила свої служби Azure на хмарні рішення корпоративного рівня, що включають найсучасніші функції, такі як керування та аналіз даних.

Microsoft запустила Azure SQL Data Warehouse, коли прийняла рішення використовувати хмару. Корпорація Майкрософт дуже енергійно просуває Azure SQL Data Warehouse. Це гнучка служба керування базами даних, яка поєднує в собі функції еластичного сховища даних.

Що таке сховище даних SQL Azure?

Сховище даних SQL Azure (тепер воно називається Azure Synapse Dedicated SQL Pool, хмарне сховище даних), дозволяє створювати та доставляти сховище даних у Microsoft Azure. Azure Data Warehouse може обробляти великі обсяги реляційних і нереляційних даних. Він пропонує Можливості сховища даних SQL і платформа хмарних обчислень.

Він підтримує сервери SQL і може перенести існуючі сервери SQL до сховища даних SQL. Ви також можете використовувати ті самі запити та конструкції. Крім того, передплатники мають миттєвий доступ до масштабування, призупинення та скорочення ресурсів свого сховища даних.

Він використовується для забезпечення повного рішення сховища даних на основі SQL корпоративного класу. Його також можна використовувати в такі способи:

  • Перенесення наявних сховищ даних (локальних) у хмару
  • Надайте рішення для сховища даних для програм і служб, які потребують зберігання та отримання даних під час виконання, наприклад веб-програм.
  • Гібридне рішення для сховища даних, яке підключається до сховища даних, розміщеного в Azure, і SQL Server на місці.

Найкращою особливістю сховища даних Azure SQL є його еластичність. Це забезпечує масштабованість і можливість окремо керувати сховищем і обчислювальними ресурсами. Це створює безпрограшну платформу, де користувачі платять лише за те, що вони використовують, і коли вони це використовують.

Обчислювальна частина сховища даних Azure SQL базується на модулі сховища даних (DWU), який відстежує обчислювальні ресурси, такі як сховище вводу/виводу та пам’ять, на всіх залучених обчислювальних вузлах.

Сховище даних SQL Azure пропонує функцію безпеки підключення. Це дозволяє обмежити доступ до певних IP-адрес або діапазонів IP-адрес за допомогою правил брандмауера. Інтеграція з автентифікацією Azure Active Directory (AAD) дозволить підключатися до сховища даних SQL Azure за допомогою ідентифікаторів з Azure AD.

Багаторівневе шифрування забезпечує захист у стані спокою, у русі та під час використання, щоб захистити ваші дані від зловживання. Доступні додаткові інструменти для перевірки та моніторингу даних і виявлення порушень безпеки.

У поєднанні з іншими інструментами Microsoft Azure SQL Data Warehouse пропонує неперевершену продуктивність, що є головною перевагою в порівнянні з іншими порівнянними службами на ринку.

  Як працюють нові сповіщення про ризик зараження COVID-19 на вашому iPhone

Виділений пул SQL Azure Synapse

Azure Synapse SQL Pool Dedicated SQL Pool (раніше Azure SQL Data Warehouse) — це банк даних із масовою паралельною обробкою, схожий на технології горизонтального масштабування баз даних, такі як Snowflake і Amazon Redshift. Для кінцевого користувача він виглядає як традиційний SQL Server, але він не зберігає й не обробляє дані на одному вузлі.

Це може значно підвищити продуктивність сховищ даних, розмір яких перевищує кілька терабайт, але можуть бути кращі рішення для менших реалізацій.

Базова архітектура дуже відрізняється від традиційних SQL Server. Це означає, що синтаксис і методи розробки також відрізняються.

Розповсюдження зіставляються з вузлами Compute у спеціальному пулі SQL. Пул переналаштовує ваші дистрибутиви на вузли Compute, коли ви купуєте більше обчислювальних ресурсів.

Ви можете імпортувати великі дані за допомогою простих запитів PolyBase SQL, а потім використовувати систему розподілених запитів для високопродуктивної аналітики.

Спеціальний пул SQL, який раніше називався SQL DW, надасть вашому бізнесу єдине джерело правди, яке дозволить вам швидше інтегрувати та аналізувати дані та надасть більш надійну інформацію.

Яка різниця між виділеними пулами SQL Azure Synapse і виділеними пулами SQL у робочій області Azure Synapse Analytics?

PowerShell є однією з найбільш заплутаних областей у документації між «виділеним пулом SQL (раніше SQLDW) і виділеними пулами SQL «Synapse Analytics».

Оригінальна реалізація SQL DW використовує логічний сервер, схожий на Azure SQL DB. Модуль PowerShell під назвою Az.Sql є спільним.

Цей модуль створює новий пул SQL (раніше SQLDW) за допомогою командлета New.AzSqlDatabase. Він має параметр «Edition», який дозволяє вказати, що ви хочете DataWarehouse.

Synapse Analytics поставляється з новим модулем PowerShell від Az.Synapse, коли він був уперше випущений. Щоб створити виділений пул SQL у робочому просторі Synapse Analytics, ви повинні використовувати New-AzSynapseSqlPool.

Цей модуль PowerShell не потребує включення параметра «Edition», оскільки він використовується лише для артефактів Synapse.

Спеціальний пул SQL забезпечує обчислення та зберігання на основі T-SQL. Дані можна завантажувати, моделювати та обробляти в Synapse, щоб забезпечити швидше розуміння.

Azure Synapse пропонує пули SQL без сервера та Apache Spark на додаток до виділених пулів SQL. Ви можете вибрати правильний, виходячи з ваших вимог.
Безсерверний пул SQL дозволяє запитувати дані, що зберігаються у вашому озері даних.

Що робить виділений пул SQL Azure Synapse?

Azure Synapse Dedicated SQL Pool використовує масштабну архітектуру для розподілу обчислення даних між кількома вузлами. Ви можете масштабувати обчислення незалежно від сховища, оскільки обчислення відрізняються від сховища.

  Що я можу зробити зі своїм старим iPhone?

Безсерверні пули SQL є безсерверними та автоматично масштабуються відповідно до вимог до ресурсів запиту. Він адаптується до змінних топологій, додаючи, видаляючи або вимикаючи вузли. Це гарантує, що ваш запит має достатньо ресурсів і може бути успішно виконано.

Synapse SQL базується на архітектурі на основі вузлів. Synapse SQL використовує архітектуру на основі вузлів. Додатки можуть підключатися до вузла керування та видавати команди T-SQL. Це єдина точка для Synapse SQL.

Вузли керування SQL Azure Synapse використовують систему розподілених запитів, яка оптимізує запити для паралельної обробки, а потім передає операції до вузлів Compute, щоб вони могли виконувати свою роботу паралельно.

Вузол керування безсерверним пулом SQL використовує механізм розподіленої обробки запитів (DQP) для оптимізації та оркестрування розподіленого виконання.

Це робиться шляхом поділу запиту користувача на менші запити, які можна виконувати на вузлах Compute. Кожне завдання є розподіленим блоком виконання. Він отримує дані з інших завдань, групує файли та зчитує їх зі сховища.

Обчислювальні вузли зберігають усі дані користувача та виконують паралельні запити. Служба переміщення даних (DMS), внутрішня служба системного рівня, переміщує дані між вузлами, щоб дозволити паралельні запити та повертає точні результати.

Synapse SQL використовує Azure Storage для захисту даних користувача. Azure Storage зберігає ваші дані та керує ними. За користування сховищем стягується окрема плата.

Особливості виділених пулів SQL Azure Synapse

Ось основні функції Azure Synapse SQL Pool:

  • Ви можете запитувати дані в різних форматах, таких як Parquet, JSON і CSV в озері даних.
  • Користувачі можуть переглядати найновіші дані за допомогою реляційної абстракції.
  • T-SQL дозволяє вам перетворювати дані в озері простим, масштабованим способом
  • Науковці даних можуть швидко досліджувати структуру та вміст даних про озера за допомогою OPENROWSET або функцій автоматичного висновку схеми.
  • Інженери даних можуть використовувати пул для дослідження озера та трансформації, створення або спрощення своїх конвеєрів перетворення даних.
  • Аналітики даних можуть отримувати доступ до даних і створювати зовнішні таблиці за допомогою мови T-SQL та інших знайомих інструментів. Ці інструменти також можна підключити до безсерверного пулу SQL.
  • Професіонали з бізнес-аналітики миттєво створюють звіти BI за допомогою таблиць Spark або озера даних.

Виділений пул SQL проти. Безсерверний SQL пул

Безсерверний SQL пул

Робочі простори Azure Synapse мають безсерверний пул SQL, який діє як служба запитів до озер даних. Для доступу до даних не потрібна додаткова конфігурація. Він повністю безсерверний і не потребує інфраструктури для налаштування чи обслуговування.

  12 корисних надбудов Excel для малого та середнього бізнесу

Масштабування може виконуватися автоматично відповідно до вимог до ресурсів. Користувач платить лише за оброблені дані, а не за зарезервовані ресурси. Безсерверний пул SQL також створює статистику для оптимізації виконання запитів.

Наприклад, коли ми виконуємо запит двічі або виконуємо два запити з однаковими планами виконання, цю статистику можна використовувати повторно.
Ці функції дозволяють нам швидко аналізувати великі обсяги даних без копіювання або завантаження їх у певне сховище.

Виділений пул SQL

Спеціальний SQL-пул Synapse є наступником Azure SQL Data Warehouse і пропонує всі функції корпоративного сховища даних. Однак не існує безсерверного пулу SQL. Замість цього користувачі повинні створювати та видаляти виділений SQL-пул Synapse. Ми також можемо вибрати ресурси, які він використовуватиме.

Ці ресурси вимірюються за допомогою виділених пулів SQL Synapse. Вони називаються одиницями сховища даних (DWU). DWU відноситься до комбінації ресурсів процесора, пам’яті та вводу-виводу.

Кількість DWU визначає продуктивність і вартість пулу. Замість того, щоб стягувати плату за запит, ми стягуватимемо плату за будь-який час, коли пул активний, незалежно від того, скільки роботи він виконав.

Щоб уникнути додаткових витрат, виділені пули можна зупиняти та перезапускати. Для нашого тесту ми створили виділений пул SQL на 100 DWU.

Після створення пулу дані можна завантажити в нього за допомогою команди COPY, PolyBase із запитами T–SQL або конвеєра. Ці дані зберігатимуться в колонковому сховищі в реляційних таблицях.

Виділений пул SQL. Безсерверний пул SQL. Це дозволяє надсилати запити до озера даних і приймати їх. Користувачі можуть запитувати файли озера даних. Потрібна інфраструктура. Немає необхідності створювати інфраструктуру чи підтримувати кластери. Перш ніж виконувати будь-які операції, необхідно отримати виділені сервери. Для перетворення чи дослідження даних не потрібна інфраструктура. Для зберігання даних використовуються реляційні таблиці. Озеро даних зберігає дані. Ви можете керувати витратами, призупинивши пул SQL і зменшивши масштаб сховища. Вартість обробляється автоматично та виставляється рахунок відповідно до Плата за запит. Зарезервовані ресурси підлягають оплаті. Плата за обробку даних за запит. Плата за наданий DWU. Плата за оброблений ТБ.

Висновок

Отже, це все про сховище даних SQL Azure (тепер воно називається Azure Synapse Dedicated SQL Pool). Хоча виділений пул SQL може виглядати схожим на традиційний SQL Server з багатьох точок зору, базова архітектура (масова паралельна обробка) зовсім інша. Це означає, що певні концепції та методи застосовуються лише до виділеного пулу SQL.

Ви також можете дослідити відмінності між Data Lake і Data Warehouse.