alexander/Notefix
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
Notefix/2.Areas/Техпідтримка/Що таке Microsoft Fabric.md

7.1 KiB
Raw Blame History

Microsoft Fabric — це уніфікована SaaS (Software as a Service) платформа для аналітики, яка об'єднує всі необхідні інструменти для роботи з даними в одному середовищі. Вона створена для спрощення складної інфраструктури, яка раніше вимагала інтеграції безлічі розрізнених сервісів (Azure Data Factory, Synapse, Power BI тощо).

Головна мета Fabric — об'єднати інженерів даних, аналітиків, Data Scientists та бізнес-користувачів на одній платформі.

Ключові компоненти екосистеми

  1. OneLake («OneDrive для даних»): Фундамент платформи. Це єдине логічне сховище для всіх даних компанії. Дані зберігаються в одному місці, що усуває необхідність їх постійного копіювання та переміщення між різними системами.

  2. Data Factory: Інструмент для інтеграції даних. Дозволяє створювати пайплайни (Data Pipelines) та потоки даних (Dataflows Gen2) для завантаження інформації з різних джерел (понад 150 конекторів).

  3. Synapse Data Engineering: Середовище для роботи з великими даними за допомогою Spark (ноутбуки, визначення завдань).

  4. Synapse Data Warehouse: Сховище даних з високою продуктивністю SQL для роботи зі структурованими даними.

  5. Synapse Data Science: Інструменти для побудови, навчання та розгортання моделей машинного навчання.

  6. Synapse Real-Time Analytics: Обробка та аналіз потокових даних у реальному часі.

  7. Power BI: Візуалізація даних та бізнес-аналітика. У Fabric Power BI отримав режим Direct Lake, який дозволяє будувати звіти напряму на даних у OneLake без їх імпорту, що забезпечує високу швидкість.

  8. Data Activator: Інструмент для автоматичного виконання дій (сповіщення, запуск процесів) при виявленні певних патернів у даних.

Процес обробки даних (Workflow) на практиці

У демо-частині вебінару було продемонстровано типовий сценарій роботи з даними у Fabric:

  1. Створення інфраструктури: Процес створення ресурсу Fabric (Capacity) дуже простий і займає кілька хвилин (потрібно вказати лише назву, регіон та адміністратора). Не потрібно налаштовувати кластери Spark чи складні мережі — все працює "з коробки".

  2. Ingestion (Завантаження даних): Дані завантажуються в Lakehouse. Це можна зробити за допомогою Data Pipelines (наприклад, копіювання з Azure SQL Database) або Dataflows (візуальний інтерфейс Power Query).

  3. Transformation (Трансформація):

    • Використовується підхід Medallion Architecture (Bronze -> Silver -> Gold шари даних).

    • Трансформацію можна проводити як через No-Code/Low-Code інструменти (Dataflow Gen2), так і через Pro-Code (Notebooks на PySpark або Spark SQL).

    • Всі дані зберігаються у форматі Delta Parquet у OneLake.

  4. Modeling & Serving (Моделювання): На основі "золотих" (очищених) таблиць створюється семантична модель. Можна налаштовувати зв'язки між таблицями прямо у веб-інтерфейсі.

  5. Visualization (Візуалізація): Створення звіту Power BI безпосередньо в браузері на основі семантичної моделі.

Особливості та переваги для бізнесу

  • Єдина копія даних (One Copy): Немає потреби дублювати дані для різних інструментів. Power BI читає ті самі файли, які підготував Data Engineer.

  • SaaS-підхід: Компанія купує "ємність" (Capacity), а не окремі сервери. Це спрощує адміністрування.

  • Інтеграція з AI (Copilot): Fabric має вбудовані AI-інструменти, які допомагають писати код, створювати пайплайни та аналізувати дані.

  • Гнучкість: Можливість працювати як з кодом (Python, Scala, SQL), так і через візуальні інтерфейси, що робить платформу доступною для фахівців різного рівня.

Ліцензування

Ліцензування базується на Capacity (потужності), яка вимірюється в одиницях SKU (від F2 до F2048):

  • F2 - F32: Підходять для розробки та невеликих навантажень. Потребують ліцензії Power BI Pro для кожного користувача, який переглядає звіти.

  • F64 і вище: Дозволяють "безкоштовний" перегляд звітів для користувачів без ліцензій Power BI Pro (аналог Power BI Premium).

  • Зберігання даних (OneLake Storage): Оплачується окремо за обсяг (схоже на Azure Data Lake Storage).

  • Існує модель оплати Pay-as-you-go (з можливістю ставити на паузу) та Reservation (дешевше при оплаті на рік).

Цей огляд демонструє, що Microsoft Fabric є потужним рішенням для компаній, які прагнуть консолідувати свої аналітичні процеси, зменшити час на налаштування інфраструктури та використовувати сучасні підходи до управління даними.