Microsoft Fabric предоставляет возможность интеграции данных Azure Cosmos DB через функцию зеркального отображения (mirroring), которая находится в предварительной версии. Эта функция позволяет реплицировать данные из Azure Cosmos DB в хранилище данных Fabric OneLake практически в режиме реального времени без необходимости использования ETL-процессов и без влияния на производительность транзакционных операций или расход единиц запросов (RU) в Cosmos DB.
Основные возможности зеркального отображения Cosmos DB в Microsoft Fabric
-
Репликация данных в OneLake: Данные Cosmos DB автоматически реплицируются в OneLake в формате Delta Lake с открытым исходным кодом, что обеспечивает совместимость с различными аналитическими инструментами внутри Fabric и за его пределами.
-
Бесшовный доступ к данным: После репликации данные доступны для аналитики через Power BI в режиме DirectLake, а также можно использовать T-SQL для сложных агрегатных запросов, Spark для анализа и машинного обучения, а также записные книжки для создания моделей.
-
Автоматическое создание аналитических объектов: При зеркальном отображении создаются три ключевых элемента — сама зеркальная база данных с управлением репликацией, конечная точка аналитики SQL и семантическая модель по умолчанию, что упрощает работу с данными и их анализ.
-
Поддержка изменений схемы и вложенных данных: Зеркалирование автоматически адаптируется к изменениям в структуре данных Cosmos DB — новые свойства добавляются как новые столбцы, а вложенные JSON-данные можно расширять с помощью T-SQL функций, таких как OPENJSON.
-
Гибкость в развертывании: Зеркальное отображение поддерживает репликацию одной базы данных в нескольких рабочих областях Fabric, а также выбор регионов Azure Cosmos DB для минимизации задержек репликации.
Настройка и использование
Для использования зеркального отображения необходимо:
-
Иметь учетную запись Azure Cosmos DB для NoSQL с включенной непрерывной резервной копией.
-
Создать или использовать существующую емкость Microsoft Fabric.
-
В портале Fabric создать зеркальную базу данных, указав исходную базу Cosmos DB для репликации2.
После настройки можно:
-
Запрашивать данные исходной базы Cosmos DB в режиме только для чтения через портал Fabric, используя SQL-запросы.
-
Выполнять аналитические запросы к зеркальной базе данных в OneLake с помощью T-SQL, объединять данные из нескольких контейнеров и использовать их для BI и ML-задач.
Преимущества использования Cosmos DB в Microsoft Fabric
-
Отсутствие необходимости в сложных ETL-процессах для интеграции данных.
-
Экономия ресурсов Cosmos DB за счет минимизации использования единиц запросов.
-
Единое аналитическое пространство, объединяющее данные из Cosmos DB и других источников в Fabric.
-
Поддержка современных аналитических сценариев с использованием Power BI, Spark, AI-инструментов и записных книжек.
-
Возможность масштабируемого и гибкого построения архитектуры данных с использованием открытых форматов и стандартных инструментов Microsoft.
Таким образом, интеграция Azure Cosmos DB с Microsoft Fabric через зеркальное отображение предоставляет мощный и удобный способ организации аналитики на данных NoSQL с минимальными накладными расходами и высокой степенью автоматизации. Эта возможность особенно полезна для организаций, стремящихся объединить операционные и аналитические данные в едином современном аналитическом ландшафте.