Rate this post

Microsoft Fabric предоставляет возможность интеграции данных Azure Cosmos DB через функцию зеркального отображения (mirroring), которая находится в предварительной версии. Эта функция позволяет реплицировать данные из Azure Cosmos DB в хранилище данных Fabric OneLake практически в режиме реального времени без необходимости использования ETL-процессов и без влияния на производительность транзакционных операций или расход единиц запросов (RU) в Cosmos DB.

Основные возможности зеркального отображения Cosmos DB в Microsoft Fabric

  • Репликация данных в OneLake: Данные Cosmos DB автоматически реплицируются в OneLake в формате Delta Lake с открытым исходным кодом, что обеспечивает совместимость с различными аналитическими инструментами внутри Fabric и за его пределами.

  • Бесшовный доступ к данным: После репликации данные доступны для аналитики через Power BI в режиме DirectLake, а также можно использовать T-SQL для сложных агрегатных запросов, Spark для анализа и машинного обучения, а также записные книжки для создания моделей.

  • Автоматическое создание аналитических объектов: При зеркальном отображении создаются три ключевых элемента — сама зеркальная база данных с управлением репликацией, конечная точка аналитики SQL и семантическая модель по умолчанию, что упрощает работу с данными и их анализ.

  • Поддержка изменений схемы и вложенных данных: Зеркалирование автоматически адаптируется к изменениям в структуре данных Cosmos DB — новые свойства добавляются как новые столбцы, а вложенные JSON-данные можно расширять с помощью T-SQL функций, таких как OPENJSON.

  • Гибкость в развертывании: Зеркальное отображение поддерживает репликацию одной базы данных в нескольких рабочих областях Fabric, а также выбор регионов Azure Cosmos DB для минимизации задержек репликации.

Настройка и использование

Для использования зеркального отображения необходимо:

  • Иметь учетную запись Azure Cosmos DB для NoSQL с включенной непрерывной резервной копией.

  • Создать или использовать существующую емкость Microsoft Fabric.

  • В портале Fabric создать зеркальную базу данных, указав исходную базу Cosmos DB для репликации2.

После настройки можно:

  • Запрашивать данные исходной базы Cosmos DB в режиме только для чтения через портал Fabric, используя SQL-запросы.

  • Выполнять аналитические запросы к зеркальной базе данных в OneLake с помощью T-SQL, объединять данные из нескольких контейнеров и использовать их для BI и ML-задач.

Преимущества использования Cosmos DB в Microsoft Fabric

  • Отсутствие необходимости в сложных ETL-процессах для интеграции данных.

  • Экономия ресурсов Cosmos DB за счет минимизации использования единиц запросов.

  • Единое аналитическое пространство, объединяющее данные из Cosmos DB и других источников в Fabric.

  • Поддержка современных аналитических сценариев с использованием Power BI, Spark, AI-инструментов и записных книжек.

  • Возможность масштабируемого и гибкого построения архитектуры данных с использованием открытых форматов и стандартных инструментов Microsoft.

Таким образом, интеграция Azure Cosmos DB с Microsoft Fabric через зеркальное отображение предоставляет мощный и удобный способ организации аналитики на данных NoSQL с минимальными накладными расходами и высокой степенью автоматизации. Эта возможность особенно полезна для организаций, стремящихся объединить операционные и аналитические данные в едином современном аналитическом ландшафте.