Windows AI Foundry — это комплексная платформа, созданная для того, чтобы разработчики могли интегрировать возможности искусственного интеллекта напрямую в приложения для Windows. В её основе лежит локальный запуск AI-моделей на устройствах Windows с использованием аппаратного ускорения для оптимальной производительности. Вместо зависимости от облачных сервисов платформа предоставляет набор инструментов, API и встроенных моделей, которые работают прямо на вашем ПК, ноутбуке или частном сервере.
Такой подход «local-first» позволяет создавать интеллектуальные, ориентированные на приватность приложения, максимально использующие возможности аппаратного обеспечения Windows. Даже если устройство не подключено к интернету, модели продолжают работать безопасно и конфиденциально. Нет внешних вызовов сервисов, скрытой передачи данных или зависимости от сторонних провайдеров. Всё остаётся на устройстве.
Зачем использовать Windows AI Foundry?
Windows AI Foundry создана для сценариев, где важны приватность, безопасность и возможность офлайн-работы. Типичные варианты использования включают:
Суммаризацию текста и создание отчётов
Семантический поиск для обнаружения контента
Генерацию, масштабирование и улучшение изображений
Апскейлинг видео
Обнаружение объектов и сегментацию изображений
Распознавание текста на изображениях и в сканированных документах
Если вам нужен безопасный экосистемный подход без отправки данных в большие языковые модели, размещённые в интернете, Windows AI Foundry предлагает инфраструктуру, адаптированную под конкретные сценарии и задачи, которые не взаимодействуют с внешним миром.
Локальное выполнение с Foundry Local
В центре экосистемы находится Foundry Local. Это ключевой механизм, позволяющий запускать AI-модели в вашей собственной инфраструктуре — на ПК, ноутбуке или частном сервере. Windows AI Foundry ориентирована на операционную систему Windows, тогда как Azure AI Foundry (также известная как Microsoft Foundry) является облачной альтернативой.
Если вашему приложению необходимо полностью оставаться на устройстве Windows по соображениям приватности или соответствия требованиям, Foundry Local — идеальный выбор. Он даёт полный контроль над выполнением моделей, их хранением и настройкой в локальной среде.
Встроенные модели и готовые API
Windows AI Foundry включает встроенные модели и готовые к использованию API. Например:
Silica — небольшая языковая модель для генерации текста, оптимизированная под NPU
Распознавание текста для извлечения текста из изображений и сканированных документов
Описание изображений и семантический поиск
Масштабирование, повышение резкости и удаление объектов на изображениях
Идентификация объектов
Все эти сервисы работают полностью внутри операционной системы. Вам не нужно подключаться к интернету или использовать сторонние сервисы. Хотя здесь перечислены лишь несколько примеров, возможности практически безграничны. Вы можете выполнять многие из тех же операций, которые обычно реализуются в облачных сервисах, но локально в Windows AI Foundry.
Тонкая настройка и кастомизация моделей
Разработчики могут дообучать встроенные модели с помощью low-rank adaptation (LoRA). Windows AI Foundry интегрируется с Foundry Local, который является центральным элементом экосистемы. Разработчики могут просматривать, тестировать и развёртывать open-source модели, оптимизированные под CPU, GPU и NPU.
Эта гибкость позволяет выбирать подходящую модель под конкретный сценарий — будь то текст, изображения, аудио или код — и адаптировать её под собственные задачи.
ONNX и кросс-аппаратная совместимость
Ключевой концепцией Windows AI Foundry является ONNX (Open Neural Network Exchange). Windows ML выступает в роли рантайма инференса, упрощая развёртывание пользовательских ONNX-моделей на различном оборудовании.
Это означает, что модели, созданные Meta, Google, Microsoft и другими, могут взаимодействовать друг с другом. Вы не привязаны к одному провайдеру, а ваши модели остаются переносимыми и совместимыми между CPU, GPU и NPU.
Архитектура Foundry Local в общих чертах
Архитектура Foundry Local состоит из нескольких уровней:
Аппаратный уровень: CPU, GPU и NPU на сервере, ноутбуке или ПК
Опыт разработчика: инструменты командной строки, SDK или приложения для взаимодействия с моделями
Управление моделями: получение, компиляция, загрузка и локальное кэширование моделей
Слой коммуникации: HTTP или именованные каналы для связи с сервисом Foundry Local
Рантайм: ONNX Runtime для выполнения моделей
Кэш моделей: локальное хранилище загруженных или подключённых моделей
Такой дизайн позволяет моделям от разных провайдеров работать в единой среде, полностью в рамках локальной инфраструктуры.
Изучение моделей и API с помощью AI Dev Gallery
В Windows AI Foundry есть приложение из Microsoft Store под названием AI Dev Gallery. Оно предоставляет примеры моделей, API и готовые к запуску демонстрации, такие как:
Классификация изображений
Обнаружение объектов
Сегментация изображений
Транскрибация аудио
Перевод текста
Генерация и суммаризация текста
Super-resolution изображений
Вы можете выбрать предустановленную модель, загрузить новую или загрузить модель с диска. Система подстраивается под конфигурацию вашего оборудования — CPU, GPU или NPU — и предлагает подходящие модели в зависимости от возможностей устройства.
Каждый пример можно экспортировать в Visual Studio Code вместе с исходным кодом, чтобы вы могли изучить, изменить и интегрировать его в собственное приложение.
Установка и использование Foundry Local
Установка Foundry Local максимально проста. Это похоже на установку обычного приложения. После установки он предоставляет интерфейс командной строки и локальный сервис для управления выполнением моделей.
Из командной строки вы можете просматривать список доступных моделей, загружать их, загружать в память и запускать. Модели кэшируются локально, поэтому после первой загрузки их можно использовать повторно без повторного скачивания.
Затем вы можете отправлять запросы в локально запущенную модель. Поскольку модель работает офлайн, она отвечает, опираясь на свои внутренние знания и данные обучения. Она не обращается к интернету или внешним сервисам, что делает её идеальной для приложений, чувствительных к приватности.
Windows AI Foundry vs. Azure AI Foundry
Windows AI Foundry предназначена для локального выполнения на устройствах Windows. Azure AI Foundry, в свою очередь, является облачным решением, предлагающим более широкий набор моделей, инструментов и сервисов.
Если вы хотите создать облачное AI-приложение с богатыми интеграциями, Azure AI Foundry — правильный выбор. Если же вам нужно самодостаточное приложение, которое полностью работает на локальном ПК или в частной инфраструктуре, Windows AI Foundry подойдёт лучше.
Итог
Windows AI Foundry приносит мощные AI-возможности прямо на устройства Windows. Благодаря локальному выполнению, встроенным моделям, совместимости с ONNX и аппаратному ускорению она позволяет создавать безопасные, приватные и офлайн-доступные AI-приложения.
Будь то генерация текста, анализ изображений, транскрибация аудио или семантический поиск, Windows AI Foundry предлагает гибкую экосистему, работающую на разных устройствах, моделях и типах оборудования — без отправки данных в облако.