Rate this post

Введение в Foundry Local

Foundry Local — это решение от Microsoft, которое переносит возможности Azure AI прямо в локальную среду. Оно позволяет разработчикам запускать AI-модели полностью на собственной инфраструктуре — будь то настольный компьютер, ноутбук или персональный сервер. С Foundry Local инференс выполняется на устройстве, без подключения к облаку, при этом сохраняется корпоративный уровень безопасности.

Такой подход делает Foundry Local удобным выбором для разработчиков, которым важны конфиденциальность, экономия средств и полный контроль над выполнением AI-моделей.

Что такое Foundry Local

Foundry Local — это бесплатное решение Microsoft для локального AI-инференса. Оно позволяет запускать большие языковые модели (LLM) и другие AI-модели локально, без необходимости иметь подписку Azure или оплачивать облачные ресурсы.

Платформа поддерживает несколько способов интеграции:

  • интерфейс командной строки (CLI);

  • SDK;

  • REST API.

Благодаря этому Foundry Local легко встраивается в различные процессы разработки и приложения.

Основные преимущества локального запуска AI-моделей

Использование Foundry Local даёт ряд ключевых преимуществ:

Конфиденциальность

Все запросы и подсказки остаются внутри локальной системы. Данные не передаются на внешние серверы, что особенно важно для работы с чувствительной информацией.

Производительность

Производительность зависит от аппаратной конфигурации. Foundry Local может использовать CPU, GPU и NPU, позволяя максимально задействовать доступные ресурсы.

Экономия затрат

Поскольку модели запускаются локально, отсутствуют облачные платежи, подписки и биллинг. Используются только ресурсы вашего устройства.

Гибкая настройка

Разработчик полностью контролирует выбор моделей, их конфигурацию и способы интеграции в приложения.

Поддерживаемые платформы и варианты установки

Foundry Local поддерживает несколько операционных систем и сред разработки:

  • Windows — установка через пакетный менеджер winget

  • macOS — установка с помощью Homebrew (brew)

  • Доступные SDK:

    • Python

    • JavaScript

    • C#

    • Rust

В Windows установка выполняется следующей командой:

winget install Microsoft.FoundryLocal

После установки Foundry Local становится доступным как консольное приложение.

Работа с AI-моделями

Просмотр доступных моделей

После установки можно получить список доступных моделей через CLI. В списке отображается:

  • поддерживаемое устройство выполнения (CPU, GPU, NPU);

  • размер модели;

  • информация о лицензии;

  • варианты моделей.

Это позволяет выбрать модель с учётом аппаратных возможностей и объёма памяти.

Загрузка и запуск моделей

Модели загружаются в локальный кэш и могут загружаться по требованию. После загрузки Foundry Local предоставляет интерактивный режим чата для ввода запросов.

Основные CLI-команды:

  • foundry model list — список доступных моделей

  • foundry model info — подробная информация о модели

  • foundry model run — загрузка и запуск модели

  • foundry model unload — выгрузка модели из сервиса

Команды интерактивного чата

Во время работы с моделью доступны следующие команды:

  • /help — справка по командам

  • Ctrl + C — отмена генерации

  • /exit — выход из чата

Ограничения локальных моделей

Поскольку Foundry Local работает полностью офлайн, модели не имеют доступа к данным в реальном времени или внешним инструментам. Поэтому:

  • ответы ограничены данными, полученными во время обучения модели;

  • запросы в реальном времени (например, текущая погода) не могут быть корректно обработаны;

  • качество ответов зависит от размера модели и качества её обучения.

Эти ограничения являются естественной платой за локальный, автономный запуск.

Обзор доступных моделей

Foundry Local предоставляет доступ к большому количеству моделей, которые можно фильтровать и сортировать по:

  • семейству моделей;

  • размеру файла;

  • устройству выполнения (только CPU, GPU и т. д.);

  • дате последнего обновления.

Для каждой модели доступна подробная информация:

  • описание;

  • лицензия;

  • владелец;

  • варианты модели;

  • поддерживаемые задачи.

Это упрощает выбор модели под конкретные задачи.

Открытый исходный код и сообщество

Разработчики, желающие глубже изучить Foundry Local, могут ознакомиться с его репозиторием на GitHub. Там доступны:

  • исходный код;

  • релизы;

  • список участников;

  • информация о развитии проекта.

Это обеспечивает прозрачность и возможности для расширенной настройки.

Заключение

Foundry Local позволяет запускать AI-модели непосредственно на собственных устройствах с полной конфиденциальностью данных, отсутствием облачных затрат и гибкими вариантами развёртывания. Его можно использовать на ноутбуке, настольном компьютере или персональном сервере.

Поддержка нескольких платформ, SDK и постоянно расширяющегося каталога моделей делает Foundry Local мощным инструментом для разработчиков, которым нужен полный контроль над AI-инференсом без зависимости от облачной инфраструктуры.