Rate this post

Вступ до Foundry Local

Foundry Local — це рішення від Microsoft, яке переносить можливості Azure AI безпосередньо у локальне середовище. Воно дозволяє розробникам запускати AI-моделі повністю на власній інфраструктурі — на настільному комп’ютері, ноутбуці або персональному сервері. Завдяки Foundry Local інференс виконується на пристрої без використання хмари, при цьому зберігається корпоративний рівень безпеки.

Такий підхід робить Foundry Local зручним вибором для розробників, яким важливі конфіденційність, економія коштів і повний контроль над виконанням AI-моделей.

Що таке Foundry Local

Foundry Local — це безкоштовне рішення Microsoft для локального AI-інференсу. Воно дозволяє запускати великі мовні моделі (LLM) та інші AI-моделі локально без необхідності мати підписку Azure або оплачувати хмарні ресурси.

Платформа підтримує кілька способів інтеграції:

  • інтерфейс командного рядка (CLI);

  • SDK;

  • REST API.

Це робить Foundry Local гнучким інструментом для інтеграції в різні процеси розробки та застосунки.

Основні переваги локального запуску AI-моделей

Використання Foundry Local має низку ключових переваг:

Конфіденційність

Усі запити та підказки залишаються в межах локальної системи. Дані не передаються на зовнішні сервери, що особливо важливо для роботи з чутливою інформацією.

Продуктивність

Продуктивність залежить від апаратної конфігурації. Foundry Local може використовувати CPU, GPU та NPU, дозволяючи максимально задіяти наявні ресурси.

Економія коштів

Оскільки моделі працюють локально, відсутні хмарні платежі, підписки та білінг. Використовуються лише ресурси вашого пристрою.

Гнучке налаштування

Розробник повністю контролює вибір моделей, їх конфігурацію та способи інтеграції в застосунки.

Підтримувані платформи та варіанти встановлення

Foundry Local підтримує кілька операційних систем і середовищ розробки:

  • Windows — встановлення через пакетний менеджер winget

  • macOS — встановлення за допомогою Homebrew (brew)

  • Доступні SDK:

    • Python

    • JavaScript

    • C#

    • Rust

У Windows встановлення виконується за допомогою такої команди:

winget install Microsoft.FoundryLocal

Після встановлення Foundry Local стає доступним як консольний застосунок.

Робота з AI-моделями

Перегляд доступних моделей

Після встановлення можна переглянути список доступних моделей через CLI. У списку відображається:

  • підтримуваний пристрій виконання (CPU, GPU, NPU);

  • розмір моделі;

  • інформація про ліцензію;

  • варіанти моделей.

Це дозволяє обрати модель з урахуванням апаратних можливостей і обсягу пам’яті.

Завантаження та запуск моделей

Моделі завантажуються до локального кешу та можуть підвантажуватися за потреби. Після запуску Foundry Local надає інтерактивний режим чату для введення запитів.

Основні CLI-команди:

  • foundry model list — список доступних моделей

  • foundry model info — детальна інформація про модель

  • foundry model run — завантаження та запуск моделі

  • foundry model unload — вивантаження моделі зі сервісу

Команди інтерактивного чату

Під час взаємодії з моделлю доступні такі команди:

  • /help — довідка

  • Ctrl + C — скасування генерації

  • /exit — вихід з чату

Обмеження локальних моделей

Оскільки Foundry Local працює повністю офлайн, моделі не мають доступу до даних у реальному часі або зовнішніх інструментів. У результаті:

  • відповіді обмежені даними, отриманими під час навчання моделі;

  • запити в реальному часі (наприклад, поточна погода) не можуть бути коректно оброблені;

  • якість відповідей залежить від розміру моделі та якості її навчання.

Ці обмеження є природним компромісом автономного локального запуску.

Огляд доступних моделей

Foundry Local надає доступ до широкого каталогу моделей, які можна фільтрувати та сортувати за:

  • сімейством моделей;

  • розміром файлу;

  • пристроєм виконання (лише CPU, GPU тощо);

  • датою останнього оновлення.

Для кожної моделі доступна детальна інформація:

  • опис;

  • ліцензія;

  • власник;

  • варіанти моделі;

  • підтримувані завдання.

Це значно спрощує вибір моделі для конкретних задач.

Відкритий код і спільнота

Розробники, які хочуть глибше ознайомитися з Foundry Local, можуть переглянути його репозиторій на GitHub. Там доступні:

  • вихідний код;

  • релізи;

  • учасники проєкту;

  • інформація про розвиток рішення.

Це забезпечує прозорість і можливості для розширеного налаштування.

Висновок

Foundry Local дозволяє запускати AI-моделі безпосередньо на власних пристроях із повною конфіденційністю даних, без хмарних витрат і з гнучкими варіантами розгортання. Його можна використовувати на ноутбуці, настільному комп’ютері або персональному сервері.

Підтримка кількох платформ, SDK та постійно зростаючий каталог моделей роблять Foundry Local потужним інструментом для розробників, яким потрібен повний контроль над AI-інференсом без залежності від хмарної інфраструктури.