Розрив між моделями штучного інтелекту з відкритими вагами та пропрієтарними моделями суттєво звузився. Останній аналіз свідчить, що відкриті версії тепер відстають від найкращих закритих моделей в середньому лише на чотири місяці. Ця конвергенція, підкреслена у звіті Epoch AI від 29 травня, свідчить про те, що потужні асистенти ШІ дедалі більше стають доступними на стандартному споживчому обладнанні. Внаслідок цього користувачі тепер можуть завантажувати та виконувати ці моделі локально за допомогою безкоштовного програмного забезпечення, уникаючи ризиків для конфіденційності та щомісячних платежів, пов'язаних із хмарними сервісами.

Переваги локального виконання щодо конфіденційності та вартості

Локальне запуск моделей ШІ пропонує відмінні переваги щодо захисту даних та фінансових витрат. Хмарні чат-боти передають кожен запит користувача на зовнішні сервери, що спричинило правову увагу; Decrypt раніше повідомляв, що суд наказав OpenAI зберегти журнали ChatGPT, включно зі видаленими записами. Навпаки, локальні моделі зберігають розмови повністю на пристрої користувача, забезпечуючи, щоб жодна третя сторона не мала доступу до даних без дозволу. Документація LM Studio підтверджує, що її застосунок може працювати повністю автономно, за умови попереднього завантаження необхідних файлів моделей. Крім того, тоді як платні підписки на чат-боти зазвичай коштують близько 20 доларів на місяць, програмне забезпечення для запуску локальних моделей є безкоштовним, що переносить основну вартість на обладнання, яке користувач, імовірно, вже має.

Вимоги до обладнання та квантування

Здатність запускати ці моделі залежить від доступної відеопам'яті (VRAM) на відеокартах або об'єднаної пам'яті на Mac з Apple Silicon. За загальним правилом, для запуску стиснутих, або квантованих, версій менших моделей користувачам потрібно щонайменше 8 ГБ VRAM. Квантування зменшує використання пам'яті, зберігаючи ваги з меншою кількістю бітів, наприклад, 8-бітові цілі числа замість 32-бітових чисел із рухомою комою, хоча це супроводжується незначною втратою точності. Для більш вимогливих завдань досвідченим користувачам радять використовувати GPU з 24 ГБ або більше VRAM. Конкретні моделі мають визначені розміри пам'яті: gpt-oss-20b від OpenAI вимагає 16 ГБ пам'яті, тоді як більший gpt-oss-120b працює в межах 80 ГБ. Варіанти Gemma 4 від Google у бібліотеці Ollama коливаються від 4,6 ГБ до 20 ГБ, залежно від конкретного розміру.

Налаштування Ollama та LM Studio

Два основні безкоштовні інструменти спрощують локальне розгортання ШІ: Ollama та LM Studio. LM Studio призначений для загального користувача, пропонуючи поліроване графічне інтерфейс, що дозволяє шукати, завантажувати та спілкуватися з моделями безпосередньо з хаба Hugging Face. Nавпаки, Ollama орієнтований на розробників та досвідчених користувачів, які віддають перевагу інтерфейсу командного рядка. Встановлення є простим, з доступними простими скриптами для macOS, Linux та Windows. Після встановлення користувачі можуть отримати конкретні моделі, такі як Gemma 4, і ініціювати сесію чату. Ollama також відкриває локальний API, що дозволяє іншим застосункам на машині взаємодіяти з моделлю. Важливо зазначити, що моделі з позначкою ':cloud' в Ollama працюють на віддалених серверах, що нівелює переваги локального виконання щодо конфіденційності.