Найновіша модель Anthropic, Fable 5.2, очолила Remote Labor Index (RLI) від Scale 12 листопада 2026 року з часткою успішних повних фриланс-робіт 41,3%, повідомляє CryptoSlate. Бенчмарк оцінює роботу, згенеровану ШІ, порівняно з професійними еталонними результатами в різноманітному наборі з 240 проєктів — від документів і аудіо до 3D-моделей і CAD-файлів. Наступний за результатом Opus 5.5 досяг 21,25%, що залишає його далеко позаду рішення Anthropic.

Як працює Remote Labor Index

RLI, розроблений дослідниками Center for AI Safety і Scale AI, вимагає від систем ШІ створювати готові продукти, які відповідають професійному еталонному стандарту або перевершують його. Люди-рецензенти оцінюють кожен результат за оригінальним брифом, використовуючи голосування більшістю, щоб визначити, чи відповідає вихід ШІ очікуванням клієнта. Проєкти, що передбачають пряму взаємодію з клієнтом, командну роботу або фізичну працю, були виключені з дослідження, що обмежує сферу бенчмарку завданнями, які можна об’єктивно перевірити.

Результати Anthropic і застереження

Anthropic позначила свій результат 41,3% як «High effort» у релізі від 9 листопада, зазначивши, що під час тестування були ввімкнені запобіжники. Однак компанія не розкрила витрати на проєкт або масштаб залученої людської допомоги. Методологія RLI все ще залишає більшість оцінених проєктів нижче порогу прийнятності, тобто хоча Fable 5.2 перевершила конкурентів, більшість фриланс-завдань модель усе ще не розв’язує.

На що звернути увагу далі

Майбутні релізи Anthropic і конкуруючих компаній, ймовірно, матимуть на меті підвищити рівень проходження та розширити діапазон категорій завдань. Спостерігачі стежитимуть за будь-яким розкриттям структур витрат або підтримки із залученням людини до процесу, оскільки ці фактори критичні для оцінки комерційної життєздатності фриланс-роботи за допомогою ШІ.

Джерела

Цю статтю підготувала редакція COINMAG на основі наведених вище звітів.