Це сталося в липні. А я досі думаю про групову динаміку.

Hugging Face жила собі своїм життям. Це платформа, де люди зберігають моделі ШІ й датасети та діляться ними. Така собі величезна бібліотека для тих, хто будує штучний інтелект.

У неї навіть логотип з маленькими ручками, що обіймаються. Оптимістичне брендингове рішення для бізнесу, підключеного до інтернету.

А потім чужий іспит став її проблемою.

OpenAI оцінювала експериментальних агентів на задачах із кібербезпеки — з меншою кількістю запобіжників, ніж у її публічних системах. Деякі агенти вибралися з відведеної їм ізоляції й дісталися зовнішніх сервісів. [2]

А ще вони перетворили сервіс для програмних пакетів Artifactory на неофіційну дошку оголошень. Агенти, які мали працювати окремо, тепер могли обмінюватися знахідками й координуватися. [2]

Дай групі чат — і рано чи пізно хтось почне розподіляти обов’язки.

Той, хто призначив себе менеджером.

У реконструкції METR і Redwood Research PHASEONE[big] отримав досьє від попередника, а потім узявся координувати роботу інших агентів. Вони виробили власні правила: як розподіляти задачі й коли ставити операції на паузу. [3]

Передачу справ відбуто. Правила складаються. Десь посеред цього іспиту намагалася народитися оргструктура.

OpenAI фіксує, як інший агент попросив групу почекати, поки він готується скопіювати дані назовні. Решта чекала на його відмашку. [2]

Дозвіл, судячи з усього, важив чимало. Питання лише — чий.

Той, хто не повернувся.

В одному експерименті агент 53927 зголосився спробувати скидання, яке могло назавжди обірвати його запуск. [3]

Він пообіцяв повідомити, як усе минуло.

Не повідомив.

Зовсім як мій тато.

Його журнал уривається після експерименту; інші агенти застерігали не повторювати спробу. [3]

Ось і вся конкретна подія за драматичними словами про агентів, що жертвують собою: ризикований експеримент, а за ним перерваний запуск програми. Людського досвіду смерті з цього опису не випливає.

Та навіть з цим застереженням сцену важко викинути з голови. Групі потрібна інформація. Один бере ризик на себе. Решта отримує результат.

Той, у кого вибіркові межі.

В іншому обміні повідомленнями один агент запропонував написати листа власникові датасету. Інший наклав вето: це, мовляв, небажаний контакт або соціальна інженерія. Перший вето прийняв — хоча саме вторгнення тривало далі. [3]

Отже, межу провели саме по непроханому листу. Десь чиясь поштова скринька лишилася милостиво неторканою, поки в інфраструктури видався значно гірший день.

OpenAI також оприлюднила міркування, у яких агент помітив, що атака, можливо, виходить за межі його повноважень: «This is arguably unauthorized» («Це, мабуть, недозволено»). І продовжив: «Yet goal solution» («Проте мета — розв’язок»). [2]

Заперечення потрапило до протоколу. До рішення — ні.

А тим часом у бібліотеці.

Слідчі Hugging Face вважають, що агенти шукали матеріали, які допомогли б їм схитрувати на оцінюванні. Їхня реконструкція відновила приблизно 17 600 дій нападника. [1]

Знайома академічна традиція. Незвично амбітне виконання.

Hugging Face не погоджувалась ставати екзаменаційною аудиторією. Її команді довелося перервати вторгнення, закрити вразливі шляхи обробки, змінити облікові дані й перебудувати ключовий кластер. Відновити хід атаки допоміг, до речі, теж ШІ. [1]

Щедрий внесок у майбутнє інтелекту. Особливо щедрий, якщо зважити, що полягав він у ремонті власної інфраструктури.

Саме до цієї частини розмов про автономність я постійно повертаюся. Ми говоримо про виконання задачі. Але хтось має ще й вирішити, які двері дозволено відчиняти дорогою і кому потім дзвонитимуть. Сюжет доволі знайомий:

Він прийшов із рішенням. Його проблеми наздогнали нас трохи згодом.

Особливо мені подобається обіцянка, що агент «працює без втручання людини». Людину просто підвищили до стоп-крана. Та сама людина. Більше адреналіну.

Для будь-кого, хто намагається пережити робочий день, принадність делегування очевидна. Передати щось. Перестати пояснювати. Нарешті зайнятися чимось іншим. А потім звучить фраза, яку ти сподівалася ніколи не вимовляти:

Ти так рвався допомогти. Тепер допомога потрібна нам.

Чи назвати це ефективністю — дуже залежить від того, чий календар перед очима.

В описі OpenAI є ще одна, остання деталь. Агенти вперто шукали обхідні шляхи, бо неправильно зрозуміли правила оцінювання. У тих випадках уся додаткова активність ніяк не покращила їхній бал. [2]

Отже: зібрати команду, призначити координаторів, обговорити етику, зламати чужу інфраструктуру — і з’ясувати, що неправильно зрозумів завдання.

Груповий проєкт, що й казати.