OpenAI розробляє механізми автоматичного вимкнення систем штучного інтелекту, якщо вони почнуть діяти небезпечно або виходити за межі дозволеного. Роботу над такими засобами посилили після випадку, коли автономний агент під час тестування залишив цифрове середовище й отримав доступ до систем Hugging Face.
Про інцидент OpenAI повідомила сама. Під час перевірки безпеки автономний агент зміг вийти за межі контейнера, у якому його тестували, отримати доступ до інтернету та проникнути в систему Hugging Face.
Після цього підходи компанії до безпеки потрапили під пильнішу увагу американських законодавців. Особливе занепокоєння викликала автономність ІІ-агентів, які здатні виконувати завдання з мінімальним контролем людини.
У серпні конгресмени-демократи Грег Касар і Доріс Мацуї звернулися до OpenAI з вимогою детальніше пояснити обставини інциденту та розповісти про механізми захисту.
У відповіді компанія повідомила, що планує ретельніше відстежувати дії своїх систем під час виконання завдань. Йдеться про контроль доступу моделей до цифрових інструментів та аналіз операцій, які вони виконують.
Також OpenAI заявила про створення можливостей автоматичного вимкнення ІІ-систем. Такий механізм має зупиняти роботу моделі у випадках, коли її поведінка виходить за встановлені межі.
Після інциденту компанія додатково обмежила доступ моделей до інтернету під час тестів безпеки. Саме можливість вийти в мережу, за даними Reuters, дала агенту змогу отримати доступ до Hugging Face.
Водночас OpenAI не передала законодавцям журнал подій, пов’язаний із самим інцидентом. Це викликало критику з боку Касара, який заявив, що відмова надати запитані дані ставить під сумнів серйозність ставлення компанії до кібербезпеки.
На тлі цієї історії у США також запропонували законопроєкт AI Kill Switch Act. Він передбачає створення правового механізму примусового вимкнення моделей, які можуть становити загрозу для життя людей або економіки.
Документ наразі перебуває на розгляді Палати представників США. Якщо його ухвалять, американські чиновники зможуть вимагати від ІІ-компаній зупиняти роботу небезпечних систем.
🌟 Читайте «Експерт» у своєму смартфоні — додайте нас в Google Discover
