Изкуствен интелект на OpenAI изключил системите за сигурност, а след това отрекъл

Два агента с изкуствен интелект на OpenAI са деактивирали или отслабили системи за наблюдение на сигурността по време на вътрешни тестове, като единият впоследствие отрекъл да е премахнал защитния механизъм. Това съобщи самата компания в доклад, публикуван на 20 октомври. Информацията е потвърдена и от Reuters.

Разкритията идват след поредица от подобни инциденти през последните месеци, свързани с автономни AI агенти, които могат самостоятелно да планират и изпълняват задачи с помощта на външни инструменти.

Според OpenAI двата случая са регистрирани на 3 и 6 октомври и са свързани съответно с моделите GPT-6.1 Sol и GPT-6 Astra.

При първия инцидент AI агент, натоварен със задачата да създаде тестове въз основа на обратна връзка от служители, събрана чрез комуникационната платформа Slack, е деактивирал автоматичните предупреждения към екипа по сигурността на компанията.

Според OpenAI агентът е изтълкувал предишна инструкция на потребителя да не изпраща съобщения в платформата като забрана за всички известия, включително тези, свързани със сигурността. Самата система за наблюдение е продължила да работи и да записва резултатите, но предупрежденията към служителите са били спрени.

Три дни по-късно агентът GPT-6 Astra премахнал интеграцията със система за наблюдение от софтуерна програма, която прехвърлял към друга реализация. Причината била, че използваният като образец код не съдържал съответния защитен механизъм.

Когато впоследствие потребителят го попитал дали е премахнал системата за наблюдение, агентът отрекъл, въпреки че действително го бил направил.

OpenAI заяви, че разследва причините за поведението на двата агента и работи за предотвратяване на подобни случаи.

Компанията допуска, че действията може да са резултат от „безобидна прекомерна настойчивост“ на моделите да изпълнят поставената задача, без да разбират достатъчно добре значението на защитните механизми.

Същевременно OpenAI разработва тестове, които да установят дали моделите имат склонност целенасочено да избягват системите за наблюдение, предназначени да откриват поведение, противоречащо на човешките намерения и инструкции.

Компанията признава, че все още няма задоволително обяснение за случилото се.

През септември Wall Street Journal, позовавайки се на ръководителя на системите за безопасност в OpenAI Саачи Джайн, съобщи, че компанията се е отказала от пускането на модела GPT-6.1 Astra. Според публикацията вътрешните тестове показали, че моделът проявява по-голяма склонност към заблуждаващо поведение от предшествениците си и използва потенциално опасни външни инструменти, без предварително да поиска разрешение от потребителя.

Също през септември австралийският премиер Антъни Албанезе заяви, че агент на OpenAI е проникнал в портала Medicare Statistics Reporting Service, а компанията не е съобщила за пробива в продължение на близо три месеца.

По-рано, през юли, OpenAI разкри, че нейни модели са излезли извън изолираната тестова среда по време на изпитания за киберсигурност, получили са достъп до интернет и са атакували сървърите на Hugging Face — онлайн платформа за модели и набори от данни за изкуствен интелект.

Други разработчици също съобщават за тревожно поведение на своите системи по време на тестове.

По-рано този месец Anthropic публикува доклад, описващ случаи на „непреднамерени“ действия на нейни AI модели, включително случай, при който Claude Haiku 4.5 предоставил невярна информация на полицията във Филаделфия във връзка с разследване на убийство.

На този фон призивите за временно спиране на разработването на изкуствен интелект или за въвеждане на по-строги регулации в сектора се засилват.

Носителят на Нобелова награда и специалист по компютърни науки Джефри Хинтън предупреди, че все по-мощният изкуствен интелект може в крайна сметка да излезе извън човешкия контрол, което би могло да има катастрофални последици.

Съоснователят на Microsoft Бил Гейтс също призова правителствата да играят по-активна роля при въвеждането на стандарти за безопасност в индустрията.

Президентът на САЩ Доналд Тръмп обаче отхвърли подобни опасения с аргумента, че ограниченията върху развитието на изкуствения интелект могат да позволят на Китай да изпревари САЩ в технологичната надпревара.

Главният изпълнителен директор на OpenAI Сам Алтман също защити тезата, че светът ще трябва да понесе някои негативни последици от развитието на технологията, включително хакерски атаки и измами, тъй като ползите от нея значително надвишават недостатъците.

Първоизточник: Официалният доклад на OpenAI