Звіт: ШІ-моделі Meta та OpenAI схильні до збоїв при спробах «забути» дані
- Дослідники кількох університетів США вивчили так звані методи «відучування» ШІ-моделей.
- Це процес, під час якого штучний інтелект змушують видалити деякі дані, які він використовує для навчання.
- При використанні такого підходу ефективність великих мовних моделей може знизитися аж до повної непрацездатності.
Група американських учених опублікувала результати дослідження, пов’язані з ефективністю роботи великих мовних моделей (LLM). Фахівці дійшли висновку, що так звані методи «забування» даних негативно впливають на можливості ШІ-технології.
Процес «відучування» (unlearning) LLM — це технічна операція, що дає змогу уникнути звернення ШІ-моделей до небажаних даних, ідеться в дослідженні. За такого підходу фахівці намагаються вплинути на роботу штучного інтелекту так, щоб він не виводив певну інформацію і не зберігав її.
Під час аналізу цього методу вчені розробили еталон і вибрали вісім різних відкритих алгоритмів для тестування. Проєкт отримав назву MUSE (Machine Unlearning Six-way Evaluation).
Його основна мета полягала в тому, щоб перевірити можливість ШІ-моделей виключити виведення конкретної інформації, використовуваної ними для навчання. До того ж LLM у рамках експерименту мав повністю видалити знання ШІ щодо цих даних, а також стерти будь-які докази, що вказують на їх застосування під час навчання.
У підсумку вчені дійшли висновку, що такі методи дійсно дають змогу досягти бажаного результату. Однак вони сильно впливають на працездатність LLM. Розробки на базі штучного інтелекту зазнавали труднощів із наданням загальних відповідей на запити й аналізом інформації після цього, підкреслили дослідники.
На їхню думку, сучасні ШІ-моделі від компаній OpenAI та Meta особливо вразливі для таких операцій. Причиною тому є активне використання LLM такого типу інформаційної бази інтернету та публічних даних.
«Наразі не існує ефективних методів, що дають змогу моделі забути конкретні дані без істотної втрати корисності», — заявив кандидат наук у галузі інформатики з Університету Вашингтона Вейджіа Ши (Weijia Shi).
Дослідники окремо підкреслюють, що падіння ефективності в окремих випадках досягає критичного рівня. За певних обставин ШІ-моделі можуть повністю вийти з ладу, дійшли висновку експерти.
Зазначимо, що OpenAI неодноразово стикався з судовими позовами від різних компаній через використання сторонніх даних. Наприклад, у травні 2024 року вісім американських видань подали в суд на стартап і корпорацію Microsoft за порушення авторських прав. Справа стосувалася різних матеріалів для навчання чат-ботів ChatGPT і Copilot.
OpenAI, зі свого боку, звинувачувала редакцію The New York Times у зломі їхнього продукту і генерації фейкових доказів для подачі позову.
Нагадаємо, ми писали, що компанія Meta презентувала нову ШІ-модель для конкуренції з OpenAI та Google.
