Microsoft представила новий метод навчання ШІ
- Співробітники Microsoft опублікували наукову статтю про нову концепцію навчання LLM — Algorithm of Thoughts.
- Він покликаний зробити програмні рішення на базі ШІ більш «людяними».
- Також ця концепція, ймовірно, дасть змогу прискорити навчання моделей, зробивши його більш результативним і менш витратним.
Корпорація Microsoft представила концепцію Algorithm of Thoughts (AoT). Це новий механізм навчання великих мовних моделей (LLM). Компанія заявляє, що він потенційно може зробити революцію в секторі ШІ.
Згідно з опублікованою роботою, AoT спрямовує LLM більш оптимізованим шляхом розв’язання проблем. Механізм заснований на контекстному навчанні, стверджує автор, що дає змогу моделі досліджувати різні рішення.
Йому протиставляються методики Chain of Thoughts (CoT) і Tree of Thoughts (ToT). Перша передбачає лінійне навчання «по ланцюжку», друга — використання множинних запитів.
«Наша концепція перевершує CoT і перебуває на одному рівні з недавно запропонованим механізмом із безліччю запитів ToT. Досягнуті результати дослідження показують, що навчання моделі алгоритмом призведе до того, що її продуктивність перевершить його самого», — йдеться в документі.
У перспективі AoT дасть змогу зробити програмні рішення на базі ШІ більш «людяними», підкреслили в компанії. Також ця методика оптимізує процес, мінімізуючи витрати та час навчання.
Основна ідея AoT — перехід від контрольованого пошуку до впровадження автономного механізму навчання. У перспективі цей підхід дасть змогу LLM вирішувати складні комплексні завдання з невеликою кількістю підказок. При цьому модель також буде залучати зовнішні інструменти, що зробить результат більш інформативним.
Microsoft і сектор ШІ
На початку 2023 року компанія інвестувала «мільярди доларів» у фірму OpenAI, розробника бота ChatGPT. Відразу після виходу останнього вона оголосила про інтеграцію ПЗ у свої продукти — Bing і Edge.
Пізніше компанію навіть звинуватили в неетичній поведінці, коли Microsoft розпустила відповідний підрозділ, який гальмував вихід ChatGPT. При цьому вже в травні 2023 року в організації закликали владу прискоритися з підготовкою нормативної бази для сектора.
