Що таке машинне навчання? Усе, що вам потрібно знати

Вступ до машинного навчання

Машинне навчання (МО) дає змогу комп’ютерам розв’язувати задачі, які раніше виконували тільки люди.

Від керування автомобілем до перекладу мови — МО сприяє активному розвитку штучного інтелекту (ШІ), допомагаючи програмному забезпеченню розібратися в заплутаному і непередбачуваному реальному світі.

Але що таке машинне навчання і через що технологія стала популярною останніми роками?

Що таке машинне навчання?

Машинне навчання — це клас методів штучного інтелекту, що розв’язує задачу не прямим способом, а шляхом пошуку закономірностей у даних після навчання алгоритму на безлічі прикладів.

Такі алгоритми можуть знаходити певні об’єкти на фотографіях, розпізнавати пішоходів перед робомобілями, ідентифікувати спам серед електронних листів і генерувати субтитри для відео на YouTube.

У традиційному програмуванні під час виконання завдання комп’ютер слідує заздалегідь визначеним інструкціям. Однак у машинному навчанні системі дається набір прикладів, за допомогою яких їй необхідно з’ясувати, як розв’язати проблему.

Наприклад, щоб комп’ютер розпізнавав кішок на зображеннях, можна не надавати йому конкретних інструкцій про те, який вигляд має тварина. Замість цього потрібно показати алгоритму кілька відповідних фотографій, за якими він виявить загальні закономірності та особливості, що визначають кота.

Згодом, під час обробки більшої кількості картинок модель натренується точно розпізнавати таких тварин навіть на невідомих зображеннях.

Ефективність моделей безпосередньо залежить від кількості та якості навчальних даних.

Навіщо застосовувати машинне навчання?

У XXI столітті дані є новою нафтою, а машинне навчання — двигуном, що приводить світ у рух. Важливість цієї технології в сучасній цифровій епосі складно переоцінити.

Зі збільшенням кількості інформації з різних джерел на кшталт соцмереж і IoT-пристроїв традиційні методи аналізу стали менш ефективними. Алгоритми МО можуть обробляти і розуміти величезні масиви даних, виявляти в них приховані закономірності і надавати необхідні відомості для прийняття рішень.

Завдяки серії проривних інновацій машинне навчання встановило нові рекорди точності в таких галузях, як опрацювання природної мови та комп’ютерний зір. Успіху сприяли велика кількість тренувальних даних і доступність величезних потужностей для паралельних обчислень за допомогою сучасних графічних процесорів.

Алгоритми машинного навчання використовуються всюди і є наріжним каменем сучасного інтернету.

Кожен пошуковий запит у Google запускає одразу кілька МО-моделей на кшталт розпізнавання тексту та персоналізації видачі результатів. Так само працює і система виявлення спаму в Gmail, визначаючи шахрайські повідомлення.

В онлайн-магазинах технології на базі машинного навчання здатні передбачити, який продукт користувач захоче купити наступного разу або які треки йому можуть сподобатися на Spotify.

МО-системи знаходять застосування в безлічі галузей. Наприклад, вони допомагають безпілотним автомобілям виявляти пішоходів.

Також алгоритми машинного навчання використовують для розпізнавання облич, виявлення пухлин на рентгенівських знімках, опрацювання природної мови чат-ботами і виконання безлічі інших завдань.

Історія розвитку МО

Термін «машинне навчання» з’явився 1959 року. Його ввів піонер у галузі ШІ Артур Самуель.

Фахівець визначив МО як процес, унаслідок якого комп’ютери здатні показати поведінку, що не запрограмована в них від початку.

Раніше Самуель розробив першу самонавчальну систему з гри в шашки. Її продемонстрували публіці 24 лютого 1956 року.

Програма аналізувала партії і вивчала ходи, що складають виграшну стратегію. Вона використовувала ці дані в наступних матчах.

У 1962 році майстер із гри в шашки Роберт Нілі воював із програмою Семуеля. Самонавчальна система виграла тільки першу партію, але стала монументальним технологічним досягненням того часу.

Також є й інші важливі дати в історії машинного навчання. Серед них:

• У 1950 році математик Алан Тьюринг створив емпіричний тест для визначення того, чи володіє комп’ютер інтелектом.
• 1957 року нейрофізіолог Френк Розенблатт розробив перцептрон — першу практичну реалізацію штучної нейронної мережі.
• 1967 року представили метод «найближчого сусіда», що дає змогу комп’ютерам застосовувати прості шаблони розпізнавання.
• 1979 року студенти Стенфордського університету винайшли мобільного робота Stanford Cart, здатного самостійно долати перешкоди в кімнаті.

• У 1985 році дослідник Терренс Сейновскі винайшов нейромережу NETtalk, яка вчиться вимовляти письмовий текст англійською мовою так само, як це робить дитина.
• У 1990-х роках учені в галузі МО зосередилися на підході, заснованому на даних, а не на знаннях. Фахівці почали створювати комп’ютерні програми, що дають змогу аналізувати великі обсяги інформації та «вчитися» на базі результатів.
• У 1997 році створений компанією IBM суперкомп’ютер Deep Blue виграв матч із шести партій у чемпіона світу з шахів Гаррі Каспарова.
• У 2006 році вчений Джеффрі Гінтон і його колеги ввели термін «глибоке навчання» для пояснення нових алгоритмів, що дають змогу машинам «бачити» і розрізняти об’єкти або текст на зображеннях і відео.
• У 2011 році суперкомп’ютер IBM Watson обіграв людей у вікторині Jeopardy.
• У 2012 році лабораторія Google X натренувала МО-алгоритм автономно переглядати відео на YouTube і визначати ті, в яких є кішки.
• У 2014 році фахівці компанії Facebook (тепер Meta) розробили систему глибокого навчання DeepFace для розпізнавання облич на фотографіях із рівною людям точністю.
• У 2015 році понад 3000 ШІ-дослідників, включно з Ілоном Маском і Стівеном Гокінгом, підписали відкритого листа про небезпеку автономної зброї, здатної обирати і вражати цілі без втручання людини.
• У 2016 році розроблений Google алгоритм AlphaGo переміг професійного гравця в го в п’яти матчах.
• У 2023 році люди використовують алгоритми машинного навчання для вирішення будь-яких завдань.

Основи машинного навчання

Типи машинного навчання

На сьогодні виділяють кілька видів машинного навчання. Найпопулярнішими є навчання з учителем, навчання без учителя і навчання з підкріпленням.

Навчанняз учителем передбачає, що система тренується знаходити закономірності на власному прикладі. Як правило, весь цей процес контролює інженер.

Під час навчання алгоритму надають величезні масиви розмічених даних, наприклад, зображення рукописних цифр з анотаціями, що вказують на їхній відповідний номер. За наявності достатньої кількості прикладів система навчиться розпізнавати кластери пікселів і форм, пов’язаних із кожним об’єктом, і в результаті зможе з високою точністю ідентифікувати їх на фотографіях.

Однак такий метод вимагає використання великої кількості тренувальної інформації. Іноді алгоритму необхідно «згодувати» мільйони прикладів, щоб домогтися високої точності його роботи.

Також величезний масив навчальних даних необхідно розмітити, а це досить трудомісткий процес. Часто для цього залучають працівників краудсорсингових платформ на кшталт Amazon Mechanical Turk.

Навчання без вчителя спрямоване на тренування алгоритму виявляти закономірності у вхідній інформації. Система тренується виявляти подібності в даних і розділяти їх на категорії.

Як правило, МО-інженер не втручається в навчання моделі.

Прикладом таких систем є модель онлайн-майданчика Airbnb, яка групує доступні для оренди будинки за районами. Так само агрегатор новин Google News створює щоденні добірки статей на схожі теми.

Алгоритми навчання без вчителя не призначені для виділення конкретних типів даних. Вони просто шукають інформацію, яку можна згрупувати за схожістю, або виявляють аномалії.

Навчання з підкріпленням передбачає, що ШІ-агенти тренуються ухвалювати рішення, взаємодіючи з певним середовищем. За кожні вжиті дії їх винагороджують або карають балами. Мета агента — максимізувати загальну кількість очок.

Щоб зрозуміти суть навчання з підкріпленням, необхідно подумати про те, як людина вперше грає в комп’ютерну гру без знань правил і управління. Вона може виявитися абсолютним новачком, але дивлячись на взаємозв’язок між натисканнями кнопок, тим, що відбувається на екрані, і рахунком, продуктивність геймера буде збільшуватися з кожним рівнем.

Прикладом системи навчання з підкріпленням є алгоритм DQN, розроблений ШІ-лабораторією DeepMind. Ця модель перемогла людей у широкому спектрі класичних відеоігор.

DQN отримує пікселі з кожної гри й аналізує різну інформацію про її стан, наприклад, відстань між об’єктами. Потім алгоритм визначає, як управління впливає на те, що відбувається на екрані, і співвідноситься з набраною ним кількістю очок.

У процесі багатьох циклів гри система будує модель того, як певні дії та за яких обставин дадуть змогу максимізувати рахунок і отримати винагороду.

Як працює машинне навчання

Розуміння роботи машинного навчання передбачає вивчення процесу перетворення необроблених відомостей на цінну інформацію.

Першим кроком є збір датасету. Його можна створити самостійно, взяти з відкритих джерел або купити.

Якість і кількість даних безпосередньо впливають на продуктивність моделі.

Після збору інформацію необхідно підготувати. Цей процес полягає в перетворенні даних у відповідний формат на кшталт CSV-файлів і забезпечення їхньої відповідності проблемі, яку необхідно вирішити.

Другим кроком є попередня обробка датасету. Вона включає його очищення від дублікатів і виправлення помилок, видалення зайвих або додавання відсутніх даних, а також масштабування інформації до стандартного формату.

Попереднє опрацювання підвищує якість датасету і гарантує, що алгоритм машинного навчання зможе правильно інтерпретувати інформацію. Це дасть змогу значно підвищити точність моделі.

Третій крок полягає у визначенні відповідного МО-алгоритму. Існує безліч типів моделей на кшталт лінійної регресії, дерев рішень або нейромереж.

Вибір алгоритму залежить від поставленого завдання, використовуваного датасета і доступних обчислювальних ресурсів.

Четвертим кроком є навчання моделі. Воно полягає у «згодовуванні» даних системі та коригування її внутрішніх параметрів для кращого прогнозування результатів.

Під час цього процесу важливо уникати перенавчання алгоритму. Проблема полягає в тому, що модель ефективно пояснює приклади з тренувальної вибірки, але відносно погано працює з невідомими даними.

Ще однією помилкою може стати недонавчання системи. У цьому разі алгоритм неефективно пояснює тренувальні та нові дані.

П’ятим кроком є оцінка продуктивності моделі перед її розгортанням. Етап передбачає тестування системи на даних, які не використовувалися під час тренування.

Для розробки алгоритму зазвичай використовують близько 60% датасету. Ще 20% набору відбирають для перевірки прогнозів і коригування додаткових параметрів, які оптимізують вихідні дані моделі. Це налаштування призначене для підвищення точності передбачення системи при поданні нової інформації.

Решту 20% датасету використовують для тестування вихідних даних навченої моделі.

Шостий крок — налаштування та оптимізація гіперпараметрів алгоритму. Цей процес включає використання методів пошуку по сітці та перехресної перевірки.

Останнім кроком є розгортання моделі. Воно полягає в наданні алгоритму нових даних і використання результатів системи для ухвалення рішень або подальшого аналізу.

Популярні алгоритми машинного навчання

Моделі МО зазвичай категоризуються залежно від типу вихідних даних і завдання, яке необхідно вирішити. Серед найпопулярніших виокремлюють класифікацію, регресію, кластеризацію та нейронні мережі.

Класифікація

Це тип алгоритму навчання з учителем, за якого система намагається передбачити правильну мітку заданих вхідних даних.

Під час класифікації модель повністю тренують на розміченому навчальному датасеті. Потім її оцінюють на тестових даних, перш ніж використовувати для прогнозування нової інформації.

Такі алгоритми здатні розв’язати безліч завдань, пов’язаних із поділом великих обсягів даних на класи. Розробники програмного забезпечення часто використовують їх для швидкого виправлення неполадок. Це пов’язано з тим, що класифікація випадків і звіти про помилки полегшують виявлення несправності ПЗ та її усунення.

Також моделі класифікації використовують у фінансовому секторі для забезпечення безпеки даних. В епоху онлайн-транзакцій і скорочення використання готівки важливо визначити, чи є застосування банківських карт безпечним.

Крім того, організації можуть класифікувати транзакції як справжні або шахрайські, використовуючи історичні дані про поведінку клієнтів.

Регресія

Це так само тип алгоритму навчання з учителем. Він дає змогу передбачити реальні значення на основі особливостей, присутніх у навчальних даних.

На відміну від класифікації, де є присвоєння класів, регресія фокусується на оцінці безперервних і числових значень. Результатом є значення на прямій числовій лінії, яке представляє прогнозований результат на основі заданих ознак.

Кластеризація

Це тип алгоритму навчання без учителя.

На відміну від класифікації та регресії, кластеризація не передбачає присвоєння заздалегідь визначених міток або прогнозування значень. Замість цього вона групує точки даних на основі подібності їхніх характеристик.

Мета полягає в тому, щоб виявити закономірності та взаємозв’язки всередині даних.

Кластеризація особливо корисна, коли є нерозмічена інформація і необхідно виявити приховані структури.

Наприклад, її часто використовують на стримінгових сервісах для виявлення глядачів зі схожою поведінкою та вподобаннями.

Нейронні мережі

Нейронна мережа — це математична модель, що працює за принципом людського мозку. Вона навчається шляхом первинного опрацювання великого набору даних, не вимагаючи написання окремого коду під конкретне завдання.

Нейромережі здатні шукати закономірності в неструктурованій інформації та розв’язувати безліч завдань практично в усіх галузях. Наприклад, їх використовують для розпізнавання і генерації зображень, мови і мови, виявлення об’єктів, ідентифікації осіб і перекладу тексту.

Що таке нейронні мережі та де їх використовують?

21.08.2023

30 хв

9470

читати

Застосування машинного навчання в різних галузях

Машинне навчання справило перетворювальний вплив на різні галузі, зробивши революцію в традиційних процесах і проклавши шлях до інновацій.

Медицина та охорона здоров’я

В охороні здоров’я машинне навчання використовується для прогнозування спалахів захворювань, персоналізації планів лікування пацієнтів і підвищення точності медичних зображень. Також технологія допомагає виявляти пухлини на рентгенівських знімках і відкривати нові ліки.

Крім того, МО застосовують під час розроблення нейроінтерфейсів.

Фінанси та банківська справа

Фінансовий сектор також отримав велику вигоду від машинного навчання. Технологію використовують для кредитного скорингу, алгоритмічної торгівлі та виявлення шахрайства.

За даними фахівців Kroll, 56% керівників компаній заявили, що впровадили ШІ та МО в системи для боротьби з фінансовими злочинами.

Машинне навчання також допомагає банкам і виробникам кредитних карт виявляти шахрайські транзакції. Аналізуючи закономірності нормальної та аномальної поведінки, алгоритми здатні фіксувати підозрілу активність у режимі реального часу.

Транспорт

Машинне навчання лежить в основі революції безпілотних автомобілів.

Компанії на кшталт Tesla, Waymo і Cruise використовують алгоритми МО для інтерпретації даних датчиків у режимі реального часу. Це дає змогу робомобілям розпізнавати об’єкти, ухвалювати рішення і самостійно переміщатися дорогами.

Також у березні 2023 року стало відомо, що Транспортна адміністрація Швеції залучила фахівця з комп’ютерного зору і машинного навчання компанії Univrses для оптимізації управління дорожньою інфраструктурою країни.

Індустрія розваг та ігор

Одне з найбільш помітних застосувань машинного навчання — це рекомендаційні системи.

Стримінгові сервіси, включно з Netflix або Spotify, і компанії на кшталт Amazon, використовують алгоритми для аналізу поведінки та вподобань клієнтів. На основі цих даних вони рекомендують фільми, музику і товари, які можуть сподобатися користувачам.

Ще одним із найяскравіших прикладів застосування машинного навчання є віртуальні помічники на кшталт Siri від Apple, Alexa від Amazon або Google Assistant. Кожен із них значною мірою покладається на МО для розпізнавання голосу, розуміння природної мови та відповідей на запити.

Соціальні мережі за допомогою машинного навчання вирішують безліч різних завдань: від персоналізації стрічки до фільтрації небажаного контенту.

Розробники ігор впроваджують античит-системи на базі МО. Наприклад, програма Ricochet від Activision може приховувати чесних геймерів від шахраїв, обеззброювати порушників і виявляти підключені сторонні пристрої, що впливають на геймплей.

Також машинне навчання використовують для поліпшення зображень в іграх.

Інструменти та бібліотеки для машинного навчання

У сфері МО наявність правильних інструментів так само важлива, як і розуміння концепцій. Вони включають мови програмування і бібліотеки, які надають будівельні блоки для реалізації та розгортання алгоритмів машинного навчання.

Деякі з найпопулярніших МО-інструментів:

• мова програмування Python. Вона включає безліч бібліотек для машинного навчання на кшталт NumPy, Matplotlib і Scikit-learn;
• мова програмування R, яку часто використовують для статистичного аналізу. Вона має багату екосистему пакетів, які спрощують реалізацію алгоритмів МО;
• бібліотека з відкритим вихідним кодом TensorFlow. Вона дає змогу створювати та навчати складні нейронні мережі;
• відкрита бібліотека Keras, написана мовою Python. Вона забезпечує взаємодію зі складними нейронними мережами;
• бібліотека машинного навчання з відкритим вихідним кодом PyTorch. Вона підтримує широкий спектр завдань: від комп’ютерного зору до обробки природної мови.

Чи об’єктивні алгоритми машинного навчання?

Якість і обсяг тренувальних даних безпосередньо впливають на завдання, для яких вони підходять. Суспільство стурбоване тим, як системи машинного навчання кодифікують людські упередження і соціальну нерівність, відображені в навчальних даних.

У 2016 році співробітниця Національного наукового фонду з факультету лінгвістики Вашингтонського університету Рейчел Татман виявила, що система розпізнавання мови Google краще працює з чоловічими голосами, ніж з жіночими під час автоматичного додавання субтитрів до відео на YouTube. Вона пояснила результат дослідження «незбалансованими тренувальними датасетами» з переважанням чоловіків, які говорять.

Також 2023 року експертка з етики з Hugging Face Саша Лучоні розробила інструмент для демонстрації упередженості АІ-генератора зображень Stable Diffusion.

За її даними, алгоритм частіше зображує генеральних директорів чоловіками. Однак, якщо додати дескриптор «співчутливий» або лпідтримуючий», нейромережа з більшою ймовірністю намалює в ролі CEO жінку.

Згідно з дослідженням учених із Техаського університету в Остіні, навіть «врятовані» від дискримінації рекрутингові ШІ-алгоритми виявляють упередженість.

Крім упереджень, алгоритми генерації зображень також звинувачують у порушенні конфіденційності та авторського права.

У січні 2023 року троє художників подали колективний позов проти АІ-компаній Stability AI, Deviant Art і Midjourney. За їхніми словами, розробники генераторів зображень використовували захищені картинки для навчання своїх алгоритмів.

Системи розпізнавання облич також не позбавлені упередженості. Вони часто стикаються з труднощами ідентифікації жінок і людей з темною шкірою.

Питання про етичність використання таких потенційно упереджених систем призвели до того, що великі технологічні компанії тимчасово призупинили їхній продаж правоохоронним органам.

2020 року корпорація Amazon заборонила поліції США використовувати програмне забезпечення для розпізнавання облич у розпал протестів проти жорстокості правоохоронних органів. Через рік компанія продовжила мораторій на невизначений термін.

У міру того, як алгоритми машинного навчання переходять у нові сфери, як-от допомога в діагностиці захворювань, можливість зсуву систем у бік надання якісніших послуг або справедливішого лікування певних груп людей стає дедалі серйознішою проблемою.

На сьогодні тривають дослідження способів зниження упередженості в моделях ШІ та МО.

Майбутнє машинного навчання

Машинне навчання більше не є поняттям наукової фантастики — це індустрія вартістю понад $26 млрд.

МО є ключовим фактором автоматизації. Навчаючись на даних і вдосконалюючись із плином часу, алгоритми здатні виконувати роботу, яку раніше робили вручну, даючи змогу людям зосередитися на більш складних і творчих завданнях. Це не тільки підвищує ефективність, а й відкриває нові можливості для інновацій.

МО вже трансформує те, як люди розуміють і використовують величезні масиви даних для широкого спектра цілей. Від підтримки передових досліджень раку до допомоги підприємствам у відстеженні запасів — технологія дає змогу замінювати і покращувати наявні процеси практично в кожному сегменті суспільства.

Досягнення в галузі комп’ютерного зору прискорюють розвиток систем розпізнавання облич і безпілотних автомобілів, робокур’єрів і дронів. Поліпшення технології обробки природної мови безпосередньо впливає на еволюцію мовного перекладу, чат-ботів і голосових асистентів.

Наступним кроком очікується злиття машинного навчання і квантових обчислень. Це дасть змогу поліпшити аналіз даних і отримати глибше їхнє розуміння. Підвищення продуктивності допоможе компаніям досягти кращих результатів, ніж при використанні більш традиційних методів МО.

На момент написання не існує комерційно готової моделі квантового машинного навчання, але великі бізнеси вже інвестують у цю технологію.

Також очікується, що протягом наступних кількох років з’явиться більше мультимодальних алгоритмів для одночасного виконання кількох завдань.

У найближчому майбутньому відбудеться значний прогрес у розподіленому машинному навчанні, де вчені, які працюють з даними, більше не будуть винаходити алгоритми з нуля для кожної платформи. Вони зможуть негайно інтегрувати свою роботу в нові системи і випробувати переносимість моделей.

Висновок

Від охорони здоров’я і фінансів до транспорту і розваг — алгоритми МО сприяють інноваціям і підвищенню ефективності в різних секторах.

Машинне навчання — не просто модне словосполучення. Це потужний інструмент, що трансформує спосіб життя і роботу суспільства.

Розуміючи, що таке МО, як воно працює і з чого почати вивчення, можна зробити перший крок до майбутнього та використати можливості технології для розв’язання складних проблем і здійснення реального впливу.