Что такое машинное обучение? Все, что вам нужно знать

Введение в машинное обучение

Машинное обучение (МО) позволяет компьютерам решать задачи, ранее выполняемые только людьми.

От управления автомобилем до перевода речи — МО способствует активному развитию искусственного интеллекта (ИИ), помогая программному обеспечению разобраться в запутанном и непредсказуемом реальном мире.

Но что такое машинное обучение и из-за чего технология стала популярной в последние годы?

Что такое машинное обучение?

Машинное обучение — это класс методов искусственного интеллекта, решающий задачу не прямым способом, а путем поиска закономерностей в данных после обучения алгоритма на множестве примеров.

Такие алгоритмы могут находить определенные объекты на фотографиях, распознавать пешеходов перед робомобилями, идентифицировать спам среди электронных писем и генерировать субтитры для видео на YouTube.

В традиционном программировании при выполнении задачи компьютер следует заранее определенным инструкциям. Однако в машинном обучении системе дается набор примеров, с помощью которых ей необходимо выяснить, как решить проблему.

Например, чтобы компьютер распознавал кошек на изображениях, можно не предоставлять ему конкретные инструкции о том, как выглядит животное. Вместо этого нужно показать алгоритму несколько соответствующих фотографий, по которым он выявит общие закономерности и особенности, определяющие кота.

Со временем, при обработке большего количества картинок модель натренируется точно распознавать таких животных даже на неизвестных изображениях.

Эффективность моделей напрямую зависит от количества и качества обучающих данных.

Зачем применять машинное обучение?

В XXI веке данные являются новой нефтью, а машинное обучение — двигателем, приводящим мир в движение. Важность этой технологии в современной цифровой эпохе сложно переоценить.

С увеличением количества информации из различных источников вроде соцсетей и IoT-устройств традиционные методы анализа стали менее эффективными. Алгоритмы МО могут обрабатывать и понимать огромные массивы данных, выявлять в них скрытые закономерности и предоставлять необходимые сведения для принятия решений.

Благодаря серии прорывных инноваций машинное обучение установило новые рекорды точности в таких областях, как обработка естественной речи и компьютерное зрение. Успеху способствовали большое количество тренировочных данных и доступность огромных мощностей для параллельных вычислений с помощью современных графических процессоров.

Алгоритмы машинного обучения используются повсюду и являются краеугольным камнем современного интернета.

Каждый поисковой запрос в Google запускает сразу несколько МО-моделей вроде распознавания текста и персонализации выдачи результатов. Так же работает и система обнаружения спама в Gmail, определяя мошеннические сообщения.

В онлайн-магазинах технологии на базе машинного обучения способны предсказать, какой продукт пользователь захочет купить в следующий раз или какие треки ему могут понравиться на Spotify.

МО-системы находят применение во множестве отраслей. Например, они помогают беспилотным автомобилям обнаруживать пешеходов. 

Также алгоритмы машинного обучения используются для распознавания лиц, выявления опухолей на рентгеновских снимках, обработки естественной речи чат-ботами и выполнения множества других задач.

История развития МО

Термин «машинное обучение» появился в 1959 году. Его ввел пионер в области ИИ Артур Самуэль.

Специалист определил МО как процесс, в результате которого компьютеры способны показать поведение, не запрограммированное в них изначально.

Ранее Самуэль разработал первую самообучающуюся систему по игре в шашки. Ее продемонстрировали публике 24 февраля 1956 года.

Программа анализировала партии и изучала составляющие выигрышную стратегию ходы. Она использовал эти данные в последующих матчах.

В 1962 году мастер по игре в шашки Роберт Нили сразился с программой Сэмуэля. Самообучающаяся система выиграла только первую партию, но стала монументальным технологическим достижением того времени.

Также есть и другие важные даты в истории машинного обучения. Среди них:

• В 1950 году математик Алан Тьюринг создал эмпирический тест для определения того, обладает ли компьютер интеллектом.
• В 1957 году нейрофизиолог Фрэнк Розенблатт разработал перцептрон — первую практическую реализацию искусственной нейронной сети.
• В 1967 году представили метод «ближайшего соседа», позволяющий компьютерам применять простые шаблоны распознавания.
• В 1979 году студенты Стэнфордского университета изобрели мобильного робота Stanford Cart, способного самостоятельно преодолевать препятствия в комнате.

• В 1985 году исследователь Терренс Сейновски изобрел нейросеть NETtalk, которая учится произносить письменный текст на английском языке так же, как это делает ребенок.
• В 1990-х годах ученые в области МО сосредоточились на подходе, основанном на данных, а не на знаниях. Специалисты начали создавать компьютерные программы, позволяющие анализировать большие объемы информации и «учиться» на базе результатов.
• В 1997 году созданный компанией IBM суперкомпьютер Deep Blue выиграл матч из шести партий у чемпиона мира по шахматам Гарри Каспарова.
• В 2006 году ученый Джеффри Хинтон и его коллеги ввели термин «глубокое обучение» для объяснения новых алгоритмов, позволяющих машинам «видеть» и различать объекты или текст на изображениях и видео.
• В 2011 году суперкомпьютер IBM Watson обыграл людей в викторине Jeopardy.
• В 2012 году лаборатория Google X натренировала МО-алгоритм автономно просматривать видео на YouTube и определять те, в которых есть кошки.
• В 2014 году специалисты компании Facebook (теперь Meta) разработали систему глубокого обучения DeepFace для распознавания лиц на фотографиях с равной людям точностью.
• В 2015 году более 3000 ИИ-исследователей, включая Илона Маска и Стивена Хокинга, подписали открытое письмо об опасности автономного оружия, способного выбирать и поражать цели без вмешательства человека.
• В 2016 году разработанный Google алгоритм AlphaGo победил профессионального игрока в го в пяти матчах.
• В 2023 году люди используют алгоритмы машинного обучения для решения любых задач.

Основы машинного обучения

Типы машинного обучения

На сегодняшний день выделяют несколько видов машинного обучения. Самыми популярными являются обучение с учителем, обучение без учителя и обучение с подкреплением.

Обучение с учителем подразумевает, что система тренируется находить закономерности на собственном примере. Как правило, весь этот процесс контролирует инженер.

Во время обучения алгоритму предоставляют огромные массивы размеченных данных, например, изображения рукописных цифр с аннотациями, указывающими на их соответствующий номер. При наличии достаточного количества примеров система обучится распознавать кластеры пикселей и форм, связанных с каждым объектом, и в результате сможет с высокой точностью идентифицировать их на фотографиях.

Однако такой метод требует использования большого количества тренировочной информации. Иногда алгоритму необходимо «скормить» миллионы примеров, чтобы добиться высокой точности его работы.

Также огромный массив обучающих данных необходимо разметить, а это достаточно трудоемкий процесс. Часто для этого привлекают работников краудсорсинговых платформ вроде Amazon Mechanical Turk.

Обучение без учителя направлено на тренировку алгоритма выявлять закономерности во входной информации. Система тренируется обнаруживать сходства в данных и разделять их на категории.

Как правило, МО-инженер не вмешивается в обучение модели.

Примером таких систем является модель онлайн-площадки Airbnb, которая группирует доступные для аренды дома по районам. Так же агрегатор новостей Google News создает ежедневные подборки статей на похожие темы.

Алгоритмы обучения без учителя не предназначены для выделения конкретных типов данных. Они просто ищут информацию, которую можно сгруппировать по сходству, или выявляют аномалии.

Обучение с подкреплением подразумевает, что ИИ-агенты тренируются принимать решения, взаимодействуя с некой средой. За каждые предпринятые действия их вознаграждают или наказывают баллами. Цель агента — максимизировать общее количество очков.

Чтобы понять суть обучения с подкреплением, необходимо подумать о том, как человек впервые играет в компьютерную игру без знаний правил и управления. Он может оказаться абсолютным новичком, но глядя на взаимосвязь между нажатиями кнопок, происходящим на экране и счетом, производительность геймера будет увеличиваться с каждым уровнем.

Примером системы обучения с подкреплением является алгоритм DQN, разработанный ИИ-лабораторий DeepMind. Эта модель победила людей в широком спектре классических видеоигр.

DQN получает пиксели из каждой игры и анализирует различную информацию о ее состоянии, например, расстояние между объектами. Затем алгоритм определяет, как управление влияет на происходящее на экране и соотносится с набранным им количеством очков.

В процессе многих циклов игры система строит модель того, как определенные действия и при каких обстоятельствах позволят максимизировать счет и получить вознаграждение.

Как работает машинное обучение

Понимание работы машинного обучения предполагает изучение процесса преобразования необработанных сведений в ценную информацию.

Первым шагом является сбор датасета. Его можно создать самостоятельно, взять из открытых источников или купить.

Качество и количество данных напрямую влияют на производительность модели.

После сбора информацию необходимо подготовить. Этот процесс заключается в преобразовании данных в подходящий формат вроде CSV-файлов и обеспечение их соответствия проблеме, которую необходимо решить.

Вторым шагом является предварительная обработка датасета. Она включает его очистку от дубликатов и исправление ошибок, удаление лишних или добавление недостающих данных, а также масштабирование информации до стандартного формата.

Предварительная обработка повышает качество датасета и гарантирует, что алгоритм машинного обучения сможет правильно интерпретировать информацию. Это позволит значительно повысить точность модели.

Третий шаг заключается в определении подходящего МО-алгоритма. Существует множество типов моделей вроде линейной регрессии, деревьев решений или нейросетей. 

Выбор алгоритма зависит от поставленной задачи, используемого датасета и доступных вычислительных ресурсов. 

Четвертым шагом является обучение модели. Оно заключается в «скармливании» данных системе и корректировка ее внутренних параметров для лучшего прогнозирования результатов.

Во время этого процесса важно избегать переобучения алгоритма. Проблема заключается в том, что модель эффективно объясняет примеры из тренировочной выборки, но относительно плохо работает с неизвестными данными. 

Еще одной ошибкой может стать недообучение системы. В этом случае алгоритм неэффективно объясняет тренировочные и новые данные.

Пятым шагом является оценка производительности модели перед ее развертыванием. Этап предполагает тестирование системы на данных, которые не использовались во время тренировки.

Для разработки алгоритма обычно используют около 60% датасета. Еще 20% набора отбирают для проверки прогнозов и корректировки дополнительных параметров, которые оптимизируют выходные данные модели. Эта настройка предназначена для повышения точности предсказания системы при представлении новой информации.

Остальные 20% датасета используют для тестирования выходных данных обученной модели.

Шестой шаг — настройка и оптимизация гиперпараметров алгоритма. Этот процесс включает использование методов поиска по сетке и перекрестной проверки.

Последним шагом является развертывание модели. Оно заключается в предоставлении алгоритму новых данных и использование результатов системы для принятия решений или дальнейшего анализа.

Популярные алгоритмы машинного обучения

Модели МО обычно категоризируются в зависимости от типа выходных данных и задачи, которую необходимо решить. Среди наиболее популярных выделяют классификацию, регрессию, кластеризацию и нейронные сети.

Классификация

Это тип алгоритма обучения с учителем, при котором система пытается предсказать правильную метку заданных входных данных. 

При классификации модель полностью тренируют на размеченном обучающем датасете. Затем ее оценивают на тестовых данных, прежде чем использовать для прогнозирования новой информации.

Такие алгоритмы способны решить множество задач, связанных с разделением больших объемов данных на классы. Разработчики программного обеспечения часто используют их для быстрого исправления неполадок. Это связано с тем, что классификация случаев и отчеты об ошибках облегчают обнаружение неисправности ПО и ее устранение.

Также модели классификации используют в финансовом секторе для обеспечения безопасности данных. В эпоху онлайн-транзакций и сокращения использования наличных денег важно определить, является ли применение банковских карт безопасным. 

Кроме того, организации могут классифицировать транзакции как настоящие или мошеннические, используя исторические данные о поведении клиентов.

Регрессия

Это так же тип алгоритма обучения с учителем. Он позволяет предсказать реальные значения на основе особенностей, присутствующих в обучающих данных.

В отличие от классификации, где есть присвоение классов, регрессия фокусируется на оценке непрерывных и числовых значений. Результатом является значение на прямой числовой линии, которое представляет прогнозируемый результат на основе заданных признаков.

Кластеризация

Это тип алгоритма обучения без учителя. 

В отличие от классификации и регрессии, кластеризация не предполагает присвоения заранее определенных меток или прогнозирования значений. Вместо этого она группирует точки данных на основе сходства их характеристик.

Цель состоит в том, чтобы выявить закономерности и взаимосвязи внутри данных.

Кластеризация особенно полезна, когда есть неразмеченная информация и необходимо обнаружить скрытые структуры.

Например, ее часто используют на стриминговых сервисах для выявления зрителей с похожим поведением и предпочтениями.

Нейронные сети

Нейронная сеть — это математическая модель, работающая по принципу человеческого мозга. Она обучается путем первичной обработки большого набора данных, не требуя написания отдельного кода под конкретную задачу.

Нейросети способны искать закономерности в неструктурированной информации и решать множество задач практически во всех областях. Например, их используют для распознавания и генерации изображений, речи и языка, обнаружения объектов, идентификации лиц и перевода текста.

Что такое нейронные сети и где их используют?

21.08.2023

30 мин

9476

читать

Применение машинного обучения в различных областях

Машинное обучение оказало преобразующее влияние на различные отрасли, произведя революцию в традиционных процессах и проложив путь к инновациям.

Медицина и здравоохранение

В здравоохранении машинное обучение используется для прогнозирования вспышек заболеваний, персонализации планов лечения пациентов и повышения точности медицинских изображений. Также технология помогает обнаруживать опухоли на рентгеновских снимках и открывать новые лекарства.

Кроме того, МО применяется при разработке нейроинтерфейсов.

Финансы и банковское дело

Финансовый сектор также получил большую выгоду от машинного обучения. Технология используется для кредитного скоринга, алгоритмической торговли и обнаружения мошенничества.

По данным специалистов Kroll, 56% руководителей компаний заявили, что внедрили ИИ и МО в системы для борьбы с финансовыми преступлениями.

Машинное обучение также помогает банкам и производителям кредитных карт обнаруживать мошеннические транзакции. Анализируя закономерности нормального и аномального поведения, алгоритмы способны фиксировать подозрительную активность в режиме реального времени.

Транспорт

Машинное обучение лежит в основе революции беспилотных автомобилей.

Компании вроде Tesla, Waymo и Cruise используют алгоритмы МО для интерпретации данных датчиков в режиме реального времени. Это позволяет робомобилям распознавать объекты, принимать решения и самостоятельно перемещаться по дорогам.

Также в марте 2023 года стало известно, что Транспортная администрация Швеции привлекла специалиста по компьютерному зрению и машинному обучению компании Univrses для оптимизации управления дорожной инфраструктурой страны.

Индустрия развлечений и игр

Одно из наиболее заметных применений машинного обучения — это рекомендательные системы. 

Стриминговые сервисы, включая Netflix или Spotify, и компании вроде Amazon, используют алгоритмы для анализа поведения и предпочтений клиентов. На основе этих данных они рекомендуют фильмы, музыку и товары, которые могут понравиться пользователям.

Еще одним из наиболее ярких примеров применения машинного обучения являются виртуальные помощники вроде Siri от Apple, Alexa от Amazon или Google Assistant. Каждый из них в значительной степени полагается на МО для распознавания голоса, понимания естественного языка и ответов на запросы.

Социальные сети с помощью машинного обучения решают множество разных задач: от персонализации ленты до фильтрации нежелательного контента.

Разработчики игр внедряют античит-системы на базе МО. Например, программа Ricochet от Activision может скрывать честных геймеров от жуликов, обезоруживать нарушителей и обнаруживать подключенные сторонние устройства, влияющие на геймплей. 

Также машинное обучение используют для улучшения изображений в играх.

Инструменты и библиотеки для машинного обучения

В сфере МО наличие правильных инструментов так же важно, как и понимание концепций. Они включают языки программирования и библиотеки, которые предоставляют строительные блоки для реализации и развертывания алгоритмов машинного обучения.

Некоторые из самых популярных МО-инструментов:

• язык программирования Python. Он включает множество библиотек для машинного обучения вроде NumPy, Matplotlib и Scikit-learn;
• язык программирования R, который часто используют для статистического анализа. Он имеет богатую экосистему пакетов, которые упрощают реализацию алгоритмов МО;
• библиотека с открытым исходным кодом TensorFlow. Она позволяет создавать и обучать сложные нейронные сети;
• открытая библиотека Keras, написанная на языке Python. Она обеспечивает взаимодействие со сложными нейронными сетями;
• библиотека машинного обучения с открытым исходным кодом PyTorch. Она поддерживает широкий спектр задач: от компьютерного зрения до обработки естественного языка.

Объективны ли алгоритмы машинного обучения?

Качество и объем тренировочных данных напрямую влияют на задачи, для которых они подходят. Общество обеспокоено тем, как системы машинного обучения кодифицируют человеческие предубеждения и социальное неравенство, отраженные в обучающих данных.

В 2016 году сотрудница Национального научного фонда с факультета лингвистики Вашингтонского университета Рэйчел Татман обнаружила, что система распознавания речи Google лучше работает с мужскими голосами, чем с женскими во время автоматического добавления субтитров к видео на YouTube. Она объяснила результат исследования «несбалансированными тренировочными датасетами» с преобладанием говорящих мужчин.

Также в 2023 году эксперт по этике из Hugging Face Саша Лучони разработала инструмент для демонстрации предвзятости ИИ-генератора изображений Stable Diffusion.

По ее данным, алгоритм чаще изображает генеральных директоров мужчинами. Однако, если добавить дескриптор «сострадательный» или «поддерживающий», нейросеть с большей вероятностью нарисует в роли CEO женщину.

Согласно исследованию ученых из Техасского университета в Остине, даже «избавленные» от дискриминации рекрутинговые ИИ-алгоритмы проявляют предвзятость.

Помимо предубеждений, алгоритмы генерации изображений также обвиняются в нарушении конфиденциальности и авторского права.

В январе 2023 года трое художников подали коллективный иск против ИИ-компаний Stability AI, Deviant Art и Midjourney. По их словам, разработчики генераторов изображений использовали защищенные картинки для обучения своих алгоритмов.

Системы распознавания лиц также не лишены предвзятости. Они часто сталкиваются с трудностями идентификации женщин и людей с темной кожей.

Вопросы об этичности использования таких потенциально предвзятых систем привели к тому, что крупные технологические компании временно приостановили их продажу правоохранительным органам.

В 2020 году корпорация Amazon запретила полиции США использовать программное обеспечение для распознавания лиц в разгар протестов против жестокости правоохранительных органов. Спустя год компания продлила мораторий на неопределенный срок.

По мере того, как алгоритмы машинного обучения переходят в новые области, такие как помощь в диагностике заболеваний, возможность смещения систем в сторону предоставления более качественных услуг или более справедливого лечения определенных групп людей становится все более серьезной проблемой.

На сегодняшний день продолжаются исследования способов снижения предвзятости в моделях ИИ и МО.

Будущее машинного обучения

Машинное обучение больше не является понятием научной фантастики — это индустрия стоимостью более $26 млрд.

МО является ключевым фактором автоматизации. Обучаясь на данных и совершенствуясь с течением времени, алгоритмы способны выполнять работу, которую раньше делали вручную, позволяя людям сосредоточиться на более сложных и творческих задачах. Это не только повышает эффективность, но и открывает новые возможности для инноваций.

МО уже трансформирует то, как люди понимают и используют огромные массивы данных для широкого спектра целей. От поддержки передовых исследований рака до помощи предприятиям в отслеживании запасов — технология позволяет заменять и улучшать существующие процессы практически в каждом сегменте общества.

Достижения в области компьютерного зрения ускоряют развитие систем распознавания лиц и беспилотных автомобилей, робокурьеров и дронов. Улучшение технологии обработки естественной речи напрямую влияет на эволюцию языкового перевода, чат-ботов и голосовых ассистентов.

Следующим шагом ожидается слияние машинного обучения и квантовых вычислений. Это позволит улучшить анализ данных и получить более глубокое их понимание. Повышение производительности поможет компаниям достичь лучших результатов, чем при использовании более традиционных методов МО.

На момент написания  не существует коммерчески готовой модели квантового машинного обучения, но крупные бизнесы уже инвестируют в эту технологию.

Также ожидается, что в течение следующих нескольких лет появится больше мультимодальных алгоритмов для одновременного выполнения нескольких задач.

В ближайшем будущем произойдет значительный прогресс в распределенном машинном обучении, где работающие с данными ученые больше не будут изобретать алгоритмы с нуля для каждой платформы. Они смогут немедленно интегрировать свою работу в новые системы и испытать переносимость моделей.

Заключение

От здравоохранения и финансов до транспорта и развлечений — алгоритмы МО способствуют инновациям и повышению эффективности в различных секторах.

Машинное обучение — не просто модное словосочетание. Это мощный инструмент, трансформирующий образ жизни и работу общества.

Понимая, что такое МО, как оно работает и с чего начать изучение, можно сделать первый шаг к будущему и использовать возможности технологии для решения сложных проблем и оказания реального влияния.