Вступление
Сейчас термин машинное обучение можно услышать буквально на каждом шагу. ML крепко занял свое место как в новостных трендах, так и на рынке труда и в сфере автоматизации. Отовсюду доносятся истории успешного внедрения “Искусственного Интеллекта” в те или иные процессы компаний, а профессия data scientist обретает титул “The Sexiest Job of the 21st Century”.
При этом, несмотря на огромную популярность, ML остаётся довольно труднодоступной для комплексного понимания темой, в силу своей сложности, новизны, и высокой скорости роста (что порождает кучу мифов) и оставляет множество вопросов без ответа для людей, пытаются разобраться в этой теме.
Основная цель этой серии статей — доступным языком рассказать о том, что такое ML, где и как оно применяется, какие задачи решает, и развеять несколько мифов, связанных с этим термином, но самое главное — это познакомить с базовыми понятиями и концепциями, необходимыми для реализации своего ML проекта. В этой статье мы рассмотрим, что такое машинное обучение, дадим основные определения Machine Learning, узнаем из каких этапов состоит реализация ML проекта и какие задачи можно решать при помощи ML.
Мы начнём с основных понятий и будем постепенно углубляться в суть вещей, но сначала — рассмотрим следующий пример.
Допустим, есть агентство, которое перепродает автомобили, и существует потребность в программе, которая на основе информации об автомобиле может предсказать его стоимость на рынке (за сколько её можно будет перепродать). Компания хочет анализировать большое количество объявлений с различных сайтов объявлений и первой реагировать на выгодные объявления (меньше чем за секунду после того, как они появятся). Но в день появляется огромное количество объявлений на различных ресурсах, и отследить их вручную практически невозможно.
Для решения этой задачи мы хотим разработать программного помощника, который за нас перебирал бы объявления и находил подходящие нам. Он бы предсказывал цены на авто на вторичном рынке, и, если его цена выше, чем та, за которую мы можем это авто купить, — это объявление отправляется эксперту на рассмотрение. (Читать подробнее про кейс).
Тогда для решения задачи нам понадобится:
- Четко сформулировать задачу (построить алгоритм прогнозирования цены автомобиля на вторичном рынке на основе его свойств).
- Собрать имеющиеся у нас данные об автомобилях, хранящиеся на сайтах с объявлениями. На основе этих данных мы будем обучать алгоритм и строить прогнозы
- Сделать предобработку данных (привести данные в табличный вид, очистить, обогатить данные, обработать пропуски)
- Построить предиктивную модель
- Разработать программную инфраструктуру под эту задачу и интегрировать в нее наш алгоритм из пункта 4)
Реализовав эти шаги, мы получим программу, которая сама собирает объявления о продаже автомобилей с площадок объявлений, анализирует их и передает эксперту только те, что с большой вероятностью являются финансово выгодными.
Как видно, ML — это не волшебная палочка, которая сама по себе решает любую задачу, а комплексный инструмент, который также требуется правильно интегрировать, не говоря уже о процессе исследования и разработке самих ML алгоритмов.
Этот пример показывает, как можно использовать ML в автоматизации бизнес-процессов, а также, что более важно, этот пример демонстрирует основные пункты (1-5) разработки ML проекта. Следует учитывать, что несмотря на кажущуюся простоту, реализация ML проекта — это комплексная и довольно сложная задача. Чтобы получить более глубокое представление о том, что такое Машинное Обучение, — предлагаем ознакомиться со следующей статьей «Что такое AI, ML Data и Science?»
А пока что, можете ознакомиться с реализованными нашей командой ML проектами: https://am-bits.com/solutions/analytics-projects
