Из прошлой статьи мы уяснили, что инструментарий DataScience (далее DS) и современные вычислительные мощности позволяют обращать BigData (большие данные) в набор полезных прикладных инструментов, которые помогают осуществлять прогнозирование, оптимизировать бизнес-процессы, формировать уникальные клиентские предложение и еще много чего (рекомендую прочитать предыдущую статью: DataScience, часть 2).
В этой статье мы узнаем про основные этапы реализации проекта в области DS.
Рассмотрим сегодня основные шаги в процессе применения инструментов DSдля целей разработки требуемого продукта:
1. Подготовка данных, как правило неструктурированных, а именно очистка, форматирование, выявление основных признаков. Необходимо помнить, что подготовка данных сильно улучшает и упрощает процесс создания модели. Так же на данном этапе важным является выявление событий и признаков (свойств событий) в структуре данных. Выражение данной структуры может быть реализовано, например через использование таблиц.
2. Формализация задачи. Постановка задачи на базе собранных данных (разметка данных), например:
А) Предсказание
Б) Структурирование
В) Оптимизация
3. Выбор алгоритмов и критериев оценки качества модели. Т.е. каким образом мы поймем, что модель работает и удовлетворяет Нас по уровню качеству.
4. На основании проделанной работы строится модель, которая требует обучения. Под обучением подразумевается настройка параметров алгоритмов, а также установка весов и решения об использовании или неиспользовании отдельных признаков. Как правило обучение представляет из себя некий цикл, во время которого итеративно прогоняется модель с изменением базовых параметров, в т.ч. добавлению, исключению параметров, изменению весов до получения обученной модели.
5. На выходе мы получаем обученную модель или набор разных обученных моделей. Обученная не значит отвечающая требуемым критериям качества, соответственно переходим на следующий шаг.
6. Оценка модели, которая представляет из себя сравнение моделей или получение модели по заданным критериям эффективности. При этом реализация в DSзадачи это творческий процесс и невозможно до конца быть уверенным, что задача решена наиболее успешным и эффективным способом. Оценка может осуществляться как силами Исполнителя, так и силами Заказчика в зависимости от специфики проекта.
7. Эксплуатация модели представляет из себя использование модели для заявленных целей. Например, мы можем успешно прогнозировать поведение клиентов, необходимый объем закупа, формировать индивидуальное коммерческое предложение, выявлять оптимальный портфель заказов на производстве и т.п. Главным критерием является то, что модель должна работать быстро, удобно и наглядно.
8. Выбранная модель может в дальнейшем использоваться отдельно или встраиваться в определённые программы. Так же необходимо понять и разработать инструменты по контролю эффективности дальнейшей работы модели и ее верификации.
Если Вы заинтересованы в развёртывании Центра компетенций по DS в Вашей компанией, то я с удовольствием помогу в реализации таких проектов. Прошу обращаться ко мне через мой сайт: http://akonnov.ru/ или через мой Телеграм канал: https://t.me/biz_in