Какие же основные этапы мы можем предусмотреть в таком проекте:
1) Анализ проекта и аудит процесса as-isи to-beс написанием соответствующего ТЗ.
2) Анализ возможностей и вариантов исполнения ТЗ с учетом внутренних и внешних факторов.
3) Моделирование проекта с учетом финансовых и проектных рисков, построение ТЭО.
4) Поиск и выбор Исполнителей, актуализация и согласование всех существенных условий.
5) Реализация проекта с контролем целевых показателей и сроков, а также с последующим мониторингом ключевых КПЭ.
В целом указанные этапы являются для многих очевидными, поэтому давайте поподробнее разберемся с Исполнителями и спецификой исполнения такого проекта.
Не считая руководства Нам потребуется функционал следующих сотрудников:
1. Дата аналитик / Бизнес-аналитик / Внутренний аудитор / эксперт для целей анализа и описания процессов и формирования ТЗ и Методолог для целей обучения и формирования инструкций. Дата аналитик должен уметь пользоваться таблицами (Excel, Rlanguageи т.п.) для анализа данных, инструментами визуализации и бизнес-аналитики (Tableau, PowerBI, Metabase и т.п.), владеть методами поиска, получения и очистки исходной информации (Rlanguage, Python, SQL, PowerQuery). Основной навык заключается в поиске закономерностей, отклонений с последующим формированием моделей и предложений на базе проведенных исследований с презентацией результатов.
2. Датасайнтист (учёный по данным) для написания исходного скрипта, должен разбираться в математике (мат. анализ, мат. статистика, численные методы и т.п.), библиотеках (CRAN, NymPy, Pandas, PyTorch и т.п.) и скриптах (Python, R, C#, Java и т.п.). Таким образом Датасайнтист анализирует, формулирует и предлагает техническое решение для утвержденной задачи.
Как я описывал ранее низкоуровневое программирование (создание скрипта с нуля) в современном мире уже не практикуется, все используют готовые библиотеки (считай готовый скрипт) для решения технических задач.
3. Датаинженер (программист) для осуществления интеграции алгоритма / решения в IT систему организации, полученного от Датасайнтиста. Он должен правильно подать данные на вход (скрипта), встроить результат (работы скрипта) в проект, обеспечить эффективное использование ресурсов системы. Необходимо учитывать, что Датаинженеру нужно интегрировать сценарии в отчёты, базы данных, потоки данных, инфраструктуру. Он так же должен обеспечить построение новых уровней абстракции (эффективную оркестровку системы), гибкость и требуемый уровень производительности и масштабируемости.
От эффективности работы Датаинженера будет зависеть эффективность, результативность и экономичность системы. Без учета масштабируемости системы Заказчик может столкнуться с непреодолимым вызовом, когда нагрузки на систему возрастут. Бюджет проекта так же может очень сильно изменяться в зависимости от выбранного решения (например, собственные мощности или облака).
Датаинженер соответственно должен разбираться в языках программирования (Python, R, C#, Java и т.п.), уметь работать с базами данных (MySQL, NoSQL и т.п.), где хранится исходная информация, программы распределенной обработки данных (Hadoop, Sparkи т.п.) для того, чтобы использовать разные сервера, компьютеры, кластеры для обработки больших объемов данных. Плюсом будут так же познания в спецификах сбора данных через датчики и IoT (Интернет вещей).
В следующей статье мы подробно остановимся на требованиях к системам. Если Вы заинтересованы во внедрении программных решений, проведении Цифровизации отдельных блоков бизнеса в Вашей компанией, то я с удовольствием помогу в реализации таких проектов. Прошу обращаться ко мне через мой сайт: http://akonnov.ru/ или через мой Телеграм канал: https://t.me/biz_in