Microsoft Power Query (PQ) для эффективной работы с внешними данными

Суть PQ заключается в том, что Вы можете полноценно собирать, управлять, изменять, анализировать и проводить сверки данных из многих источников. PQ позволяет получить и собирать данные из различных источников (например csv, xls, текстовых файлов, папок файлами, самых разных баз данных и многих других). Так же PQ позволяет создавать повторяемые последовательности обработки этих данных и загружать их внутрь таблиц Excel или самой data model.
Отдельным преимуществом PQ является обработка разрозненных данных. Например, в следующих случаях:
•        Валюта отображается по-разному
•        Номера идентичных сделок имеют лишние символы в конце
•        Даты указаны в разных форматах
•        Название раздела представлено в разных форматах
•        Наличие обезличенных контрагентов
•        Наличие лишних пробелов
Вот примеры обратной связи от использования PQ от моих коллег. PQ позволил:
•        Прочитать данные «без тормозов»
•        Преобразовать данные, обогатить справочной информацией (страна регистрации, виды инструментов и т.д.)
•        Сформировать сводные таблицы приемлемого объема, проанализировать суть операций
•        Сверить сводные данные с финансовой отчетностью и между разными таблицами
·        Позволяет легко сводить вместе разные секции учета и отчетности
Краткий пример работы PQ:
1. Задаете путь к файлам, нажимаете «Refresh all»
2. Результаты контролей отображаются на «лиде» (сверка одних данных с другими)
3. На отдельных вкладках отображаются консолидированные отчеты о сверках
Основные преимущества PQ:
•        PQ является бесплатным продуктом Microsoft!
•        Вовлечение ИТ – не требуется, Power Query уже включен в Microsoft Excel
•        PQ – это не специальный инструмент для ИТ, а реальная возможность для рядовых пользователей Excel
•        PQ – это путь к началу работы с Big Data (cвязи между таблицами, группировка, «модель» и типы данных, фильтры и условия)
•        Для работы с PQ не обязательно знать язык программирования, большинство задач решаются напрямую из интерфейса*
*Для продвинутого использования PQ и формирования уникальных обработок, сложных моделей требуется владение языком программирования M.
Для тех, кто хочет разобраться в использовании данного инструмента, могу порекомендовать:
1) бесплатный курс Youtube: «Power Query. Введение. Знакомство с Power Query»
2) платный курс УЦ «Специалист» при МГТУ им. Н.Э.Баумана: «Microsoft Excel 2019/2016. Уровень 6. Бизнес - аналитика с использованием Power Pivot, Power Query и 3D Map»
3) Основные функции PQ: https://docs.microsoft.com/en-us/powerquery-m/power-query-m-function-reference