Формирование и подготовка данных для аналитической обработки
Получение практических навыков исследовательского анализа данных, оценки качества источника и разработки интерактивного аналитического приложения.
В качестве исходных данных используется набор music_tracks в необработанном виде.
Разработанный алгоритм очистки данных используется при реализации инкрементальной загрузки STAGING → ODS в лабораторной работе №1 по дисциплине «Администрирование больших данных».
Также, очень важный момент: Python-приложение для обеих дисциплин должно быть одно: функционал загрузки данных из дисциплины «Администрирование больших данных» должен быть вынесен в отдельный модуль Python-приложения «Высокопроизводительная обработка и анализ данных».
Таким образом, результат данной лабораторной работы является входным артефактом для следующего этапа построения хранилища данных.
Необходимо разработать интерактивный аналитический дэшборд с использованием Streamlit.
Дэшборд должен являться единым приложением, которое будет последовательно развиваться в рамках последующих лабораторных работ дисциплины.
В рамках первой лабораторной работы необходимо реализовать страницу:
На странице должен быть представлен исследовательский анализ исходного набора данных music_tracks.
Состав конкретных показателей и визуализаций обучающийся определяет самостоятельно.
Страница должна содержать:
Простого вывода исходных данных и построения нескольких графиков недостаточно.
Обучающийся должен продемонстрировать понимание структуры и качества исследуемого источника.
В заключительной части страницы должен быть сформирован отдельный раздел:
В данном разделе необходимо описать выявленные проблемы источника и способы их обработки.
Для каждого выявленного типа проблемы необходимо определить:
Например:
| Проблема | Критерий выявления | Способ обработки |
|---|---|---|
| Пропущенное значение | Значение NULL в обязательном атрибуте |
Исключение записи или заполнение значения |
| Дубликат | Совпадение набора ключевых атрибутов | Сохранение одной записи |
| Некорректное значение | Значение выходит за допустимый диапазон | Исправление либо исключение |
| Несогласованная категория | Несколько вариантов записи одного значения | Приведение к единому представлению |
Разработанный алгоритм должен быть пригоден для последующей программной реализации.
По результатам выполнения лабораторной работы должны быть представлены:
Разработка процессов преобразования и представления данных
Получение практических навыков анализа результатов обработки данных, исследования синтетических наборов данных, проверки согласованности аналитической информации и развития интерактивного аналитического приложения.
В качестве исходных данных используется набор music_tracks, а также результаты выполнения лабораторных работ №1 и №2 по дисциплине «Администрирование больших данных».
Необходимо продолжить работу над Streamlit-приложением, разработанным в рамках лабораторной работы №1 по дисциплине «Высокопроизводительная обработка и анализ данных».
Для выполнения лабораторной работы используются хранилище данных SOURCE → STAGING → ODS → DDS, генератор синтетических данных и аналитическая витрина, разработанные в рамках дисциплины «Администрирование больших данных».
Результаты работы должны позволять оценить изменения качества данных в процессе их обработки, сравнить исходные и синтетические данные, а также проверить корректность переноса аналитической витрины из одной СУБД в другую.
ВАЖНО! Python-приложение для обеих дисциплин должно оставаться единым. Программные модули генерации и загрузки данных, реализованные в рамках дисциплины «Администрирование больших данных», должны использоваться в том же проекте, что и Streamlit-дэшборд. Ранее разработанная страница «Исследовательский анализ данных» должна сохранять работоспособность.
Необходимо расширить существующий интерактивный аналитический дэшборд, разработанный с использованием Streamlit.
В рамках второй лабораторной работы необходимо реализовать новую страницу:
На странице должен быть представлен сравнительный анализ данных, сформированных и обработанных в рамках лабораторных работ по дисциплине «Администрирование больших данных».
SOURCE, STAGING и ODS;music_tracks и сформированными синтетическими данными;dt;DDS;При сравнении количества записей необходимо учитывать структуру и уровень детализации таблиц. Например, количество строк таблиц измерений DDS не обязано совпадать с количеством записей в SOURCE или ODS.
Состав конкретных показателей и визуализаций обучающийся определяет самостоятельно.
Страница должна содержать:
SOURCE, STAGING и ODS;dt или сформированным партиям загрузки;Информация на странице должна формироваться на основании фактических данных разработанной системы, а не заранее подготовленных статических значений.
Простого отображения количества записей и нескольких графиков недостаточно. Обучающийся должен продемонстрировать понимание причин изменения данных в процессе их обработки.
На данном этапе не требуется реализовывать пользовательский запуск процессов загрузки данных через Streamlit. Интерфейс управления загрузками будет разработан в последней лабораторной работе.
В заключительной части страницы должен быть сформирован отдельный раздел:
В данном разделе необходимо представить результаты проверки корректности переноса аналитической витрины из одной СУБД в другую.
Для каждого проверяемого показателя необходимо определить:
Например:
| Проверяемый показатель | Исходная СУБД | Целевая СУБД | Результат проверки |
|---|---|---|---|
| Количество записей в витрине | Рассчитанное значение | Рассчитанное значение | Совпадает / не совпадает |
| Количество уникальных композиций | Рассчитанное значение | Рассчитанное значение | Совпадает / не совпадает |
| Агрегированный аналитический показатель | Рассчитанное значение | Рассчитанное значение | Совпадает / не совпадает |
При сравнении данных необходимо учитывать возможные различия типов данных и точности вычислений между СУБД.
Если приложение отображает количество исправленных или отклонённых записей, эти показатели должны рассчитываться по фактически сохранённым результатам обработки или журналу качества данных. Не допускается представлять предположительные значения как результаты выполненной загрузки.
По результатам выполнения лабораторной работы должны быть представлены: