Формирование и подготовка данных для аналитической обработки
Получение практических навыков исследовательского анализа данных, оценки качества источника и разработки интерактивного аналитического приложения.
В качестве исходных данных используется набор music_tracks в необработанном виде.
Разработанный алгоритм очистки данных используется при реализации инкрементальной загрузки STAGING → ODS в лабораторной работе №1 по дисциплине «Администрирование больших данных».
Также, очень важный момент: Python-приложение для обеих дисциплин должно быть одно: функционал загрузки данных из дисциплины «Администрирование больших данных» должен быть вынесен в отдельный модуль Python-приложения «Высокопроизводительная обработка и анализ данных».
Таким образом, результат данной лабораторной работы является входным артефактом для следующего этапа построения хранилища данных.
Необходимо разработать интерактивный аналитический дэшборд с использованием Streamlit.
Дэшборд должен являться единым приложением, которое будет последовательно развиваться в рамках последующих лабораторных работ дисциплины.
В рамках первой лабораторной работы необходимо реализовать страницу:
На странице должен быть представлен исследовательский анализ исходного набора данных music_tracks.
Состав конкретных показателей и визуализаций обучающийся определяет самостоятельно.
Страница должна содержать:
Простого вывода исходных данных и построения нескольких графиков недостаточно.
Обучающийся должен продемонстрировать понимание структуры и качества исследуемого источника.
В заключительной части страницы должен быть сформирован отдельный раздел:
В данном разделе необходимо описать выявленные проблемы источника и способы их обработки.
Для каждого выявленного типа проблемы необходимо определить:
Например:
| Проблема | Критерий выявления | Способ обработки |
|---|---|---|
| Пропущенное значение | Значение NULL в обязательном атрибуте |
Исключение записи или заполнение значения |
| Дубликат | Совпадение набора ключевых атрибутов | Сохранение одной записи |
| Некорректное значение | Значение выходит за допустимый диапазон | Исправление либо исключение |
| Несогласованная категория | Несколько вариантов записи одного значения | Приведение к единому представлению |
Разработанный алгоритм должен быть пригоден для последующей программной реализации.
По результатам выполнения лабораторной работы должны быть представлены: