Развертывание и конфигурирование среды хранения данных
Получение практических навыков проектирования многослойного хранилища данных, организации процессов загрузки данных и реализации инкрементального обновления данных.
В качестве источника используется набор данных music_tracks.
Исходный набор данных должен быть загружен обучающимся в таблицу базы данных с использованием языка Python.
Допуск к реализации этапа очистки данных осуществляется после выполнения исследовательского анализа данных в рамках лабораторной работы №1 по дисциплине «Высокопроизводительная обработка и анализ данных».
Правила очистки данных должны соответствовать проблемам, выявленным при исследовательском анализе источника.
Необходимо спроектировать и реализовать первую версию хранилища данных для предметной области музыкальных композиций.
Архитектура решения должна включать следующие уровни хранения данных:
STAGING;ODS;Реализовать программный модуль на языке Python, выполняющий загрузку предоставленного набора данных music_tracks в таблицу-источник базы данных.
Структура исходной таблицы должна обеспечивать хранение данных в максимально близком к исходному набору виде.
Создать таблицу слоя STAGING, предназначенную для промежуточного хранения данных источника.
Реализовать функцию без входных параметров, выполняющую перенос данных из таблицы-источника в таблицу слоя STAGING.
На данном этапе данные должны переноситься as is (то есть, как она есть без изменений, целиком и полностью), без очистки и содержательных преобразований.
Создать таблицу слоя ODS, предназначенную для хранения очищенных и подготовленных данных.
Реализовать процедуру или функцию инкрементальной загрузки данных из слоя STAGING в слой ODS.
Функция должна принимать параметры:
p_sdt — начало обрабатываемого периода;
p_edt — конец обрабатываемого периода.
Алгоритм загрузки должен включать следующие этапы:
ODS ранее загруженных данных за период [p_sdt; p_edt];STAGING за указанный период;ODS.Повторный запуск функции с одинаковыми параметрами не должен приводить к появлению дублирующихся данных.
Рекомендуется использовать временные объекты при выполнении работы.
Алгоритм очистки должен быть сформирован на основании результатов исследовательского анализа данных, выполненного в рамках лабораторной работы по дисциплине «Высокопроизводительная обработка и анализ данных».
Необходимо реализовать обработку выявленных ранее проблем качества данных, например:
Конкретный набор правил определяется обучающимся на основании проведенного анализа.
На основании очищенных данных слоя ODS спроектировать аналитическое хранилище данных с использованием схемы типа «снежинка».
Необходимо:
ODS в разработанное хранилище.По результатам выполнения лабораторной работы должны быть представлены:
STAGING;ODS;STAGING;STAGING → ODS;ODS → DWH;