Изучите примеры построения решающих деревьев из следующих ноутбуков: lab4_ex1_base_dtsensembles.ipynb, lab4_ex2_drs_classifier_gini+entropy.ipynb, lab4_ex3_drs_classifier+pycaret.ipynb, lab4_ex4_dts_regression+pycaret.ipynb, lab4_ex5_drs_classifier_decrules.ipynb, lab4_ex6_sketchboost_experiments.ipynb.
В соответствии с индивидуальным вариантом загрузите предобработанные датасеты для задач регрессии и классификации (которые у вас получились в первой лабораторной работе) в рабочую область. Выделите целевой и входные признаки. Разбейте данные на обучающую и тестовую выборки (обязательно используйте стратификацию для задачи классификации).
Решите задачи регрессии и классификации, используя модели решающих деревьев из библиотеки sklearn: DecisionTreeRegressor и DecisionTreeClassifier соответственно. Визуализируйте построенные деревья.
Для каждой модели подберите гиперпараметры, используя фреймворк Optuna.
При подборе гиперпараметров обязательно используйте технику кросс-валидации (можно использовать функцию
cross_val_score, а можно классKFold)
Оцените качество полученных моделей при помощи известных вам метрик регрессии и классификации. Проинтерпретируйте полученные результаты.
Решите задачи регрессии и классификации, используя модели ансамблей из библиотеки sklearn:
BaggingRegressor;BaggingClassifier;GradientBoostingRegressor;GradientBoostingClassifier;StackingRegressor;StackingClassifier.Также обучите модели градиентного бустинга, используя специализированные библиотеки: CatBoost, XGBoost и LightGBM.
Для каждой модели подберите гиперпараметры, используя фреймворк Optuna, не забудьте про кросс-валидацию. Вычислите метрики качества.
Не забудьте вычислить метрики качества для собственной реализации.
Bagging и Stacking;GradientBoosting.Не забудьте вычислить метрики качества для собственной реализации.
Напишите вывод о проделанной лабораторной работе, в котором перечислены лучшие модели регрессии и классификации, а также обоснование, почему вы так считаете.
ОПЦИОНАЛЬНО (можно не делать). Сравните полученные результаты обучения ваших моделей ML с результатами, полученными с помощью библиотеки PyCaret (самостоятельно изучите ее функционал). Обратите внимание на сгенерированные таблицы (и их содержание) как результаты работы алгоритмов ML посредством PyCaret.