¶ Организация
Рейтинг по дисциплине (действует кросс-проверка между Гуненковым М. Ю. и Бугаенко И. Е.)
¶ Лекционные материалы
¶ Введение
¶ Обработка последовательностей
- Знакомство с рекуррентными нейронными сетями. Архитектуры LSTM и GRU
- Архитектура Encoder-Decoder. Задача машинного перевода
¶ Трансформеры и альтернативные подходы
- Архитектура Transformer. Attention is all you need
- Transfer Learning Трансформеров (BERT, GPT)
- Решение прикладных задач NLP
- Модели пространства состояний (SSM, Mamba)
- Продвинутые архитектуры рекуррентных нейронных сетей (xLSTM)
¶ Большие языковые модели и AI-агенты
- Основы LLM и RAG
- Механизм рассуждений в LLM
- Разработка AI-агентов на основе LLM
¶ Тематическое моделирование
- Введение в тематическое моделирование. EM-алгоритм. Регуляризаторы
- Тематическое моделирование с использованием аддитивной регуляризации и трансформеров
¶ Приложения
- Рекомендательные системы и NLP
- Введение в распознавание и синтез речи
¶ Лабораторные работы (60 баллов)
| № | Материалы ЛР | Баллы |
|---|---|---|
| 1 | Python и введение в PyTorch. Полносвязная нейронная сеть | 5 баллов |
| 2 | Классификация текстов с применением RNN | 15 баллов |
| 3 | Архитектура Трансформер. Обучение генеративного трансформера (GPT) | 20 баллов |
| 4 | Решение прикладных задач NLP | 10 баллов |
| 5 | Тематическое моделирование новостных статей | 10 баллов |
¶ Практические задачи (20 баллов)
- Парсинг данных с hh.ru (5 баллов)
- Реализация Word2Vec (Skip Gram / CBoW) (5 баллов)
- Реализация внимания в RNN (5 баллов)
- Тематическое моделирование средствами sklearn и gensim (5 баллов)
¶ Домашнее задание (20 баллов)
Обязательно для зачёта на любую оценку
Скоро тут что-то будет
¶ Преподаватели
- Михаил Юрьевич Гуненков
- Иван Евгеньевич Бугаенко