Стохастическое программирование

О. Н. Граничин, А.А.Бояров, А.А. Сенов

Лекции для студентов 4 курса, весна 2014:

12.02 – 1. Введение (Структура курса. Сложные системы, стохастичность, самоорганизация. Развитие средств вычислительной техники)

12.02 – 2. Оптимизация функционала среднего риска. Алгоритмы стохастической аппроксимации. Рандомизированные алгоритмы

19.02 – 1. Постановка задачи обучения. Виды обучения. Примеры алгоритмов обучения с учителем 

19.02 – 2. Переобучение. Примеры алгоритмов обучения с учителем (продолжение). О выполнении практических заданий. Задание 1

26.02 – 1. Сведения из ТВ и теории оценивания

26.02 – 2. Аппроксимация одной случайной величины семейством других. Условное математическое ожидание. Линейная регрессия.

05.03 – 1. Оценивание по конечному числу наблюдений, Теорема Гаусса-Маркова

05.03 – 2. Рекуррентные модификации МНК

12.03 – 1. Введение в кластеризацию. Алгоритм k-средних 

12.03 – 2. EM алгоритм. Статистическая проверка гипотез. Задание 2

19.03 – 1. Оптимальная фильтрация. Фильтр Винера-Колмогорова

19.03 – 2. Фильтр Калмана-Бьюси

26.03 – 1. Элементы теории оценивания. Метод эмпирического функционала. Байесовские оценки

26.03 – 1. Элементы теории оценивания. Метод максимума правдоподобия . Достижимая точность оценивания

02.04 – 1. Метод стохастической аппроксимации. Рандомизированные алгоритмы стохастической аппроксимации. Задание 3

02.04 – 2. Спектральная кластеризация. Сигма-обучение

09.04 – 1. Устойчивость кластеризации.

09.04 – 2. Критерии устойчивости. Вероятностные метрики

16.04 – 1. Метрики с ядрами. 

16.04 – 2. Метод минимального остовного дерева. Задание 4

23.04 – 1. Биномиальная модель. Метод ближайших соседей. Метрика Хоттелинга

23.04 – 2. Устойчивость кластеризации как задача оптимизации. Рандомизированный алгоритм устойчивой кластеризации

30.05 – 1. Примеры применения алгоритмов кластеризации в различных проектах. Разбор решений задач

07.05 – 1. Заключение. Подведение итогов

Санкт-Петербург

2014

Литература:

Основная

1. Граничин О.Н. "Введение в стохастические методы оптимизации и оценивания". –СПб.: Изд-во СПбГУ, 2003, 131 c.

2. Граничин О.Н., Поляк Б.Т. Рандомизированные алгоритмы оценивания и оптимизации при почти произвольных помехах. – М.: Hаука. 2003. 291с.

3. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. – М.: Hаука. 1979. 447с.

Дополнительная

1. Фомин В.Н. “Рекуррентное оценивание и адаптивная фильтрация”. М.: Наука, 1984, 288 с.

2. Kushner H.J., Yin G.G. “Stochastic Approximation and Recursive Algorithms and Applications”. – Springer. 2003. 475 p.

3. Spall J.C. “Introduction to Stochastic Search and Optimization”. – Wiley-Interscience. 2003. 597 p.

4. Borkar V.S. “Stochastic Approximation”. – Cambridge Univ. Press. 2008. 164 p.

5. Катковник В. Я. Линейные оценки и стохастические задачи оптимизации. М.: Наука, 1976

6. Webb A. Statistical pattern recognition. Wiley. 2002.

7. Кибзун А.И., Горяинова Е.Р., Наумов А.В. Теория вероятностей и математическая статистика. Базовый курс с примерами и задачами. М.: Физматлит, 2005.