байесовские методы в машинном обучении ветров

Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/2015

Материал из MachineLearning.

Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, восстановления регрессии, уменьшения размерности, разделения смесей, тематического моделирования и др.), которые в настоящее время активно развиваются в мире. Большинство современных научных публикаций по машинному обучению используют вероятностное моделирование, опирающееся на байесовский подход к теории вероятностей. Последний позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и пр. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.

Основной задачей курса является привитие студентам навыков самостоятельного построения сложных вероятностных моделей обработки данных, используя стандартные модели в качестве своеобразных «кирпичиков». Особое внимание уделяется приближенным байесовским методам, позволяющим обсчитывать сложные вероятностные модели.

Таблица с результатами находится здесь.

Вопросы и комментарии по курсу, а также сдаваемые задания нужно отправлять на почту bayesml@gmail.com. В название письма обязательно добавлять тег [БММО15].

Формат темы письма:

Просьба не смешивать темы, то есть не нужно присылать в одном письме практическое задание и домашнее.

Содержание

Экзамен

Экзамен по курсу состоится 10 января в ауд. 510, начало в 11-00. На экзамене при подготовке билета разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. Просьба обратить внимание на теоретический минимум по курсу — незнание ответов на вопросы теор. минимума автоматически влечёт неудовлетворительную оценку за экзамен.

Расписание занятий

В 2015 году курс читается на факультете ВМиК МГУ по пятницам в ауд. 510, начало в 14-35 (лекция) и 16-20 (семинар).

Домашние задания

Задание 2. Матричные вычисления. Срок сдачи — 9 октября (пятница), 23:59.

Задание 3. Вариационный вывод. Срок сдачи — 6 ноября (пятница), 23:59.

Практические задания

Срок сдачи: 20 сентября (воскресенье), 23:59.

Распределение студентов по вариантам находится на втором листе здесь.

Прототипы функций находятся здесь, а текущий набор данных – здесь.

Срок сдачи: 8 ноября (воскресенье), 23:59.

Данные будут выкладываться 24, 27, 30 октября и 2, 5 ноября.

Срок сдачи: 13 декабря (воскресенье), 23:59.

Источник

Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов)/осень 2013

Материал из MachineLearning.

Студенты, успешно сдавшие спецкурс, могут в любое время (и в любом семестре) проставить оценки в зачетку и отрывную ведомость у Д.П. Ветрова. Наличие отрывной ведомости ОБЯЗАТЕЛЬНО!

Курс посвящен т.н. байесовским методам решения различных задач машинного обучения (классификации, прогнозирования, восстановления регрессии), которые в настоящее время активно развиваются в мире. Байесовский подход к теории вероятностей позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и проч. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.

Авторы курса: н.с. каф. ММП Ветров Д.П., м.н.с. ВЦ РАН Кропотов Д.А.. Курс читается студентам ВМиК МГУ, начиная с 2007 года. Курс не требует от студентов дополнительной математической подготовки, выходящей за пределы первых двух курсов университетского образования, все необходимые понятия вводятся в ходе лекций.

В осеннем семестре 2013 года занятия по курсу проходят по вторникам в ауд. 526б, начало в 16-20. Первое занятие 1 октября.

Вопросы и комментарии по курсу можно оставлять на вкладке «Обсуждение» к этой странице или направлять письмом по адресу bayesml@gmail.com. При этом в название письма просьба добавлять [БММО13].

Оценка за курс

В рамках курса студентам предлагается выполнить два практических задания. Выполнение этих заданий является обязательным условием для допуска к экзамену и, соответственно, успешной сдачи курса. Итоговая оценка за курс вычисляется по формуле 0.25*(оценка за первое задание)+0.25*(оценка за второе задание)+0.5*(оценка за экзамен).

Экзамен состоится 24 декабря в ауд. 524 в 1620.

Вопросы к экзамену:

1. Различные постановки задач машинного обучения.

2. Байесовский подход к теории вероятностей. Примеры байесовских рассуждений.

3. Задача выбора модели. Небайесовские методы выбора модели.

4. Задача выбора модели. Принцип наибольшей обоснованности.

5. Дифференцирование матриц и по матрице.

6. Линейная регрессия. Метод релевантных векторов.

7. Логистическая регрессия. Метод релевантных векторов для задачи классификации

8. ЕМ-алгоритм. Примеры использования.

9. Вариационный байесовский вывод.

10. Вероятностная модель смеси гауссиан.

11. Латентное размещение Дирихле.

Практические задания

Программа курса

Введение в курс. Различные постановки задач машинного обучения

Обзор задач анализа данных: классификация, регрессия, кластеризация, идентификация. Примеры. Историческая справка. Основные проблемы теории распознавания образов: переобучение, противоречивость информации, малый объем выборки. Иллюстративные примеры переобучения, связь переобучения и объема выборки. Дискриминативные и порождающие (вероятностные) модели.

Ликбез: основные понятия теории вероятностей (математическое ожидание, дисперсия, ковариационная матрица, плотность вероятности, функция правдоподобия), метод максимального правдоподобия.

Байесовский подход к теории вероятностей. Примеры байесовских рассуждений.

Частотный и вероятностный подходы к теории вероятностей. Интерпретация вероятности как меры нашего незнания, сравнение байесовских рассуждений с логическими. Байесовские сети и основные задачи в них. Пример жизненной ситуации «Джон и колокольчик для воров». Вывод формул для апостериорных вероятностей.

Ликбез: условная вероятность, формула Байеса и ее применение, формула полной вероятности.

Байесовский подход и Акинатор

Пример применения байесовских рассуждений для игры Акинатор.

Пример работы программы «Пифия»:

Задача выбора модели на примере выбора коэффициента регуляризации, ядровой функции, настройки структурных параметров алгоритма обучения. Основные методы выбора модели.

Общая постановка проблемы выбора модели, ее философский характер. Конкретные примеры структурных параметров. Кросс-валидация. Теория Вапника-Червоненкиса, емкость алгоритмов обучения. Принцип минимальной длины описания, его эквивалентность максимуму регуляризованного правдоподобия. Информационные критерии Акаике и Байеса-Шварца, область их применения.

Ликбез: теорема Шеннона и оптимальная длина описания.

Решение задачи выбора модели по Байесу. Обоснованность модели. Полный байесовский вывод.

Вывод формул для принятия решения. Принцип наибольшей обоснованности как метод максимального правдоподобия для моделей. Половинчатость данного подхода, полный вывод по Байесу. Интерпретация понятия обоснованности, ее геометрический смысл, бессмысленность сколь-угодно гибкого решающего правила, иллюстративные примеры, связь с принципом Оккама.

Ликбез: принцип Оккама, ad hoc гипотезы.

Матричные вычисления и нормальное распределение.

Дивергенция Кульбака-Лейблера, ее использование для поиска аппроксимации вероятностных распределений. Векторно-матричные преобразования, дифференцирование по вектору и по матрице. Основные матричные тождества. Одномерное и многомерное нормальное распределение, его основные свойства.

Линейная регрессия и метод релевантных векторов для задачи регрессии

Обобщенные линейные модели, вероятностная модель линейной регрессии. Метод релевантных векторов, вывод формул для регрессии. Приближение Лапласа для оценки обоснованности в случае задачи классификации, его достоинства и недостатки. Свойства решающего правила RVM.

EM-алгоритм и метод релевантных векторов для задачи классификации

Метод оптимизации Ньютона. EM-алгоритм в общем виде. EM-алгоритм как покоординатный подъем. ЕМ-алгоритм для задачи разделения смеси нормальных распределений. Логистическая и мультиномиальная регрессия. Метод релевантных векторов для задачи классификации.

Приближенные способы байесовского вывода: вариационный подход.

Приближенные методы байесовского вывода. Минимизация дивергенции Кульбака-Лейблера и факторизованное приближение. Идея вариационного подхода, вывод формул для вариационной линейной регрессии.

Ликбез: дивергенция Кульбака-Лейблера, гамма-распределение.

Приближенные способы байесовского вывода: методы Монте-Карло с марковскими цепями.

Методы Монте Карло для оценки вероятностных интегралов в байесовском подходе. Методы генерации одномерной случайной величины. Идея методов Монте Карло по схеме марковских цепей. Теоретические свойства марковских цепей. Схема Метрополиса-Хастингса. Схема Гиббса. Применение схемы Гиббса для марковских сетей. Оценка нормировочной константы распределения с помощью схемы Гиббса.

Байесовский метод главных компонент.

Задача уменьшения размерности в данных. Метод главных компонент. ЕМ-алгоритм для обучения метода главных компонент. Учет пропусков в данных. Байесовский вариант метода главных компонент для автоматического выбора размерности редуцированного пространства. Модель смеси главных компонент.

Латентное размещение Дирихле.

Задача рубрикации текстов. Вероятностная модель порождения текста как смеси тем. Применение вариационного ЕМ-алгоритма для обучения тематической модели.

Источник

Байесовские методы машинного обучения (курс лекций) / 2021

Материал из MachineLearning.

Изучение дисциплины нацелено на освоение т.н. байесовского подхода к теории вероятностей как одного из последовательных способов математических рассуждений в условиях неопределенности. В байесовском подходе вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.

Целью курса также является освоение студентами основных способов применения байесовского подхода при решении задач машинного обучения. Байесовский подход позволяет эффективно учитывать различные предпочтения пользователя при построении решающих правил прогноза. Кроме того, он позволяет решать задачи выбора структурных параметров модели. В частности, здесь удается решать без комбинаторного перебора задачи селекции признаков, выбора числа кластеров в данных, размерности редуцированного пространства при уменьшении размерности, значений коэффициентов регуляризации и проч.

Предполагается, что в результате освоения курса студенты будут способны строить комплексные вероятностные модели, учитывающие структуру прикладной задачи машинного обучения, выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей, а также эффективно реализовывать данные модели на компьютере.

Семинаристы: Максим Кодрян, Тимофей Южаков + орг. вопросы курирует Екатерина Лобачева

Контакты: по всем вопросам, связанным с курсом, просьба писать на bayesml@gmail.com. В название письма обязательно добавлять [ВМК БММО21]. Письма без этого тега могут просто не дойти до преподавателей!

У курса есть чат в телеграме. Все объявления по курсу будут вывешиваться именно в чате! Всем студентам будет отправлена ссылка на него на почту. Преподаватели в чате бывают, но не всегда. По всем важным вопросам стоит писать на почту.

Содержание

Новости

Отчётность по курсу и критерии оценки

В курсе предусмотрено несколько форм контроля знаний: 2 практических домашних задания, 3 теоретических домашних задания, 4 домашних лабораторных работы и устный экзамен. Итоговая оценка по курсу в 10-бальной шкале рассчитывается по формуле:

Итоговая оценка = 0.3 * Экз + 0.3 * Практ + 0.4 * ( 3/7 * Теор + 4/7 * Лаб ))

Кроме набора необходимого балла по формуле, для получения положительной оценки по курсу также нужно выполнить следующие обязательные условия:

Про оценивание экзамена:

Домашние задания

Примерные даты выдачи домашних заданий (они могут быть изменены!):

Экзамен

При подготовке ответа на экзамене разрешается пользоваться любыми материалами. При непосредственном ответе ничем пользоваться нельзя. Просьба обратить внимание на теоретический минимум по курсу — незнание ответов на вопросы теор. минимума автоматически влечёт неудовлетворительную оценку за экзамен. На экзамене дается час на подготовку ответа на билет, после чего вы отвечаете экзаменатору на вопросы из теоретического минимума, рассказываете билет, отвечаете на дополнительные вопросы по курсу и решаете задачи.

Вопросы к экзамену будут выложены ближе к концу семестра.

Расписание занятий

Занятия проходят по пятницам в ауд. 526б, начало в 14-35 (лекция) и 16-20 (семинар).

Замечание: рукописные конспекты лекций и семинаров это в первую очередь заметки лектора и семинаристов, а не материалы по курсу. В них могут содержать неточности!

Официальный конспект лекций в процессе (пока выложены первые 5 лекций, остальные находятся на вычитке).

Источник

Байесовские методы машинного обучения (курс лекций, Д.П. Ветров, Д.А. Кропотов, 2010)

Материал из MachineLearning.

Курс посвящен т.н. байесовским методам машинного обучения (классификации, прогнозирования, восстановления регрессии), которые в настоящее время активно развиваются в мире. Байесовский подход к теории вероятностей является альтернативой классическому частотному подходу. Здесь вероятность интерпретируется как мера незнания, а не как объективная случайность. Простые правила оперирования с вероятностью, такие как формула полной вероятности и формула Байеса, позволяют проводить рассуждения в условиях неопределенности. В этом смысле байесовский подход к теории вероятностей можно рассматривать как обобщение классической булевой логики.

Курс читается студентам ВМиК МГУ, начиная с 2007 года. Курс не требует от студентов дополнительной математической подготовки, выходящей за пределы первых двух курсов университетского образования, все необходимые понятия вводятся в ходе лекций. В ходе чтения курса студенты будут ознакомлены с передним краем научных исследований в теории машинного обучения и существующими проблемами.

Замечания для студентов

Расписание на 2010–2011 учебный год

В осеннем семестре 2010 года спецкурс читается на ВМиК МГУ по понедельникам в ауд. 653, начало в 16-20.

Практические задания по курсу

Для успешной сдачи спецкурса необходимо выполнить все практические задания, а также сдать экзамен.

Оценка за курс

В этом году оценка за курс будет вычисляться по формуле 0.25*(оценка за первое задание)+0.25*(оценка за второе задание)+0.5*(оценка за экзамен). При этом оценка за курс будет выставляться только тем, кто успешно справился с обоими практическими заданиями + сдал экзамен.

Экзамен

К экзамену допускаются только те студенты, которые успешно справились с обоими практическими заданиями по курсу. Студентам 4 и 5 курсов необходимо иметь с собой зачетную ведомость по спецкурсу (одну ведомость на одну академическую группу).

Программа курса

Различные постановки задачи машинного обучения

Обзор задач анализа данных: классификация, регрессия, кластеризация, идентификация, прогнозирование. Примеры. Историческая справка. Основные проблемы теории распознавания образов: переобучение, противоречивость информации, малый объем выборки. Иллюстративные примеры переобучения, связь переобучения и объема выборки.

Ликбез: основные понятия теории вероятностей (математическое ожидание, дисперсия, ковариационная матрица, плотность вероятности, функция правдоподобия)

Вероятностная постановка задач машинного обучения. Методы линейной и логистической регрессии. Регуляризация обучения.

Метод максимального правдоподобия. Формальные обозначения, генеральная совокупность, критерии качества обучения как точности на генеральной совокупности. Вывод выражения для идеальных решающих правил. Способы введения функции правдоподобия для задачи регрессии и классификации. Выражение для коэффициентов линейной регрессии, хэт-матрица. Метод наименьших квадратов с итеративно-перевзвешивающимися весами. Необходимость ридж-оценивания для устранения вырожденности гессиана.

Ликбез: нормальное распределение, псевдообращение матриц и нормальное псевдорешение.

Задача выбора модели на примере выбора коэффициента регуляризации, ядровой функции, настройки структурных параметров алгоритма обучения. Основные методы выбора модели.

Общая постановка проблемы выбора модели, ее философский характер. Конкретные примеры структурных параметров. Кросс-валидация. Теория Вапника-Червоненкиса, емкость алгоритмов обучения. Принцип минимальной длины описания, его эквивалентность максимуму регуляризованного правдоподобия. Информационные критерии Акаике и Байеса-Шварца, область их применения.

Ликбез: теорема Шеннона и оптимальная длина описания.

Байесовский подход к теории вероятностей. Примеры байесовских рассуждений.

Частотный и вероятностный подходы к теории вероятностей. Интерпретация вероятности как меры нашего незнания, сравнение байесовских рассуждений с логическими. Байесовские сети и основные задачи в них. Пример жизненной ситуации «Джон и колокольчик для воров». Вывод формул для апостериорных вероятностей.

Ликбез: условная вероятность, формула Байеса и ее применение, формула полной вероятности.

Решение задачи выбора модели по Байесу. Обоснованность модели. Полный байесовский вывод.

Вывод формул для принятия решения. Принцип наибольшей обоснованности как метод максимального правдоподобия для моделей. Половинчатость данного подхода, полный вывод по Байесу. Интерпретация понятия обоснованности, ее геометрический смысл, бессмысленность сколь-угодно гибкого решающего правила, иллюстративные примеры, связь с принципом Оккама.

Ликбез: принцип Оккама, ad hoc гипотезы.

Применение принципа наибольшей обоснованности на примере метода релевантных векторов

Метод релевантных векторов, вывод формул для регрессии. Приближение Лапласа для оценки обоснованности в случае задачи классификации, его достоинства и недостатки. Свойства решающего правила RVM.

Ликбез: матричные тождества обращения, тождество Вудбери.

Недиагональная регуляризация обобщенных линейных моделей. Гауссовское и Лапласовское априорные распределения.

Свойства гауссовского и лапласовского регуляризаторов, трудности использования последнего в методе релевантных векторов. Метод релевантных собственных векторов, идея диагонализации правдоподобия. Вывод формул для оценки обоснованности.

Ликбез: Неотрицательно определенные матрицы. Лапласовское распределение.

Общее решение для недиагональной квадратичной регуляризации

Получение выражения для обоснованности в явном виде в семействе произвольных симметричных неотрицательно определенных матриц регуляризации. Условие релевантности.

Ликбез: Дифференцирование по матрице и по вектору.

Приближенные способы вывода. Вариационный подход. Expectation Propagation.

Приближенные методы байесовского вывода. Минимизация Кульбака-Лейблера и факторизованное приближение. Идея вариационного подхода, вывод формул для линейной регрессии. Идея Expectation propagation, вывод формул для пуассоновской фильтрации.

Ликбез: дивергенция Кульбака-Лейблера, гамма-распределение.

Приближенные способы вывода. Методы Монте-Карло с марковскими цепями. Гауссовские процессы в машинном обучении.

Взятие интегралов методами Монте-Карло, голосование по апостериорному распределению вместо точечной оценки. Схема Гиббса. Гибридные методы Монте-Карло. Гауссовские процессы в задачах регрессии и классификации. Выбор наиболее адекватной ковариационной функции.

Ликбез: случайные процессы.

Непрерывное обобщение информационного критерия Акаике и его применение в задаче отбора признаков для линейной регрессии.

Классический критерий Акаике и трудности его использования на практике. Обобщение критерия Акаике на непрерывный случай. Алгоритм автоматического определения значимости на основе непрерывного критерия Акаике.

Ликбез: свойства оценок максимального правдоподобия, информационная матрица Фишера, формула блочного обращения.

EM-алгоритм.

ЕМ алгоритм для задачи разделения смеси нормальных распределений. EM-алгоритм в общем виде. EM-алгоритм как покоординатный подъем.

Ликбез: Дифференцирование по матрице и по вектору.

Источник