Методи оптимізації в машинному навчанні (курс лекцій)

Матеріал з MachineLearning.

Налаштування моделі алгоритмів за даними - це завдання оптимізації, від ефективності вирішення якої залежить практична застосовність методу машинного навчання. В епоху великих даних багато класичні алгоритми оптимізації стають непридатні, тому що тут потрібно вирішувати завдання оптимізації функцій за час менше, ніж необхідно для обчислення значення функції в одній точці. Таким вимогам можна задовольнити в разі грамотного комбінування відомих підходів в оптимізації з урахуванням конкретної специфіки розв'язуваної задачі. Курс присвячений вивченню класичних і сучасних методів вирішення завдань безперервної оптимізації (в тому числі неопуклого), а також особливостям застосування цих методів в задачах оптимізації, що виникають в машинному навчанні. Наявність у слухачів будь-яких попередніх знань щодо оптимізації гадки не мав, всі необхідні поняття розбираються в ході занять. Основний акцент у викладі робиться на практичні аспекти реалізації і використання методів. Метою курсу є вироблення у слухачів навичок по підбору підходящого методу для свого завдання, найбільш повно враховує її особливості. Курс розрахований на студентів старших курсів і аспірантів. Знання основ машинного навчання вітається, але не є обов'язковим - всі необхідні поняття вводяться в ході лекцій.

  • на ВМК по понеділках в ауд. 612, лекція з 10-30 до 12-05, семінар з 12-15 до 13-50.
  • на базовій кафедрі Інтелектуальних систем МФТІ по середах в ВЦ РАН в к.355, лекція з 10-30 до 12-05, семінар з 12-15 до 13-50.

Інвайт в AnyTask: UAb78YK для ВМК, YYGCLOZ для фізтеху.

Таблиця з результатами знаходиться тут

Система виставлення оцінок за курсом

В рамках курсу передбачається чотири практичних завдання, чотири домашніх завдань і іспит. Кожне завдання і іспит оцінюються за п'ятибальною шкалою. Домашнє завдання після терміну здачі не приймається. За кожен день прострочення при здачі практичного завдання нараховується штраф 0.1 бала, через два тижні після терміну здачі практичне завдання не приймається.

Підсумкова оцінка за курс є зваженою сумою оцінки за іспит (внесок 40%), оцінки за практичні завдання (внесок 40%) і оцінки за домашні завдання (внесок 20%). При цьому для отримання підсумкової оцінки 5 (відповідно> = 8 для студентів МФТІ) необхідно здати на позитивний бал все практичеки і всі домашні завдання, а також набрати на іспиті не нижче 4 балів (відповідно> = 5 для МФТІ); для отримання підсумкової оцінки 4 (відповідно> = 5 для МФТІ) необхідно здати будь-які три практичних завдання і будь-які два домашніх завдання; для отримання підсумкової оцінки 3 (відповідно> = 3 для МФТІ) необхідно здати будь-які два практичних завдання і будь-який одне домашнє завдання.

При виконанні кожного завдання можна отримати бонусні бали за необов'язкові пункти, але при цьому підсумкові оцінки за практичну частину курсу і за домашню частина курсу не можуть перевищити відповідних максимальних оцінок без урахування бонусів. Наприклад, якщо використовується п'ятибальна шкала і кількість (скажімо, домашніх) завдань дорівнює чотирьом, то за рахунок бонусів оцінки за завдання можуть бути наступними: 1) 5.5, 4, 4, 4; або 2) 5.5, 5, 5, 5. У першому випадку підсумкова оцінка за домашні завдання становить 17.5, а в другому --- 20.0.

Домашні завдання

практичні завдання