Uniwersytet Warszawski - Centralny System UwierzytelnianiaNie jesteś zalogowany | zaloguj się
katalog przedmiotów - pomoc

Statystyczne uczenie maszynowe

Informacje ogólne

Kod przedmiotu: 1000-1M18SUM Kod Erasmus / ISCED: (brak danych) / (brak danych)
Nazwa przedmiotu: Statystyczne uczenie maszynowe
Jednostka: Wydział Matematyki, Informatyki i Mechaniki
Grupy: Przedmioty monograficzne dla IV - V roku matematyki
Punkty ECTS i inne: 6.00
zobacz reguły punktacji
Język prowadzenia: angielski
Kierunek podstawowy MISMaP:

informatyka
matematyka

Rodzaj przedmiotu:

monograficzne

Założenia (opisowo):

Wykład jest kontynuacją "Statystycznej analizy danych".

Tryb prowadzenia:

w sali
zdalnie

Skrócony opis:

Wykład jest wprowadzeniem do uczenia pod nadzorem, inaczej predykcji

statystycznej, zogniskowanym na nowoczesnych metodach liniowych i opartym w dużej mierze (ok. 2/3) na monografii Hastiego, Tibshiraniego i Friedmana pt. “The Elements of Statistical Learning”.

Pełny opis:

Wykład jest wprowadzeniem do uczenia pod nadzorem, inaczej predykcji statystycznej, zogniskowanym na nowoczesnych metodach liniowych i opartym w dużej mierze (ok. 2/3) na monografii Hastiego, Tibshiraniego i Friedmana pt. “The Elements of Statistical Learning”.

W pierwszej części omawiam podstawową metodę predykcji cechy ciągłej, czyli model regresji liniowej, a ponadto wybór zmiennych wyjaśniających, regresję grzbietową i lasso. W drugiej części przedstawiam liniowe metody predykcji cechy dyskretnej, czyli klasyfikacji takie, jak liniowa analiza dyskryminacyjna Fishera, regresja logistyczna czy maszyny wektorów podpierających. W części trzeciej omawiam uniwersalne, nieliniowe predyktory takie, jak metoda k-najbliższych sąsiadów oraz drzewa decyzyjne. Część czwarta jest poświęcona metodom regularyzacji uczenia i wzmacniania siły predykcji. W szczególności omówiam: penalizację funkcji straty (błąd predykcji), kernelizację zmiennych wyjaśniających oraz boosting (kombinacje liniowe “słabych” predyktorów).

Wykład jest zogniskowany na ważnych metodach uczenia maszynowego, które są rozwiązaniami zadania minimalizacji penalizowanej straty na danych uczących. W ten sposób otrzymujemy zbiory predyktorów indeksowanych “hiper-parametrem” (np. wagą funkcji penalizującej parametry predyktora), którego wartość obliczamy na dodatkowych danych walidacyjnych lub za pomocą kroswalidacji na danych uczących. Wiele uwagi poświęcę, aby w możliwie ścisły sposób uzasadnić popularne postępowania walidacyjne, zwane również wyborem modelu. W tym uzasadnieniu kluczowym zadaniem matematycznym jest oszacowanie oczekiwanego błędu predykcji. Przy okazji podam kilka klasycznych wyników dotyczących optymalności predykcji (np. najlepsza regresja liniowa, klasyfikator bayesowski, oszacowania złożoności próbkowej w rodzinach klasyfikatorów o skończonym wymiarze VC).

Literatura:

1. Hastie T., Tibshirani R. and Friedman J. The Elements of Statistical Learning, Springer 2009.

2. Shai Shalev-Shwartz S. and Ben-David S. Understanding Machine Learning: From Theory to Algorithms, Cambridge University Press 2014.

Efekty uczenia się:

Wiedza i umiejętności:

1. Zna podstawowe metody predykcji.

2. Umie nauczyć/dopasować predyktor do danych uczących, wybrać predyktor/hiperparametr na danych walidacyjnych, oszacować błąd predykcji na danych testowych.

Kompetencje społeczne:

Potrafi zastosować predykcję do badania zjawisk przyrodniczych czy społecznych.

Metody i kryteria oceniania:

Ocena końcowa będzie równa maksimum z:

-- oceny za aktywność na zajęciach (np wychwycenie błędu w rachunkach, podanie alternatywnego dowodu czy wyprowadzenia metody predykcji),

-- oceny za rozwiązania zadań domowych,

-- oceny z egzaminu ustnego.

Zajęcia w cyklu "Semestr zimowy 2020/21" (zakończony)

Okres: 2020-10-01 - 2021-01-31
Wybrany podział planu:


powiększ
zobacz plan zajęć
Typ zajęć: Ćwiczenia, 30 godzin więcej informacji
Wykład, 30 godzin więcej informacji
Koordynatorzy: Piotr Pokarowski
Prowadzący grup: Piotr Pokarowski
Lista studentów: (nie masz dostępu)
Zaliczenie: Egzamin
Kierunek podstawowy MISMaP:

informatyka
matematyka

Opisy przedmiotów w USOS i USOSweb są chronione prawem autorskim.
Właścicielem praw autorskich jest Uniwersytet Warszawski.