Probabilistyczne i grafowe modele przyczynowosci

monograficzne

Zapraszamy studentów i doktorantów zainteresowanych zagadnieniami z pogranicza matematyki i filozofii nauki. Do zrozumienia wykładu wystarczy elementarny rachunek prawdopodobieństwa. Pożądane - ale niekonieczne - jest wysłuchanie wykładu o sieciach bayesowskich i znajomość elementów teorii informacji.

Wykład będzie poświęcony dynamicznym modelom przyczynowości w postaci grafów skierowanych, których wierzchołkami są procesy stochastyczne. Podsumujemy istniejące wyniki charakteryzujące warunkową niezależność w takich modelach.

Omówimy pojęcie interwencji (kontrolowanego eksperymentu) i zagadnienie przewidywania efektów interwencji na podstawie

danych obserwacyjnych. Przedstawimy zastosowanie pojęć teorii informacji do kwantyfikacji zależności w dynamicznych modelach przyczynowości.

Jeden z obiecujących kierunków rozwoju uczenia maszynowego polega na poszukiwaniu związków przyczynowych między zmiennymi, zamiast ograniczania się do predykcji zmiennych.

W wykładzie rozpatrywane będą dynamiczne modele przyczynowości w postaci grafów skierowanych, których wierzchołkami są procesy stochastyczne (z czasem dyskretnym lub ciągłym). Krawędzie grafu opisują związki przyczynowe między komponentami modelu. W porównaniu z klasycznymi modelami zapoczątkowanymi przez J.Pearla w latach 1980-tych, różnica polega na jawnym uwzględnieniu czynnika czasu. Pozwala to na modelowanie sprzężeń zwrotnych, przez dopuszczenie cykli w grafie.

1) W pierwszej części wykładu podsumujemy wyniki charakteryzujące warunkową niezależność podzbiorów zmiennych losowych w terminach grafu (na przykład, jak można opisać warunkową niezależność przyszłości zmiennej Y od przeszłości zmiennej X mając informację o przeszłości zmiennych Y i Z?). Tego typu wyniki są dość dobrze zbadane i opisane, choć przedstawimy też kilka niedawno uzyskanych uzupełnień.

2) Drugim wiodącym tematem wykładu będzie pojęcie interwencji, które leży u podstaw myślenia o przyczynowości. Interwencja (kontrolowany eksperyment) polega na ustaleniu przez eksperymentatora wartości pewnych zmiennych i obserwowaniu efektu tej manipulacji na inne zmienne. Na tym w istocie polega definicja przyczynowości, ale bardzo często taki kontrolowany eksperyment jest tylko eksperymentem myślowym (jest niemożliwy lub trudny do przeprowadzenia ze względów technicznych, etycznych lub ekonomicznych). Powstaje problem: jak i kiedy możemy przewidzieć rezultaty wyimaginowanej interwencji na podstawie danych pochodzących z biernej obserwacji.

3) Trzecim tematem wykładu będzie powiązanie modeli przyczynowości z teorią informacji. Chodzi o to, żeby przejść od badania (warunkowej) niezależności do kwantyfikowania (warunkowej) zależności przy pomocy takich narzędzi jak entropia lub wzajemna informacja. W literaturze tego typu problemy występują pod nazwą "directed information theory". Wyniki dotyczące kwantyfikacji efektów interwencji w języku teorii informacji są nieliczne, niekiedy mają kontrowersyjną interpretację lub po prostu zawierają błędy. Wykład będzie zawierał krytyczny przegląd istniejącej teorii.

Chociaż literatura dotycząca grafowych modeli przyczynowości jest obszerna, to zakres teorii wybrany na temat naszego wykładu nie doczekał się (o ile nam wiadomo) osobnej monografii. Wykład będzie więc oparty na kilku wybranych oryginalnych artykułach.

ad 1): Graphical Models for Composable Finite Markov Processes.

Vanessa Didelez, Scandinavian Journal of Statistics, Vol. 34, No. 1 (March 2007), pp. 169-185

ad 1): Graphical Models for Marked Point Processes Based on Local Independence. Vanessa Didelez, Journal of the Royal Statistical Society. Series B (Statistical Methodology), Vol. 70, No. 1 (2008), pp. 245-264

ad 1) Local Dependence Graphs for Discrete Time Processes. Wojciech Niemiro and Łukasz Rajkowski, Proceedings of Machine Learning Research vol 213:1–19, 2023 (2nd Conference on Causal Learning and Reasoning)

ad 1), 2): Causal Reasoning in Graphical Time Series Models.

Michael Eichler and Vanessa Didelez, in: Proceedings of UAI 2007 (Uncertainty in Artificial Intelligence) pp. 109-116.

ad 3): The relation between Granger causality and directed information theory: a review, Pierre-Olivier Amblard and Olivier J.J. Michel (Entropy 15(1), 113-143, 2013)

ad 3): Information Theoretic Causal Effect Quantification, Aleksander Wieczorek and Volker Roth (Entropy, 21, 975; 2019)

Zaliczenie ćwiczeń na podstawie przygotowania mikro-referatu wygłoszonego na zajęciach i zawierającego fragment materiału uzupełniającego wykład (wybrana część artykułu).

Wykład zakończony egzaminem ustnym w formie swobodnej rozmowy.