Serwisy internetowe Uniwersytetu Warszawskiego | USOSownia - uniwersyteckie forum USOSoweNie jesteś zalogowany | zaloguj się
katalog przedmiotów - pomoc

Kult istotności statystycznej. Ukryte niepewności losowe w nauce, ich źródła w ludzkim umyśle i nieoczekiwane skutki

Informacje ogólne

Kod przedmiotu: 1400-236KIS Kod Erasmus / ISCED: 11.204 / (brak danych)
Nazwa przedmiotu: Kult istotności statystycznej. Ukryte niepewności losowe w nauce, ich źródła w ludzkim umyśle i nieoczekiwane skutki
Jednostka: Wydział Biologii
Grupy: Przedmioty DOWOLNEGO WYBORU
Strona przedmiotu: http://www.biol.uw.edu.pl/stat
Punkty ECTS i inne: 2.00
Język prowadzenia: polski
Kierunek podstawowy MISMaP:

astronomia
biologia
biotechnologia
chemia
fizyka
geografia
geologia
geologia stosowana
gospodarka przestrzenna
informatyka
matematyka
ochrona środowiska
psychologia

Rodzaj przedmiotu:

fakultatywne
monograficzne
nieobowiązkowe
ogólnouniwersyteckie

Założenia (opisowo):

Przydatny jest wcześniejszy kontakt z zagadnieniami wnioskowania statystycznego.


Tryb prowadzenia:

w sali

Skrócony opis:

Wykład poświęcony jest powszechnej praktyce sprowadzania wnioskowania statystycznego do testów istotności statystycznej, możliwym jej przyczynom i negatywnym dla nauki skutkom. Punktem wyjścia i powtarzającym się motywem jest relacja między pytaniem o istnienie efektu (testy statystyczne) a pytaniem o możliwą jego wielkość (przedziały ufności). Celem jest pokazanie w jaki sposób dominacja pierwszego pytania prowadzi do ukrycia niepewności statystycznych i przyczynia się do kryzysu powtarzalności wyników w nauce, oraz refleksja nad jej źródłami. Wykład jest w bardzo małym stopniu zmatematyzowany, chodzi raczej o przekazanie głównych intuicji.

Ostrzeżenie: uświadomienie sobie skali niepewności statystycznych ukrywających się pod typowymi sposobami przedstawiania wyników badań może zmieniać drogi myślenia w sposób niebezpieczny dla indywidualnej produktywności.

Pełny opis:

Wykład poświęcony jest powszechnej praktyce sprowadzania wnioskowania statystycznego do testów istotności statystycznej, możliwym jej przyczynom i negatywnym dla nauki skutkom. Stanowi on wprowadzenie do wybranych metod statystycznych, z naciskiem na określanie niepewności ilościowych oraz pokazanie, jak skromnej ilości informacji dostarcza testowanie i jak bardzo jest przeceniane. Jednocześnie, analizowane są różne powszechnie występujące przejawy błędnych przekonań na temat istotności statystycznej lub jej braku. Pytanie o ich przyczyny prowadzi do rozważań nad ludzkim umysłem, także w kontekście ewolucyjnym. Zaś pytanie o skutki – do rozpatrzenia możliwej roli paradygmatu testowania statystycznego w coraz powszechniej dostrzeganym kryzysie powtarzalności wyników w nauce.

Wybrane metody statystyczne rozpatrywane są nie tyle w kontekście szczegółów ich podstaw matematycznych, co głównie w aspekcie charakteru odpowiedzi których dostarczają na temat badanych fragmentów rzeczywistości. Omawiane są metody parametryczne i nieparametryczne dla jednej i dwu prób, analiza wariancji w klasyfikacji pojedynczej i podwójnej, metody analizy częstości, analiza korelacji, regresji liniowej i regresji logistycznej, przykłady metod wielowymiarowych. Szczególna uwaga poświęcona jest analizie interakcji, jako jednej z kwestii bardziej zaniedbywanych w podręcznikach.

Omówienie powyższych metod daje podstawę do rozpatrzenia kwestii i pytań ogólniejszych, które zajmują znaczącą część wykładu, np.:

(1) Ważniejsze argumenty w trwającej przez dzieięciolecia debacie na temat użyteczności testów istotności – od akceptacji, przez uznanie konieczności, po postulat wyeliminowania testów z praktyki naukowej. Moc testu statystycznego. Rozpowszechnione, ale rzadko respektowane zalecenia dotyczące wystarczającej mocy statystycznej. Paradoks nadmiernej mocy, wynikający z błędnego rozumienia testów. Moc testów a precyzja oszacowań.

(2) Wpółczesny paradygmat testowania istotności statystycznej jako zadziwiający produkt ewolucji kulturowej – hybryda różnych koncepcji, których autorzy najpewniej by się pod obecnym wynikiem nie podpisali.

(3) Czym jest wynik negatywny? Wnioskowanie z niewiedzy, wszechobecność błędów II rodzaju. Kiedy wynik negatywny jest wynikiem, a kiedy brakiem wyniku? Wiedza o braku znacznych efektów może być ważną wiedzą, czasami o taką właśnie chodzi. Ważne nauki płynące z metod testowania (bio)równoważności. Dokonywana wbrew ogólnej regule akceptacja hipotez zerowych jako często występujący element procedur statystycznych, jej poważny negatywny wpływ na poprawność wnioskowań. Skrajne konsekwencje poglądów Johna Ioannidisa: kiedy zaawansowana aparatura badawcza zostaje sprowadzona do roli najdroższego generatora liczb losowych?

(4) "Polowanie" na istotność statystyczną, tzw. torturowanie danych, a czasem wręcz torturowanie rzeczywistości. Interpretacje wyników "prawie istotnych" statystycznie, co może tkwić u ich podstaw? Tradycyjne rozróżnienie między istotnością statystyczną a istotnością merytoryczną i jego niekompletność z punktu widzenia kontroli ryzyka błędu.

(5) Istotność statystyczna postrzegana – absurdalnie – jako wymiar rzeczywistości. Elementy analizy języka używanego w opisie statystycznej analizy wyników badań. Pomieszanie stwierdzeń dotyczących prób ze stwierdzeniami dotyczącymi zbiorowości. Figury retoryczne pozwalające uniknąć nie tylko pytań ilościowych, ale też spełnienia powszechnie wymaganego kryterium istotności statystycznej. Jak bardzo poważnie jest traktowane wnioskowanie statystyczne przez badaczy? Oczekiwania badaczy w stosunku do statystyków, faktyczne miejsce wnioskowań statystycznych w procesach badawczych. Istotność statystyczna, empatia i etyka analizy danych.

(6) Zmniejszanie się efektów w kolejnych badaniach tego samego zjawiska. Tzw. filtr istotności i przeszacowywanie efektów, "przekleństwo zwycięzcy". Poprawki na wielokrotne testowanie, rozbieżności poglądów statystyków na celowość ich stosowania, częstość fałszywych odkryć, selektywne przedstawianie wyników.

(7) Jak silną chcemy mieć pewność i czego ma ona dotyczyć? Ryzyka błędów I rodzaju i III rodzaju (kierunkowego, typu S) a poziomy ufności. Pomyłka Jerzego Neymana, uznawanego za ojca przedziałów ufności, w uzasadnieniu potrzeby ich wyznaczania – czy badacze rzeczywiście chcą oszacowań przedziałowych? Wcześniejsza historia przedziałów ufności, powracające mało skuteczne nawoływania do stosowania estymacji przedziałowej, tzw. "reforma statystyczna" i "nowa statystyka".

(8) Dwie ważne przeszkody na które napotyka myślenie w kategoriach przedziałowych: niechęć do niepewności i nadmierny optymizm. Aspekty psychologiczne i próby wyjaśnień ewolucyjnych. Prawo wielkich liczb i wiara w "prawo małych liczb" (sensu Tversky i Kahnemann). Zachowania w obliczu niepewności, Zasada Rzeczy Pewnej (Sure Thing Principle) L. Savage'a i jej częste naruszenia. Realizm depresyjny a ewolucja nadmiernego optymizmu. Optymizm jako strategia osobnika lub jako realizowanie przez osobnika strategii ewolucyjnej, w którą zdarzyło mu się zostać wpisanym. Z jakiego punktu widzenia "obsesja średnich" jest błędem, a z jakiego nim nie jest?

(9) Kryzys odtwarzalności i powtarzalności w nauce (irreproducibility crisis), jego nagłośnienie w ciągu ostatniej dekady, inicjatywy podjęte w celu zrozumienia problemu. Odtwarzalność i powtarzalność w ujęciu metrologii a mniej precyzyjne rozumienie tych terminów w nauce czystej. Kiedy uznaje się, że wynik wcześniejszego doświadczenia udało się powtórzyć? Prawdopodobna rola paradygmatu testowania statystycznego w kryzysie powtarzalności. Kult istotności statystycznej jako zjawisko odwracające uwagę od ważnych pytań.

Literatura:

Uszczegółowienie listy i uzupełnienia w trakcie zajęć.

Berry D.A. 1996. Statistics. A Bayesian Perspective. Duxbury Press.

Boyd B. 2009. On the Origin of Stories. Evolution, Cognition, and Fiction. Harvard University Press.

Burton R.A. 2008. On Being Certain. Believing You Are Right Even When You're Not. St. Martin's Griffin.

Cumming G. 2011. Understanding the New Statistics: Effect Sizes, Confidence Intervals, and Meta-Analysis. Routledge.

Dawkins R. 1982. The Extended Phenotype. The Gene as the Unit of Selection. Freeman. [Fenotyp rozszerzony. Dalekosiężny gen. 2003, Prószyński i S-ka]

Distin K. 2005. The Selfish Meme. A Critical Reassessment. Cambridge University Press.

Gigerenzer G. 2008. Rationality for Mortals. How People Cope with Uncertainty. Oxford University Press.

Halsey LG, Curran-Everett D., Vowler SL, Drummond G. 2015. The fickle P value generates irreproducible results. Nature Methods, 12: 179-185.

Harlow L, Mulaik S, Steiger J, editors. 1997. What If There Were No Significance Tests? Lawrence Erlbaum Associates.

Hogarth R.M. 2001. Educating Intuition. University od Chicago Press.

Ioannidis J.P.A. 2005. Why most published research findings are false. PLoS Med 2(8): e124.

Jackman S. 2009. Bayesian Analysis for the Social Sciences. Wiley.

Kahnemann D. 2011. Thinking, Fast and Slow. Farrar, Straus and Giroux. [Pułapki myślenia. O myśleniu szybkim i wolnym. 2012, Media Rodzina]

Kline R.B. 2004. Beyond SignificanceTesting. Reforming Data Analysis Methods in Behavioral Research. American Psychological Association.

Kurzban R. 2012. Why Everybody (Else) Is a Hypocrite: Evolution and the Modular Mind. Princeton University Press.

Lazzeroni LC, Lu Y, Belitskaya-Levy I. 2014. P-values in genomics: Apparent precision masks high uncertainty. Molecular Psychiatry, 19: 1336–1340.

Lecoutre B, Poitvineau J. 2014. TheSignificance Test Controversy Revisited. The Fiducial Bayesian Alternative. Springer.

Motulsky H. 2014. Intuitive Biostatistics, 3rd edition. Oxford University Press.

Nature Publishing Group. 2013. Announcement: Reducing our irreproducibility. Nature 496: 398.

Nuzzo R. 2014. Scientific method: statistical errors. Nature 506: 150-152.

Panter A, Sterba S, editors. 2011. Handbook of Ethics in Quantitative Methodology. Routledge.

Salsburg D. 2001. The Lady Tasting Tea. How Statistics Revolutionized Science In the Twentieth Century. Holt.

Savage S. 2012. The Flaw of Averages: Why We Underestimate Risk in the Face of Uncertainty. Wiley.

Wang C. 1992. Sense and Nonsense of Statistical Inference: Controversy, Misuse, and Subtlety. CRC Press.

Ziliak S.T., McCloskey D.N. 2008. The Cult of Statistical Significance. How the Standard Error Costs us Jobs, Justice, and Lives. Michigan University Press

Efekty kształcenia:

Po zaliczeniu kursu student:

- zna powiązania między testowaniem hipotez statystycznych i przedziałową estymacją parametrów i ocenia odmienność informacji otrzymywanych za pomocą tych metod;

- jest świadom znacznych rozmiarów losowej zmienności wyników doświadczeń i jej konsekwencji dla wyników testowania hipotez i estymacji przedziałowej oraz niskiej powtarzalności wyników doświadczeń.

- rozumie potrzebę kwantyfikacji niepewności statystycznych i zna stosowane w tym celu metody;

- wykazuje zmniejszoną podatność na uleganie urokowi istotności statystycznej;

- potrafi odnosić się krytycznie do stwierdzeń napotkanych w literaturze;

- jest wyczulony na rozróżnienie merytorycznych i społecznych uwarunkowań wnioskowania w badaniach naukowych;

- potrafi używać spójnej i wnikliwej argumentacji do pokazania obszarów niepewności;

- dostrzega potrzebę analizowania wyników badań z różnych punktów widzenia.

Metody i kryteria oceniania:

Kilka bardzo krótkich sprawdzianów pisemnych w trakcie wykładu (o łącznej wadze nieprzekraczającej 25% punktów) i pisemny egzamin końcowy; ocena na podstawie całkowitej sumy punktów. Obecność na wykładzie obowiązkowa; liczba dopuszczalnych nieobecności - zgodnie z Regulaminem Studiów.

Zajęcia w cyklu "Semestr zimowy 2017/18" (zakończony)

Okres: 2017-10-01 - 2018-01-26
Wybrany podział planu:


powiększ
zobacz plan zajęć
Typ zajęć: Wykład, 30 godzin, 10 miejsc więcej informacji
Koordynatorzy: Tomasz Wyszomirski
Prowadzący grup: Tomasz Wyszomirski
Lista studentów: (nie masz dostępu)
Zaliczenie: Egzamin

Zajęcia w cyklu "Semestr zimowy 2018/19" (w trakcie)

Okres: 2018-10-01 - 2019-01-25
Wybrany podział planu:


powiększ
zobacz plan zajęć
Typ zajęć: Wykład, 30 godzin, 10 miejsc więcej informacji
Koordynatorzy: Tomasz Wyszomirski
Prowadzący grup: Tomasz Wyszomirski
Lista studentów: (nie masz dostępu)
Zaliczenie: Egzamin
Opisy przedmiotów w USOS i USOSweb są chronione prawem autorskim.
Właścicielem praw autorskich jest Uniwersytet Warszawski.