Faces of the survey

Kurs dotyczy sondażu traktowanego jako przedsięwzięcie zespołowe, którego jakość zależy od jakości jego najsłabszych ogniw. Przegląd problemów teoretycznych, metodologicznych, statystycznych i praktycznych, które muszą rozwiązywać uczestnicy przedsięwzięcia sondażowego będzie uwzględniał punkty widzenia trzech głównych jego aktorów:

Zleceniodawcy, który sondaż zamawia, definiuje jego cel i zakres i płaci za jego wykonanie,

Statystyka, który uczestniczy w projektowaniu badania, odpowiada za dobór próby i obliczenia

Wykonawcy, agencji badawczej (ankieterskiej), która odpowiada za zbieranie danych.

00. O czym są sondaże:

Dlaczego na proste pytania nie zawsze można udzielić prostych odpowiedzi, czyli o praktycznych pożytkach z teorii opisu i wnioskowania statystycznego. Prosta proporcja - polityków popularności wzrosty u spadki. Zasięg pisma, segmentacja klientów: kim oni są i czym się różnią od siebie. Badania cenowe - ile klienci zechcą zapłacić. Czym kierują się konsumenci kupując produkt - conjoint. Dobra matura - dylematy kalibracji pytań testowych. Budżet czasu - kiedy studenci Warszawy zasypiają. Postawa wobec obcych, satysfakcja konsumenta, ocena jakości rządzenia – jak to zmierzyć w sondażu?

01. Czym jest sondaż?

Sondaż dla sprzedawcy, producenta, wydawcy.

Sondaż dla administracji, władzy publicznej.

Sondaż dla socjologa, ekonomisty, geografa, biologa.

Statystyczny rdzeń sondażu.

02. Sondaż jako badanie statystyczne

Struktura badania statystycznego:

przedmiot - populacja,

zakres- zmienne,

cel - parametry populacyjnych rozkładów

metoda – dobór próba, opis próby

wynik – estymacja / testowanie hipotez o populacji na

podstawie parametrów próby

03. Dobry sondaż

Dobry kwestionariusz: teoria socjologiczna, wskaźniki, pytania kwestionariuszowe, zmienne.

Dobra próba losowa - praktyczne pożytki z rachunku prawdopodobieństwa sondażu.

Dobry sposób rejestrowania odpowiedzi respondentów - jak wyeliminować efekt ankieterski.

Dobra analiza danych - adekwatny opis statystyczny i poprawne wnioskowanie.

04. Kwestionariusz

Zmienna – wskaźnik – parametr populacji

Model pomiarowy, przyczynowy

05. Próba

Co jest niezbędne do wylosowania próby?

Operat losowania i jego jakość.

Schemat doboru: warstwowanie, alokacja, optymalizacja

Dobór nie całkiem losowy

06. Realizacja

Sposoby komunikacji z respondentem i ich własności

Czy ankieterzy oszukują – efekt ankieterski. Dlaczego CAPI.

Lekarstwo na złą realizację - terenowa kontrola jakości pracy ankieterów.

07. Sondaż a rachunek prawdopodobieństwa

Statystyczne doświadczenie losowe:

Moneta, urna, zbiór możliwych wyników

Probabilistyczny dobór próby

Twierdzenia o zbieżności – zmienne losowe

Przykład: populacja N=4, próba n=2

Granice stosowalności twierdzeń granicznych

08. Reprezentatywność

Reprezentatywność próby – własność próby czy własność procedury doboru próby

Czy próba niedostatecznie reprezentatywna może być podstawą dobrych oszacowań

09. Jednostki niedostępne a dokładność oszacowań

Non-respons - jaka część wylosowanych wzięła udział w badaniu?

Quasi-przedział ufności

Stopień realizacji próby a dokładność oszacowań

Informacje zewnętrzne a non-respons.

10. Błędne przeświadczenia, mitologie i oszustwa

Wielkość populacji a wielkość próby

Próba rezerwowa

Wagi porealizacyjne

Random route jako antidotum na non-response

„Sondaże”

11. Sondaż według podręcznika

Przegląd problemów

Etap 0: Zespół, budżet, komunikacja

Etap 1: Zamówienie, kwerendy, projekt badania

Etap 2: Pilotaże

Etap 3: Przetarg, kontrakt

Etap 4: Realizacja

Etap 5: Analiza danych

Etap 6: Dokumentacja przebiegu badania

Etap 7: Raport

12. Zamawiamy sondaż w agencji badawczej

Co zamawiamy, za co płacimy

Wiarygodna agencja badawcza

13. Case study nr 1: Złe zapytanie przetargowe

14. Case study nr 2: sondaż „norweski”

15. Gdzie się uczyć projektowania i prowadzenia badań sondażowych

Duże międzynarodowe badania sondażowe

Duże badania sondażowe w Polsce

Literatura podstawowa

Bienner, P. P., Leeuw, E. D. de, Eckman, S., Edwards, B., Kreuter, F., Lyberg, L., … West, B. T. (2017). Total Survey Error in Practice. Wiley.

Kalton, G. (1983). Introduction to survey sampling. Quantitative Applications in the Social Sciences (Book 35). Sage Publications

Lissowski G. (1971). Problem jednostek niedostępnych w reprezentacyjnych badaniach socjologicznych, w: Szaniawski K. (red) Metody Matematyczne w socjologii. Zakład Narodowy im. Ossolińskich.

MZ-WHO (2010). Globalny sondaż dotyczący używania tytoniu przez osoby dorosłe (GATS). Polska 2009-2010. Ministerstwo Zdrowia, Warszawa, 2010.

Saris, W. E., & Gallhofer, I. N. (2014). Design, Evaluation, and Analysis of Questionnaires for Survey Research. Wiley.

Stopher, P. (2012). Collecting, Managing, and Assessing Data Using Sample Surveys (p. 560). Cambridge University Press.

Literatura pomocnicza

AAPOR (2003 ) Interviever Falsification in Survey Research Current Best Methods for Prevention Detection and Repair of Its Effects, April 21, 2003.

https://www.aapor.org/AAPOR_Main/media/MainSiteFiles/falsification.pdf

AAPOR (2019) Report of the AAPOR Task Force on Transitions from Telephone Surveys to Self-Administered and Mixed-Mode Surveys

https://www.aapor.org/getattachment/Education-Resources/Reports/Report-of-the-Task-Force-on-Transitions-from-Telephone-Surveys-FULL-REPORT-FINAL.pdf.aspx

AAPOR (2016) Evaluating Survey Quality in Today’s Complex Environment.

https://www.aapor.org/AAPOR_Main/media/MainSiteFiles/AAPOR_Reassessing_Survey_Methods_Report_Final.pdf

AAPOR (2016) Task Force Report on Address-based Sampling.

https://www.aapor.org/getattachment/Education-Resources/Reports/AAPOR_Report_1_7_16_CLEAN-COPY-FINAL-(2).pdf.aspx

AAPOR (2014) Current Knowledge and Considerations Regarding Survey Refusals.

https://www.aapor.org/AAPOR_Main/media/MainSiteFiles/RefusalTF_FINAL090814.pdf

AAPOR (2014) Social Media in Public Opinion Research.

https://www.aapor.org/AAPOR_Main/media/MainSiteFiles/AAPOR_Social_Media_Report_FNL.pdf

AAPOR (2014) Mobile Technologies for Conducting, Augmenting and Potentially Replacing Surveys.

https://www.aapor.org/getattachment/Education-Resources/Reports/REVISED_Mobile_Technology_Report_Final_revised10June14.pdf.aspx

AAPOR (2013) Non-Probability Sampling.

https://www.aapor.org/AAPOR_Main/media/MainSiteFiles/NPS_TF_Report_Final_7_revised_FNL_6_22_13.pdf

AAPOR (2010) 2010 Cell Phone Task Force Report

https://www.aapor.org/AAPOR_Main/media/MainSiteFiles/2010AAPORCellPhoneTFReport.pdf

AAPOR (2010) Opt In Online Panel Task Force Report.

https://academic.oup.com/poq/article-abstract/74/4/711/1832222?redirectedFrom=PDF

AAPOR (2015), The Code of Professional Ethics and Practices (Revised 11/30/2015). https://www.aapor.org/Standards-Ethics/AAPOR-Code-of-Ethics/AAPOR_Code_Accepted_Version_11302015.aspx

AAPOR (2016) Standard Definitions. Final Dispositions of Case Codes and Outcome Rates for Surveys. Revised 2016.

https://www.aapor.org/AAPOR_Main/media/publications/Standard-Definitions20169theditionfinal.pdf

Bienner, P. P., Leeuw, E. D. de, Eckman, S., Edwards, B., Kreuter, F., Lyberg, L., … West, B. T. (2017). Total Survey Error in Practice. Wiley.

Callegaro, M. (2014). Online Panel Research: A Data Quality Perspective. Wiley.

Cochran, W. G. (1977). Sampling Techniques (p. 428). John Wiley & Sons, Inc.

ESOMAR (2014), Esomar/Wapor Guideline On Opinion Polls And Published Surveys,

https://www.esomar.org/uploads/public/knowledge-and-standards/codes-and-guidelines/ESOMAR-WAPOR-Guideline-on-Opinion-Polls-and-Published-Surveys-August-2014.pdf

Groves, R. M. (2004). Survey Errors and Survey Costs (p. 613). John Wiley & Sons, Inc., Hoboken, New Jersey.

Groves, R. M., Fowler, F. J., Couper, M. P., Lepkowski, J. M., & Singer, E. (2009). Survey methodology (Vol. 3, p. 461). John Wiley and Sons.

Groves, R. M., & Lyberg, L. (2011). Total Survey Error: Past, Present, and Future. Public Opinion Quarterly, 74(5), 849–879.

Kish, L. (1987). Statistical Design for Research (p. 267). John Wiley & Sons, Inc.

Kish, L. (1965). Survey Sampling (p. 643). John Wiley & Sons.

Laaksonen, S. (2018). Survey Methodology and Missing Data : Tools and Techniques for Practitioners. Springer.

Lavrakas, P. J. (2019). Experimental Methods in Survey Research : Techniques that Combine Random Sampling with Random Assignment. Wiley.

Lissowski, G. (1971). Problem jednostek niedostępnych w reprezentacyjnych badaniach socjologicznych. In Metody matematyczne w socjologii. Zaganienia wybrane. Pod redakcją Klemensa Szaniawskiego (pp. 7–34). Ossolineum.

Lissowski, G., Haman, J., & Jasiński, M. (2008). Podstawy statystyki dla socjologów (p. 670). Wydawnictwo Naukowe Scholar.

Lumley, T. (2010). Complex Surveys : A Guide to Analysis Using R. (Wiley, Ed.). Wiley & Sons.

Miller, K. (2014). Cognitive Interviewing Methodology. Wiley.

MZ-WHO (2010). Globalny sondaż dotyczący używania tytoniu przez osoby dorosłe (GATS). Polska 2009-2010. Ministerstwo Zdrowia, Warszawa, 2010.

OFBOR (2011) Przewodnik ESOMAR WAPOR - Sondaże opinii publicznej i publikowanie wyników badań.

http://www.ofbor.pl/public/File/OFBOR_ESOMAR-WAPOR%20Guide_PL11_08_01.pdf

Saris, W. E., & Gallhofer, I. N. (2014). Design, Evaluation, and Analysis of Questionnaires for Survey Research. Wiley.

Stopher, P. (2012). Collecting, Managing, and Assessing Data Using Sample Surveys. Cambridge University Press.

Wallgren, A., & Wallgren, B. (2014). Register-based Statistics : Statistical Methods for Administrative Data. Wiley.

Weisberg, H. F. (2005). The Total Survey Error Approach. The University of Chicago Press.

Zieliński, R. (2008). Estymacja frakcji. Matematyka Stosowana, (9), 76–90.

Zieliński, R. (2009). Przedział ufności dla frakcji. Matematyka Stosowana, (10), 1–17.

K_W07 posiada pogłębioną wiedzę na temat wybranych metod i technik badań społecznych, ich ograniczeń, specyfiki i obszarów zastosowania

K_W08 jest świadomy znaczenia refleksyjnego i krytycznego podejścia do wyników badań społecznych, analiz i procedur badawczych

K_W09 wie jak zaplanować i zrealizować złożone ilościowe i jakościowe badania empiryczne; ma świadomość konsekwencji metodologicznych wyborów

K_U04 potrafi posługiwać się kategoriami teoretycznymi oraz metodami badawczymi do opisu i analizy zmian społecznych i kulturowych we współczesnych społeczeństwach oraz ich konsekwencji

K_U05 potrafi zaplanować i zrealizować badanie społeczne przy użyciu zaawansowanych ilościowych i jakościowych metod i technik badań socjologicznych

K_U06 potrafi posługiwać się jednym dowolnym programem komputerowym służącym do analizy danych, korzystając z jego zaawansowanych funkcji

K_U10 potrafi przygotować prezentację wybranego zagadnienia lub badania w języku polskim i w języku obcym

K_K03 potrafi gromadzić, wyszukiwać, syntetyzować, a także krytycznie oceniać informacje na temat zjawisk społecznych

K_K04 potrafi argumentować stawiane tezy posługując się dowodami naukowymi

K_K10 bierze odpowiedzialność za projektowane i wykonywane zadania

raport, prezentacja, przygotowanie projektu badawczego