Evaluation Studies Procedures

Celem zajęć jest dostarczenie wiedzy i nabycie podstawowych umiejętności umożliwiających ewaluację polityki, projektów i programów publicznych, zarówno w fazie przygotowywania jak i oceny przebiegu i efektów ich realizacji.

W pierwszej części zajęć przedstawione zostaną: definicje ewaluacji, historia badań ewaluacyjnych, dominujące podejścia teoretyczne oraz rola ewaluacji w procesie tworzenia polityk publicznych. Omówione zostaną modele badań ewaluacyjnych, wykorzystywanych do oceny skuteczności i efektywności działań publicznych.

Druga część zajęć poświęcona będzie metodom badań surveyowych i ich zastosowaniu w ewaluacji. Przedmiotem zajęć będzie przegląd stosowanych w ewaluacji socjologicznych surveyowych (ankietowych) technik badawczych oraz podstawowe zasady przygotowania narzędzi badawczych i realizacji badań przy ich zastosowaniu.

Trzecia część poświęcona zostanie wykorzystaniu ewaluacji do tworzenia polityki edukacyjnej zarówno na poziomie UE, kraju, jak i szkoły.

W ostatnich latach badania ewaluacyjne, rozumiane jako ocena przedsięwzięć prowadzonych przez władze publiczne, stały się jednym z najszybciej rozwijających się dyscyplin naukowych. Rosnące zainteresowanie badaniami ewaluacyjnymi jest efektem zarówno coraz większych możliwości poznawania i wyjaśniania rzeczywistości przez nauki społeczne, jak też wynika z powszechnie artykułowanych oczekiwań dotyczących praktycznych funkcji nauk społecznych.

W Polsce, zainteresowanie ewaluacją jest w znaczącym stopniu konsekwencją akcesji Polski do Unii Europejskiej. Przepisy Unii Europejskiej wymagają prowadzenia ewaluacji wszystkich programów i projektów unijnych. Stąd też, różne formy badań ewaluacyjnych stały się istotnym elementem cyklu zarządzania funduszami europejskimi. Prowadzenie ewaluacji wymaga wykształcenia licznej grupy ekspertów-ewaluatorów zatrudnianych zarówno w administracji publicznej, jak i w ośrodkach naukowych i firmach badawczych oceniających efekty działań publicznych.

Celem zajęć jest przekazanie wiedzy i nabycie podstawowych umiejętności wykorzystywanych przy ocenie planowania, przebiegu i efektów działań publicznych.

W pierwszej części zajęć przedstawione zostaną definicje i rodzaje ewaluacji, historia badań ewaluacyjnych, dominujące podejścia teoretyczne oraz rola ewaluacji w procesie tworzenia polityk publicznych (policy process). Zaprezentowane zostaną kluczowe elementy ewaluacji: procedury diagnostyczne (m.in. diagnoza warunków społecznych i potrzeb, identyfikacja problemów, identyfikacja przedmiotów interwencji), metody określania adresatów, monitorowania działań publicznych (m.in. monitorowanie zasięgu działania programów i ich realizacji), metody oceny skuteczności (metody badań ilościowych i jakościowych), metody oceny efektywności (cost effectivness analysis, metoda cost benefit analysis), a także społeczne i organizacyjne aspekty zamawiania i prowadzenia ewaluacji.

Celem drugiej części zajęć jest przekazanie wiedzy i nabycie podstawowych umiejętności dotyczących wykorzystania metod o charakterze jakościowym i ilościowym oraz przyporządkowanych im technik do realizacji badań ewaluacyjnych. Zajęcia będą miały na celu przedstawienie charakterystyki najczęściej wykorzystywanych w procesie badań ewaluacyjnych metod i technik oraz dokładne omówienie przygotowania narzędzi i sposobów analizy danych. Podczas zajęć zostanie poruszana również kwestia etycznej strony realizacji badań ewaluacyjnych oraz instytucjonalnego otoczenia, w jakim prowadzona jest ewaluacja. .

Ważnym obszarem badań ewaluacyjnych jest edukacja. Ewaluuje się, programy kształcenia, szkoły, wyniki nauczania formalnego i kompetencje. Ewaluację prowadzi się zarówno metodami ilościowymi jak i jakościowymi. Część trzecia zaprezentuje wykorzystanie ewaluacji w polityce edukacyjnej i w edukacji. Celem polityki edukacyjnej [a także innych polityk] jest jakość, efektywność i równość w dostępie do kształcenia. Ewaluacja instytucji edukacyjnych powinna wspomagać osiąganie tych celów. Przedstawione zostaną podstawowe pojęcia i wskaźniki charakteryzujące funkcjonowanie edukacji i kształcenie: kompetencje, testy, krajowe ramy kwalifikacji, wartość dodana. Przedstawimy międzynarodowe, powtarzane cyklicznie, badanie kompetencji uczniów 15-letnich PISA, gdyż ma ono duży wpływ na politykę edukacyjną UE, wskaźniki w niej wykorzystywane i ocenę systemów edukacyjnych krajów członkowskich. Przedstawimy także system ewaluacji oświaty ( ewaluację pracy szkół) w Polsce, który zastępuje nadzór pedagogiczny.

Przedstawimy także wybrane przykłady ewaluacji badań naukowych i dydaktyki w szkołach wyższych w Polsce

Literatura wymagana i zalecana

 Heywood. A. 2007. „Politologia”. Rozdział: „Proces polityczny i działanie systemu”. Wydawnictwo Naukowe PWN

 Shadish W., Cook T., Leviton L. 1991) „Foundation of Program Evalution”. SAGE. London

 Rossi, P., Lipsey M. Freeman H. 2004. „Evaluation. A Systematic Approach”.7th Edition. London, Sage

 Haber A. red. 2007. „Ewaluacja Ex-post. Teoria i praktyka badawcza”. PARP. Warszawa

 „Podręcznik zarządzania cyklem projektu”. 2007. Komisja Europejska.

 „Ewaluacja programów wydatków Unii Europejskiej”. 1997. Dyrekcja Generalna XIX – Budżet, Komisja Europejska.

 Sobiech R. 2008. „Ewaluacja a rozliczalność władz publicznych” w: „Ewaluacja jako standard zarządzania w sektorze publicznym”. B. Pietras-Goc (red.) Wyższa Szkoła Europejska im. ks. J. Tischera. Kraków

 Silverman David, Prowadzenie badań jakościowych, PWN 2009, rozdział 8 i 12

 Babbie Earl, Podstawy badań społecznych, PWN 2008, rozdział, rozdział 7,10,12

 Sztumski Janusz, Wstęp do metod i technik badań społecznych, Śląsk 2005, rozdział 7, 9, 12

 Gibbs Graham, Analizowanie danych jakościowych, PWN 2011, rozdział 1 i 3

 Rapley Tim, Analiza konwersacji, dyskursu i dokumentów, PWN 2010, rozdział 7 i 9

 Barbour Rosaline, Badania fokusowe, PWN 2011, rozdział 3 i 5

 Schuman Howard, Method and Meaning in Polls and Surveys, Harvard University Press 2008

 Bernstein, Basil, 1977. "Social Class, Language and Socialization." [in] J.Karabel and A. H. Halsey [[eds.] Power and Ideology in Education, New York: Oxford University Press

 Bourdieu, Pierre, and Passeron, Jean-Claude, 1970. La reproduction: elements pour une theorie du systeme d'enseignements, Paris, Les Editions de Minuit.

 Białecki I. Dwa cele kształcenia. (w:) "Nauka i Szkolnictwo Wyższe." nr 1/93; s.11, Warszawa: IFiS PAN;

 Białecki I. 1998. Alfabetyzm funkcjonalny. Kultura tworzenia i wykorzystywania informacji. [w:] Edukacja językowa Polaków, Miodunka W. [pod red.], Upowszechnianie Nauki- Oświata, Kraków, s.13-36

 Mare, R. D. 1981. Change and stability in educational stratification. American Sociological Review 46: 72-87.

 Boudon, R. 1974. Education, Opportunity and Social Inequality. New York: Wiley.

 Breen, R. i J. O. Jonsson 2005. Inequality of Opportunity in Comparative Perspective: Recent Research on Educational Attainment and Social Mobility. Annual Review of Sociology 2006: 223-243.

 R. Dolata, Szkoła-segregacje-nierówności, UW 2008, Warszawa

 Białecki I .,Pojęcie kompetencji: polityka wobec edukacji i rynku pracy . Nauka i Szkolnictwo Wyższe, 2/28/2006, Centrum Badań Polityki Naukowej i Szkolnictwa Wyższego;

 Białecki Ireneusz, Blumsztajn Anna, Cyngot Dorota ,PISA – Program Międzynarodowej Oceny Umiejętności Uczniów, (współautorzy:, Ośrodek Usług Pedagogicznych i Socjalnych, ZNP, Warszawa 2003, s. 5-53 [wysyłałem]

 Białecki I., Międzynarodowe badania, debata i polityka edukacyjna; Nauka i Szkolnictwo Wyższe, 1/31/2008, Centrum Badań Polityki Naukowej i Szkolnictwa Wyższego; s.22-34

 Białecki I., Nierówności edukacyjne, badania, polityka [w:] Wartości, polityka, społeczeństwo [pod red. Marty Zahorskiej i Ewy Nassalskiej, wyd. naukowe Scholar, Warszawa 2009 s. 293-310 [wysyłałem]

 Boudon, Raymond, Education, Opportunity and Social Inequality, New York, John Wiley and Son, Inc 1973,

 Rychen, D. S., & Salganik, L. H. (Eds.). (2003). Key competencies for a successful life and a well-functioning society. Göttingen, Germany: Hogrefe & Huber

 Breen Richard, Luijk Ruud., Müller Walter and Pollak Reinhard, Non-Persistent Inequality in Educational Attainment: Evidence from eight European Countries; referat na konferencję 2005



Lektury dodatkowe, rozszerzające treści podawane podczas odpowiednich zajęć:

 Dillman Don. A. 2000. Mail and Internet Surveys. The Tailored Design Method. New York: John Wiley & Sons

 Groves R. M., R. L. Kahn. 1979. Surveys by Telephone, New York: Academic Press.

 Sztabiński F. 1997. Ankieta pocztowa i wywiad kwestionariuszowy. Warszawa: Wyd. IFiS PAN

 Sztabiński P.B. 1997. Ankieterzy i ich respondenci, Warszawa: Wyd. IFiS PAN.

 Sztabiński P. B., Sztabiński F., Sawiński Z. (red.). 2004. Nowe metody, nowe podejścia badawcze w naukach społecznych, Warszawa: Wyd. IFiS PAN

 Sztabiński P.B. 2001. Wywiad osobisty ze wspomaganiem komputerowym (CAPI): czy rzeczywiście idealna technika? ASK 10.

 Sztabiński P. B. 2006. Dlaczego respondenci uczestniczą lub nie uczestniczą w badaniach ? Porównanie 1994 – 2004, ASK 15

 Sztabiński P. B., Sztabiński F. 1997. Wartość odpowiedzi w wywiadzie telefonicznym ze wspomaganiem komputerowym (CATI), ASK 1-2

Po ukończeniu zajęć student:

 rozumie mechanizmy tworzenia i realizacji projektów i programów publicznych

 posiada wiedzę o rodzajach badań ewaluacyjnych i ich wykorzystaniu w poszczególnych fazach zarządzania projektami i programami publicznymi

 nabywa podstawowej wiedzy na temat zastosowań podstawowych technik surveyowych wykorzystywanych w procesie ewaluacji

 potrafi zaprojektować badanie ewaluacyjne wybranego projektu

 rozumie proces tworzenia polityki edukacyjnej; w tym rolę interesów, partnerów, rolę Unii Europejskiej i debaty;

 przekłada problemy polityki na pytania badawcze;

 potrafi analizować i interpretować wyniki badań rozróżniając związki przyczynowe i korelacje statystyczne;

 posiada wiedzę na temat metod stosowanych w procesie badań ewaluacyjnych

 potrafi wskazań podstawowe techniki badawcze wykorzystywane w procesie badań ewaluacyjnych

 potrafi stworzyć narzędzia do analizy ilościowej i jakościowej w ramach badań ewaluacyjnych

 rozumie podstawowe ograniczenia metodologiczne i etyczne wynikające z realizacji badań ewaluacyjnych

Egzamin – sprawdzający wiedzę nabytą w trakcie zajęć

Ćwiczenia praktyczne – ocena analizy danych, projektów badania ewaluacyjnego oraz projektów narzędzi ewaluacyjnych przedstawianych w trakcie zajęć

Ocena aktywności w trakcie zajęć