Events
Impact Evaluation Workshop to improve Youth Employment Programs in Poland | Warsztaty z zakresu ewaluacji wpływu na rzecz poprawy programów zatrudnienia młodych w Polsce
February 20-24, 2017Gdansk, Poland | Gdańsk, Polska

The Ministry of Economic Development of Poland requested a reimbursable advisory service to the World Bank to build capacity on impact evaluation for staff of Voivodship and Poviat labor offices engaged in planning, design, and monitoring & evaluation of employment programs and policies.

Thirty-seven government officials from Voivodship and Poviat labor offices and three officials from central ministries participated in the workshop. The workshop was structured in two tracks - technical and policy track. The objective was to teaching participants to appreciate the usefulness of impact evaluations for policy, identify a good evaluation design, and propose an evaluation design useful for their current work. In addition to lectures, these ideas were illustrated through case studies, small group exercises, and demonstrations. The workshop concluded with participants’ presentations of impact evaluation designs for projects that they were working on.

Agenda

___

Ministerstwo Rozwoju zwróciło się do Banku Światowego o pomoc w budowaniu zdolności do przeprowadzania ewaluacji wpływu polityki zatrudnienia w Polsce. Inicjatywa skierowana była do  pracowników wojewódzkich i powiatowych urzędów pracy zajmujących się planowaniem, projektowaniem oraz monitorowaniem i ewaluacją programów i polityk zatrudnienia.
 
W warsztatach wzięło udział trzydziestu siedmiu urzędników wojewódzkich i powiatowych oraz trzech z administracji rządowej. Szkolenie prowadzono w dwóch ścieżkach – technicznej oraz dla decydentów. Celem było uświadomienie uczestnikom przydatności prowadzenia ewaluacji wpływu dla kształtowania swoich działań jak również praktyczna nauka rozpoznawania dobrego modelu ewaluacji oraz zaproponowanie projektu ewaluacji przydatnego do ich bieżącej pracy. Uczestnicy zdobywali wiedzę w drodze wykładów, studium przypadków jak również pokazów i ćwiczeń w małych grupach. Warsztat zakończyły się prezentacjami uczestników, w których przedstawili własne propozycje ewaluacji wpływu projektów, nad którymi pracują.

Program

kliknij w tytuł sesji by pobrać prezentację

 

Poniedziałek – 20 lutego 2017 r.

9:30-10:00

Rejestracja

10:00-10:15
 
Powitanie
Joanna Witkowska, Dyrektor Wojewódzkiego Urzędu Pracy w Gdańsku

10:15-11:30

Wstęp do ewaluacji wpływu
Celine Ferre, Bank Światowy

11:30-11:45

Przerwa kawowa

11:45-13:00

Projektowanie eksperymentu – Część 1: Dobre i złe scenariusze kontrfaktyczne
Maciej Jakubowski, Uniwersytet Warszawski, Evidence Institute

13:00-14:00

Obiad

14:00-15:00

 
Studium  przypadku:  W  poszukiwaniu  metody  ewaluacji  dla  projektów
realizowanych w Polsce

Tomasz Gajderowicz, Uniwersytet Warszawski

15:00-16:00

Studium przypadku: Eksperymenty kontrolowane
Celine Ferre, Bank Światowy

16:00-16:30

Przerwa kawowa

16:30-17:30
 
Ćwiczenia: Przydział losowy w praktyce
Piotr Ćwiakowski, Uniwersytet Warszawski, Ministerstwo Finansów

 

Wtorek – 21 lutego 2017 r.

09:15-9:30

Przypomnienie informacji z dnia poprzedniego
Julieta Trias, Bank Światowy

09:30-11:00

Projektowanie eksperymentu – Część 2
Julieta Trias, Bank Światowy
11:00-11:30 Przerwa kawowa

11:30-12:30

Wykorzystanie danych administracyjnych w eksperymentach kontrolowanych
Julieta Trias, Bank Światowy

12:30-14:00

Obiad

14:00-15:30
(sesja plenarna wspólnie ze ścieżką decyzyjną)
Ramy wyników
Celine Ferre, Bank Światowy


 
15:30-15:45 Przerwa kawowa
15:45-17:45
(sesja grupowa wspólnie ze ścieżką decyzyjną)

 
Praca w grupach: Wybór programu do ewaluacji oraz konstrukcji ram wyników 
Moderator: Specjalista ds. ewaluacji wpływu
Uczestnicy zostaną przydzieleni do grup, aby wspólnie pracować z uczestnikami ścieżki decyzyjnej w celu opracowania ram wyników dla projektu i określenia, w jaki sposób będzie działał program i jaki będzie oczekiwany łańcuch wyników. Zapewniony zostanie szablon, aby ukierunkować ćwiczenia w ciągu tygodnia. Przez resztę tygodnia zespół będzie pracował nad projektem ewaluacji.
18:00 Kolacja

 

Środa – 22 lutego 2017 r.

08:30-10:30
(sesja plenarna 
wraz ze ścieżką 
decyzyjną)
Dostępność danych o beneficjentach programów rynku pracy w Polsce
Matteo Morgandi, Bank Światowy

 
10:30-10:45 Przerwa kawowa
10:45-12:00
 
Model regresji nieciągłej
Maciej Wilamowski, Uniwersytet Warszawski
12:00-13:30 Obiad
13:30-14:30
 
Różnica w różnicy oraz inne metody
Celine Ferre, Bank Światowy
14:30-15:45
 
Zastosowania: Ewaluacje programów rynku pracy w Danii i na Łotwie
Celine Ferre, Bank Światowy
15:45-16:00 Przerwa kawowa
16:00-17:15
(sesja grupowa
wspólnie ze
ścieżką
decyzyjną)
   
Praca w grupach II: Projekt ewaluacji
Moderator: Specjalista ds. ewaluacji wpływu
Każdy z zespołów będzie kontynuował pracę nad wybranym projektem z pomocą 
moderatora. Zespół określi pytania, na które należy odpowiedzieć z pomocą 
ewaluacji  oraz  metodę,  która  zostanie  zastosowana.  Zapewniony  zostanie 
szablon, aby ukierunkować ćwiczenia.

 

Czwartek – 23 lutego 2017 r.

08:30-10:00
 

Dobór metody ewaluacji wpływu
Celine Ferre, Bank Światowy

10:00-10:30

Przerwa kawowa

10:30-12:00
 

Ustalanie mocy testu i optymalnej wielkości próby
Piotr Ćwiakowski, Uniwersytet Warszawski

12:00-13:30

Obiad

13:30-14:30
 

Zalecenia praktyczne w planowaniu ewaluacji wpływu
Karolina Goraus-Tańska, Bank Światowy

14:30-15:00

Ocena

15:00-17:15
(przerwa
kawowa
16:15-16:30)

Praca w grupach III: Projekt ewaluacji i dane
Moderator: Specjalista ds. ewaluacji wpływu
Każdy z zespołów będzie kontynuował pracę nad projektem ewaluacji z pomocą
moderatora. Zespół określi również rezultaty, wskaźniki oraz źródło danych.

17:45

Kolacja

 

Piątek – 24 lutego 2017 r.

08:30-10:30



 

Prezentacje grupowe
Moderator: Tomasz Gajderowicz, Uniwersytet Warszawski
Zespoły projektowe zaprezentują swoje wyniki grupie plenarnej przy użyciu
szablonu PowerPoint. Praktyczne informacje zwrotne dotyczące projektu zostaną
udzielone przez pracowników naukowych, moderatorów oraz pozostałe zespoły.

10:30-11:00

Przerwa kawowa

11:00-12:00

Zakończenie i rozdanie certyfikatów

 

Julieta Trias, Bank Światowy

12:00-13:30

Obiad

 

 

Celine Ferre, Bank Światowy

Celine Ferre, Bank Światowy

Celine Ferre, Bank Światowy

Moderator: Specjalista ds. ewaluacji wpływu

Zespoły projektowe zaprezentują swoje wyniki grupie plenarnej przy użyciu

Zespoły projektowe zaprezentują swoje wyniki grupie plenarnej przy użyciu

Uczestnicy zostaną przydzieleni do grup, aby wspólnie pracować z uczestnikami

Uczestnicy zostaną przydzieleni do grup, aby wspólnie pracować z uczestnikami

Zapewniony zostanie szablon, aby ukierunkować ćwiczenia.

Zapewniony zostanie szablon, aby ukierunkować ćwiczenia.

Celine Ferre, Bank Światowy

(model regresji nieciągłej, różnica w różnicy oraz inne metody)

(model regresji nieciągłej, różnica w różnicy oraz inne metody)

realizowanych w Polsce

Monday - February 20, 2017

9:30-10:00 am

Registration
10:00-10:15 am Welcome
Joanna Witkowska, Director of Regional Labor Office in Gdańsk

10:15-11:30 am

Overview on Impact Evaluation
Celine Ferre, World Bank

11:30-11:45 am

Coffee Break
11:45-1:00 pm Experimental Design – Part 1: Good and bad counterfactuals 
Maciej Jakubowski, Evidence Institute

1:00-2:00 pm

Lunch
2:00 – 3:00 pm Exercise: Counterfactuals
Tomasz Gajderowicz, University of Warsaw

3:00-4:00 pm

Case Study: Randomized Control Trials
Celine Ferre, World Bank

4:00-4.30 pm

Coffee Break
4:30-5.30 pm Exercise: Randomization in practice using Excel
Piotr Ćwiakowski, University of Warsaw

 

Tuesday - February 21, 2017

9:15-9:30 am Recapitulation
Julieta Trias, World Bank

9:30-11:00 am

Experimental Design – Part 2
Julieta Trias, World Bank

11:00-11:30 am

Coffee Break
11:30-12:30 pm Randomized Control Trial and Administrative Data
Julieta Trias, World Bank

12:30-2:00 pm

Lunch
2:00 – 3:30 pm
(plenary session jointly with the policy track)
Results Framework
Celine Ferre, World Bank

3:30-3.45 pm

Coffee Break
3:45-5.45 pm
(group session jointly with the policy track)
Group Work: Select a program to evaluate and build the results framework
Facilitator: Impact Evaluation Expert
Participants will be assigned to groups to work jointly with participants from the technical track on establishing the results framework for the project in order to define how the program work and the results chain expected. A template is provided to guide the exercise during the week.  Team will continue the rest of the week working on the design of the evaluation.

6:00 pm

Reception

 

Wednesday - February 22, 2017

8:30-10:30 am
(plenary session jointly with the technical track)
Mapping Administrative data
Matteo Morgandi, World Bank

10:30-10:45 am

Coffee Break
10:45-12:00 pm Regression discontinuity
Maciej Wilamowski, University of Warsaw

12:00-1:30 pm

Lunch
1:30-2:30 pm Differences in Differences and other methods
Celine Ferre, World Bank
2:30 – 3:45 pm Applications: Evaluations of employment programs in Denmark and Latvia
Celine Ferre, World Bank                                              
3:45-4:00 pm Coffee break
4:00-5:15 pm
(plenary session jointly with the technical track)
Group Work II: Evaluation Design
Facilitator: Impact Evaluation Expert
Each team will continue to work on the chosen project with the guidance of a facilitator. The team will define the questions to be answered with the evaluation and the method to be used. A template will be provided to guide the exercise.

 

Thursday - February 23, 2017

8:30-10:00 am Choosing an Impact Evaluation Method
Celine Ferre, World Bank

10:00-10:30 am

Coffee Break
10:30-12:00 pm Basic Concepts on power calculations
Piotr Ćwiakowski, University of Warsaw

12:00-1:30 pm

Lunch
1:30 – 2:30 pm Route Map to design an evaluation
Karolina Goraus-Tańska, World Bank

2:30-3:00 pm

Assessment
Focus group discussion

3:00-5.15 pm

(coffee break 4:15-4:30 pm)

Group Work III: Evaluation Design, Data and Sample Size
Facilitator: Impact Evaluation Expert
Each team will continue to work on the design of the evaluation with the guidance of a facilitator. The team will also define the outcomes, indicators and source of data.

5:45 pm

Reception

 

Friday - February 24, 2017

8:30-10:30 am Group Presentations
Project teams will present their results to the plenary group using their PowerPoint template. Practical feedback on the design will be given by the faculty, moderators and the other teams.

10:30-11:00 am

Coffee Break
11:00-12:00 pm Closing and Certificates
Julieta Trias, World Bank

12:00-1:30 pm

Lunch

 

kliknij w tytuł sesji by pobrać prezentację

 

Ścieżka decyzyjna
21-22 lutego 2017 r.

Wtorek – 21 lutego 2017 r.

08:45-9:15

Rejestracja

09:15-9:30

 

Powitanie
Przemysław   Herman,   Naczelnik   Wydziału   Ewaluacji,   Departament
Europejskiego Funduszu Społecznego, Ministerstwo Rozwoju

09:30-11:00
 

Przegląd ewaluacji wpływu
Maciej Jakubowski, Uniwersytet Warszawski, Evidence Institute

11:00-11:30

Przerwa kawowa

11:30-13:00
 

Pomiar wpływu I: Jak mierzyć wpływ? Wstęp do projektowania eksperymentów
Maciej Jakubowski, Uniwersytet Warszawski, Evidence Institute

13:00-14:00

Obiad

14:00-15:30
(sesja plenarna
wraz ze ścieżką
techniczną)

Ramy wyników
Celine Ferre, Bank Światowy


15:30-15:45

Przerwa kawowa

15:45-17:45
(sesja grupowa
wspólnie ze ścieżką
techniczną)


Praca w grupach: Wybór programu do ewaluacji oraz konstrukcji ram wyników
Moderator: Specjalista ds. ewaluacji wpływu
Uczestnicy zostaną przydzieleni do grup, aby wspólnie pracować z uczestnikami
ścieżki technicznej w celu opracowania ram wyników dla projektu i określenia,
w jaki sposób będzie działał program i jaki będzie oczekiwany łańcuch wyników.
Zapewniony zostanie szablon, aby ukierunkować ćwiczenia.

18:00

Kolacja

 

Środa – 22 lutego 2017 r.

08:30-10:30
(sesja plenarna wraz ze ścieżką decyzyjną)
Dostępność danych o beneficjentach programów rynku pracy w Polsce
Matteo Morgandi, Bank Światowy

10:30-10:45 Przerwa kawowa

10:45-12:30

 

Pomiar wpływu II: Podstawowe koncepcje wyników quasi-eksperymentalnych
(model regresji nieciągłej, różnica w różnicy oraz inne metody)
Maciej Jakubowski, Uniwersytet Warszawski, Evidence Institute

12:30-13:45

Obiad

13:45-14:45

 

Studium  przypadku:  W  poszukiwaniu  metody  ewaluacji  dla  projektów realizowanych w Polsce
Tomasz Gajderowicz, Uniwersytet Warszawski

14:45-15:45
 

Wykorzystanie danych administracyjnych w eksperymentach kontrolowanych
Karolina Goraus-Tańska, Bank Światowy

15:45-16:00 Przerwa kawowa
16:00-17:15
(sesja grupowa wspólnie ze ścieżką techniczną)



Praca w grupach II: Projekt ewaluacji
Moderator: Specjalista ds. ewaluacji wpływu
Każdy  z  zespołów  będzie  kontynuował  pracę  nad  wybranym  projektem
z pomocą moderatora. Zespół określi pytania, na które należy odpowiedzieć za
pomocą ewaluacji oraz metodę, która zostanie zastosowana. Zapewniony
zostanie szablon, aby ukierunkować ćwiczenia.
17:15-17:30

 
Zakończenie i rozdanie certyfikatów
Julieta Trias, World Bank
Lucilla Bruni, World Bank

 

Policy Track
February 21-22 2017

Tuesday - February 21, 2017

8:45-9:15 am

Registration

9:15-9:30 am

 
Welcome
Przemysław Herman, Head of Evaluation Unit at the Dep. Of European Social Fund, Ministry of Development

9:30-11:00 am
 

Overview on Impact Evaluation
Maciej Jakubowski, Evidence Institute

11:00-11:30 am

Coffee Break

11:30-1:00 pm
 

Measuring Impact I: How to measure impact. Introduction to experimental design
Maciej Jakubowski, Evidence Institute

1:00-2:00 pm

Lunch
2:00 – 3:30 pm
(plenary session jointly with the technical track)
Results Framework
Celine Ferre, World Bank

3:30-3.45 pm

Coffee Break
3:45-5.45 pm
(group session jointly with the policy track)
Group Work: Select a program to evaluate and build the results framework
Moderator: Impact Evaluation Specialists
Participants will be assigned to groups to work jointly with participants from the technical track on establishing the results framework for the project in order to define how the program work and the results chain expected. A template is provided to guide the exercise. 

6:00 pm

Reception

 

Wednesday - February 22, 2017

8:30-10:30 am
(plenary session jointly with the technical track)
Mapping Administrative data
Matteo Morgandi, World Bank

10:30-10:45 am

Coffee Break
10:45-12:30 pm

 
Measuring Impact II: Basic concepts on quasi-experimental results (Regression discontinuity, differences in differences and other methods)
Maciej Jakubowski, Evidence Institute

12:30-1:45 pm

Lunch
1:45-2:45 pm
 
Exercise: Counterfactuals
Tomasz Gajderowicz, University of Warsaw
2:45 – 3:45 pm
 

Randomized Control Trial and Administrative Data
Karolina Goraus-Tańska, World Bank                                                                             

 

3:45-4:00 pm

Coffee break

4:00-5:15 pm
(plenary session jointly with the technical track)
Group Work II: Evaluation Design
Facilitator: Impact Evaluation Expert
Each team will continue to work on the chosen project with the guidance of a facilitator. The team will define the questions to be answered with the evaluation and the method to be used. A template will be provided to guide the exercise.

5:15-5:30 pm

Closing and Certificates
Julieta Trias, World Bank
Lucilla Bruni, World Bank

 

EVENT DETAILS
  • Date: February 20-24, 2017
  • Location: Gdansk, Poland