Sprawozdanie z wizyty studyjnej

 

Nazwa wizyty:Wizytastudyjna członków zespołu projektu do USA

Data i miejsce wizyty: Nowy Jork, 13-20.10.2012

Organizator w Polsce:Program wzmocnienia efektywności systemu nadzoru pedagogicznego i oceny jakości pracy szkoły etap III

Organizator  za granicą: dr William Gaudeli

 

Uczestnicy wizyty

 

1.     Laura Rabiej- asystentka koordynatora projektu ds. merytorycznych, odpowiada za zadania związane z organizacją pracy zespołu do spraw narzędzi badawczych, a także zespołów ds. wymagań, koordynatorka wizyty studyjnej do Nowego Jorku,  członkini zespołu projektu UJ.

2.     Paweł Simka- informatyk, odpowiada za funkcjonowanie i usprawnianie platformy internetowej SEO.

3.     Bartłomiej Walczak- trener w programie szkoleń dla wizytatorów i dyrektorów, członek zespołu narzędziowego.

 

Cele wizyty

 

Ogólne:

·        zapoznanie uczestników z zasadami funkcjonowania systemu edukacji i ewaluacji w Nowym Jorku,

·        poznanie rozwiązań związanych z systemem ewaluacji  zastosowanych w Nowym Jorku

·        poznanie rozwiązań dotyczących gromadzenia i analizy danych

Szczegółowe cele uczestników i organizatorów:

·        poznanie, w jaki sposób przebiega proces ewaluacji,

·        poszukiwanie dobrych i skutecznych rozwiązań na poprawę pracy wizytatorów ds. ewaluacji na platformie SEO

·        skorzystanie z  przykładów „dobrych praktyk”  i przeniesienie ich na grunt polskiego nadzoru pedagogicznego,

·        zapoznanie z organizacja pracy inspekcji

·        poznanie procedur prowadzenia badań jakości pracy szkół i innych placówek oświatowych,

·        poznanie sposobów  wspomagania  szkół w procesie edukacji.

Cele Projektu:

·        zapoznanie z narzędziami stosowanymi podczas ewaluacji zewnętrznej,

• współpraca z zagranicznymi ekspertami, korzystanie z ich wiedzy i doświadczenia w długoletnim procesie prowadzenia ewaluacji zarówno na wizycie jak i podtrzymywanie kontaktów w celu wykorzystanie ich wiedzy i doświadczenia podczas międzynarodowej konferencji organizowanej rokrocznie w Polsce, gdzie spotyka się ponad 300 uczestników i wymienia doświadczeniami w zakresie podnoszenia jakości polskiej oświaty.

 

 

Program wizyty

 

Polish Delegation

External Evaluation of Schools Web-based Tools and Resources

Sponsored by Teacher’s College, New York City and the College of Education and Human Development, Bowling Green State University

 

Monday October 15^th, 2012– Meet at Teachers College, Columbia University 525 W. 120^th Street, New York Zankel Hall 420

Overall Contact for delegation: Dr. William Gaudelli (cell) 973-255-8047

7am-9am Breakfast on own

10:30 am-11:00 am - Introduction to Teacher^!s College

11:00am- 12:30 am – Presentation by George Schuessler, Director of Academic Computing, Teachers College

12:30 am-13:00 pm - Campus/Neighborhood Tour

5pm-6pm  -  Dinner on own

 

Tuesday October 16^th, 2012 – Meet at The New York City Department of Education 52 Chambers Street – 4^th floor  --(Reserved Conference Table B) by Room 414

Contact: Greg Betheil (212) 374-0465

9 am – 10 am - Guests are welcome to purchase coffee/breakfast at the Café,

which is located on the 2^nd Floor – Credit Cards Only (no cash)

10 – 10:30 am Orientation by Gregg Betheil, Executive Director, Office of School Programs and Partnership

10:30 am – 11:30 am- Presentation by David Price, Deputy CIO – Enterprise Data Strategy

11:30 am- 12:30 pm- Presentation by Catherine Shannon, Associate Director, Assessment and Accountability New York City Department of Education

12:30 pm – 1 pm- Wrap up by Gregg Betheil, 

1 pm – 2 pm -  Lunch on own  (Lunch can be back at the café or any restaurant around the area)

2 pm – 3 pm - Group Meeting

3 pm – 4 pm - Group Meeting

4 pm – 5 pm - Group Meeting

5 pm – 6 pm - Dinner on own

 

Wednesday, October 17^th – Teachers College, Columbia University 525 W. 120^th Street, New York

Zankel Hall 420

Contact: Santiago Taveras (cell) 973-634-7324

7 am – 8am - Breakfast on own

10 am – 12 am - Accountability systems for schools and principals by Santiago Taveras

12 pm – 1 pm – Lunch on own

2 pm – 4 pm - Group Meeting

 

Thursday, October 18th

Contact: Greg Betheil(212) 374-0465 and/or Santiago Taveras (cell) 973-634-7324

9 am – 10 am - Meet at Hotel Lobby of The Jane 113 Jane Street NY, NY 10014 (212-924-6700)

 

 

Ogólne wnioski i efekty dla Projektu

 

Wnioski, które mogą zostać wdrożone od razu:

1.   Statystyka spełniania kryterium:

·     widoczna w statystykach: agregowane na poziomie wymagania oraz na poziomie kryterium (wg filtrów)

·     ta statystyka pojawia się w raporcie w tabelce podsumowującej poziomy spełniania, a więc obok wymagań pokazujemy też kryteria

·     blokada określania poziomów spełniania wymagania w zależności od spełniania kryteriów wg algorytmu (automatycznie)

2.   Przy każdej literce dodatkowa informacja ile szkół dostaje takie noty. Co to znaczy, że ktoś dostał A, B czy C – opis słowny plus porównanie wyników uzyskanych w podobnych szkołach (tylko wg jakiego klucza dobranych?), linkowanie

3.   Identyfikacja wizualna narzędzi/źródeł – oznaczenie ich np. kolorami. Potem można dać kolorowymi ikonkami info o tym, kto się wypowiadał w każdym kryterium

4.   Wizytatorzy powinni wprowadzać liczbę wydanych ankiet, wskaźnik zwrotów ma się wyświetlać w metryczce

5.   Layot graficzny – identyfikacja szkoły w nagłówku ankiet i raportu

Inne wnioski:

6.     Eksternalizacja – jakie zewnętrzne aplikacje można połączyć z platformą? Spss - poprzez wprowadzenie poleceń w syntaksie.

7.     Integracja z innymi systemami zbierającymi dane o oświacie; SIO, CKE; może to koncept na >2015 Uniwersytety (wg KRK)?

8.     Mechanizm zapraszania rodziców (ankieta on-line), lista mailingowa lub zaproszenia na smsy, kilka dni na wypełnienie, ktoś musi zbudować bazę  (mogą to robić szkoły za pomocą naszego softu) 

9.     Jakie systemy kontroli poprawności wprowadzanych danych możemy wprowadzić (np. filtry)? Kontrolki logiczne wprowadzanych danych w ankietach online, liczba ankiet wydanych rodzicom (np. do umieszczenia przy wypełnianiu noty metodologicznej – widoczna informacja ankiety wypełniło n rodziców, co stanowi % z wydanych ankiet) , liczba zwrotu w stosunku do populacji (na podstawie danych z SIO), platforma daje znać, że jest problem z ilością oddanych ankiet

Wnioski dla zespołu:

10.    wstęp do raportu:

·     ogólny opis wymagań + jak czytać ten raport + link do procedur (modele)

11.    zakładka dobre praktyki na panelu dyrektora (nie tylko na stronie npseo), przenieść wyżej drzewka – zrobić zakładki, pierwsza zakładka odsyłacz do kolejnych zakładek

12.    kontekstualizacja tła: szkoły podzielone wg decyli opartych na analizie czynnikowej zmiennych strukturalnych. Wizytator ma domyślnie wczytywane tło wg takiego klucza (trzeb zrobić klucz), ma dostęp do listy szkół uwzględnionych w porównaniu, może to wyłączyć i definiować samodzielnie. Do porównania uwzględnia się szkoły z danego województwa od początku świata

13.    Wnioski powinny być zbilansowane do literek (mało wysokich ocen – mało optymistycznych wniosków). Ograniczona liczba wniosków jako takich- od strony szkolenia, dodatkowe kryterium do oceny poprawności wniosków-spójność z literkami

14.    Dorzucić do ankiety dla rodziców pytanie o ich zaangażowanie w edukację dziecka – to jest kolejna zmienna strukturalna, chodzi o odrabianie lekcji, itd.

15.    Modele przebiegu ewaluacji dać bardziej na wierzch i połączyć z wymaganiami – drzewkami, kryteriami (wtedy fragmenty komiksu dać jako ikonki do procedury)

16.    Obserwacja

Inne  sprawy, które warto wziąć pod uwagę:

1.     jak podzielić nasz produkt – coś dla rodziców, coś dla profesjonalistów? Czy możemy stworzyć wystandaryzowany produkt dla rodziców, przygotowany wg czytelnego dla nich wzoru? Lead dla wymagania jako element tego skróconego raportu dla rodziców (np. w limicie 500 znaków) wprowadzany do osobnego okna. Lead mógłby się pojawiać na pierwszej stronie karty ewaluacji (litera, statystyka kryterium o szkole i akapit opisu)

2.     Karta ewaluacji to skrócony opis tego co się działo podczas ewaluacji (produkt dla rodziców) tam wyświetlalibyśmy poziomy spełniania, lead oraz krótkie informacje dla tych, którzy chcieliby wiedzieć więcej

3.     Kontrola jakości raportów (jak to robić, wymyślić sposób, wewnętrzny system kontroli nie działa, czyli krytyczni przyjaciele, można przemyśleć przeszkolenie dyrektorów departamentów)

4.     Autoewaluacja jest wprowadzona na platformę wg klucza kryteriów i wzoru: czy spełniamy (jako szkoła) dane kryterium i jakie dowody o tym świadczą.

5.     System kontrolowania poprawności określania spełniania/niespełniania kryteriów – niewiadomo jak to zrobić, ale fajnie byłoby spróbować sprawdzić czy wizytatorzy na bazie danych które mają dobrze określają spełnianie (etat recenzenta który czyta kryteria, połączyć to z wątkiem szkolenia dla dyrektorów departamentów przygotować dla nich check listę do losowego sprawdzania poprawności kryteriów – źródła wnioskowania, poprawność językowa, kontrola wniosków, poprawność ES)

6.     Osobne narzędzie do ewaluacji ODN i PPP (stary pomysł, żeby w  ODN pytać o szkoły, a w szkole o ODN)

7.     Jak sprawić, żeby dane wróciły do szkoły? Dobre praktyki, możliwość porównania się àbudowanie w szkołach kultury podejmowania decyzji opartych na danych àpołączyć z wątkiem dostępu do danych dla nauczycieli

8.     Jak zintegrować ankiety  EZ z EW? tak aby robiąc autoewaluację dyrektorzy zbierali dane, które potem wykorzystają ewaluatorzy prowadząc EZ. Dyrektor wykorzysta mechanizmy naszych on-line. Nie musi być zobligowany, wystarczy zachęcenie. System kontroli jakości tych danych mógłby opierać się na kontrolnych samplach z próby zrealizowanej przez dyra.

9.     Obligatoryjnie porządkować wnioski dzieląc je na plusy i minusy (co jest dobre, co wymaga zmiany)

10.  Jak udostępniać dane n-lom? [LBR:] Przy zaproszeniu dyrektora do ewaluacji i przy zakończeniu ewaluacji (żeby nauczyciele widzieli to samo co dyrektor). Tak samo rodzice też powinni mieć dostęp (przyjazna forma, pan „spinacz” który ich prowadzi)

11.  Krata szkoły na npseo – zawiera info o szkole + raportu z EZ

12.  Pytania do uzupełnienia – mechanizmy kontroli treści i automatyczne mechanizmy generowania treści w raportach (przygotowane scenariusze i w zależności od danych wyświetlenie odpowiedniego scenariusza) 

Informacja dla czytających materiały/dokumenty:

• Śledzenie zmian w dokumentach udostępnianych publicznie – np. oznaczany na czerwono

Struktura raportu:

• Implementacja elementów raportów z ewaluacji zewnętrznej stosowanych w Nowym Jorku (materiały– raporty z ewaluacji)
• Dalsza współpraca z ekspertami z USA, którzy wzięli udział w konferencji międzynarodowej, która odbyła się  w ramach projektu w dniach 23 marca do 26 marca 2013r. w Krakowie. Więcej na stronie http://www.npseo.pl/action/subsite/konferencja2013

Efekty wizyty studyjnej w Nowym Jorku dla systemu  dotyczą:

 

1. Zmiany struktury i sposobu pisania raportu z ewaluacji (w tym przeniesienie wniosków na początek raportu, wizualizacja danych w raporcie, dodanie tabel przedstawiających spełniania/niespełniania danego kryterium), przez co raport z ewaluacji zewnętrznej stał się bardziej atrakcyjny i czytelny dla takich grup odbiorców jak JST czy rodzice. Raport atrakcyjny dla środowiska szkoły to szansa na popularyzowanie wyników ewaluacji w środowisku, a tym samym promowanie uczenia się poprzez badanie.

Przykłady raportów dostępne są na platformie internetowej SEO. http://www.seo2.npseo.pl/seoEvaluationList/evaluationFilter

 

1. Zmiany w procesie prowadzenia badania - zwiększenie roli obserwacji zajęć w badaniu, zmodyfikowanie pytań w narzędziach badawczych.  Nowe lub zmodyfikowane narzędzia badawcze pozwalają wizytatorom zwracać uwagę na najważniejsze elementy procesu uczenia się uczniów. Poprzez zwrócenie w badaniu uwagi na powszechny udział uczniów w działaniach proponowanych przez nauczyciela, współpracę uczniów na lekcji  czy uczenie się uczniów od siebie nawzajem porusza kwestie zmiany polityki szkolnej w przypadku, kiedy polityka ta nie uwzględnia uczenia się opartego na współpracy.

Zmodyfikowane narzędzia badania dostępne są na platformie internetowej SEO:

http://seo2.npseo.pl/seo_tools_categories/tree_modify?id=2916

                                                                                 

1. Zmiany rozumienia wymagań państwa dotyczących podstawy programowej 
   i procesów edukacyjnych tak, aby możliwe było skuteczne wdrożenie „nowej podstawy programowej”.  Uczestnicy wizyty studyjnej dowiedzieli się, że ewaluacja ma bezpośredni wpływ na późniejsze działania nauczycieli, a przede wszystkim na charakter podejmowanych przez nich działań.  Nowe brzmienie charakterystyk wymagań państwa wobec szkół po pierwsze ułatwia ich interpretację przez nauczycieli, po drugie staje się wsparciem w realizacji „nowej podstawy programowej” i  pozwala zrozumieć istotę tego dokumentu.

Nowe brzmienia rozporządzenia dostępne jest na:

http://www.bip.men.gov.pl/images/stories/rozporzadzenia/10_05_2013.pdf

1. Zwiększenia nacisku na współpracę i współdziałanie nauczycieli w systemie ewaluacji oświaty. Uczestnicy wizyty dowiedzieli się, że w dzisiejszych czasach współpraca nauczycieli w planowaniu procesów edukacyjnych ma kluczowe znaczenia dla rozwoju uczniów.

 

1. Ukazania bezpośredniego wpływu ewaluacji szkół zarówno  w USA, jak i w Polsce, na prowadzenie polityki oświatowej państwa. Ewaluacja szkół może być również narzędziem wpływu na działania nauczycieli w szkołach. W naszym systemie narzędziem tym będzie tzw. przewodnik po wymaganiach.

 

1. Prac zespołu Projektu związanych z zaplanowanie, zrealizowaniem i wdrożeniem następujących zmian:

 

 

1. W okresie do kwietnia 2013 trwały prace nad modyfikacją załącznika do rozporządzenia MEN zmieniającego rozporządzenia w sprawie nadzoru pedagogicznego z dnia 9.10.2009r. w tym zmiany treści charakterystyk wymagania wobec szkół dotyczące podstawy programowej i procesów edukacyjnych.
2. W okresie do 01.09.2013r. zostały wprowadzone zmiany dotyczące:
   1. procesu kształcenia wizytatorów ds. ewaluacji,
   2. wprowadzenia nowych scenariuszy sesji dla dyrektorów szkół,
   3. modyfikacji narzędzi badawczych,
   4. wprowadzenia nowej formuły raportu z ewaluacji zewnętrznej.
3. Okresie do czerwca 2015 (czas trwania projektu) i po zakończeniu projektu:
   1. ulepszania systemu ewaluacji oświaty, w tym stworzenie przewodnika po wymaganiach,
   2. włączenie do współpracy z Projektem wszystkich podmiotów sprawujących nadzór pedagogiczny,
   3. projektowane nowych wzorów edukacyjnych opartych na wiedzy wynikającej z badań,
   4. zmiana filozofii pracy nauczycieli z podstawą programową i programami nauczania tak, aby to programy nauczania były elementem wsparcia w realizacji podstawy,
   5. opracowanie systemu współpracy wizytatorów, dyrektorów, zewnętrznego i wewnętrznego systemu dokształcania nauczycieli w celu dzielenia się „dobrymi praktykami”.