The unintended consequences of school inspec1ons Karen - PowerPoint PPT Presentation

The ¡unintended ¡consequences ¡of ¡ ¡ school ¡inspec1ons ¡ ¡ Karen ¡Jones ¡& ¡Peter ¡Tymms ¡ ¡ Contribu*ng ¡authors: ¡David ¡Kemethofer, ¡ ¡ Joe ¡O’Hara, ¡ ¡ ¡ Eva ¡Myrberg, ¡ ¡ ¡ Guri ¡Skedsmo, ¡ ¡ ¡ Stephan ¡Huber, ¡ ¡ David ¡Greger, ¡ ¡ Melanie ¡Ehren ¡ ¡

Overview ¡ • Context ¡of ¡the ¡paper ¡ • Inspec*on ¡in ¡Europe ¡ • Background ¡literature ¡and ¡ra*onale ¡ • Research ¡Ques*ons ¡ • Method/survey ¡instrument ¡ • Results ¡ • Summary ¡ • Hot ¡of ¡the ¡press ¡– ¡teacher ¡survey ¡results ¡

Context ¡of ¡the ¡paper ¡ • Part ¡of ¡an ¡EU ¡funded ¡project ¡ ¡ “The ¡impact ¡of ¡school ¡inspec*ons ¡on ¡teaching ¡and ¡ learning” ¡ ¡ • Ra1onale: ¡ • Empirical ¡evidence ¡limited ¡and ¡inconclusive. ¡ ¡ • £167million ¡on ¡Ofsted ¡in ¡one ¡year ¡ ¡ • Project ¡Aims: ¡ 1. To ¡measure ¡the ¡effects ¡of ¡school ¡inspec*on ¡ 2. Discover ¡what ¡aspects ¡of ¡inspec*ons ¡work ¡

Countries ¡in ¡the ¡project ¡ • Netherlands ¡ • England ¡ • Ireland ¡ • Sweden ¡ • Austria ¡ • Czech ¡Republic ¡ • Switzerland ¡ • Norway ¡ ¡

Inspec*on ¡in ¡Europe ¡ Common ¡to ¡all ¡ – Aim ¡for ¡good ¡educa*on ¡ – Use ¡cyclical ¡inspec*on ¡of ¡all ¡schools ¡ – Use ¡self-­‑evalua*on ¡ – Provide ¡feedback ¡ Differen*ated ¡ – Thresholds ¡ – Publica*on ¡ – Carrots ¡and ¡s*cks ¡

Inspec*on ¡in ¡Europe ¡ • Thresholds ¡(pass/fail) ¡ ¡ ¡ ¡ ¡ Netherlands ¡ ¡ ¡Sweden ¡ ¡England ¡ ¡ ¡Ireland ¡ ¡Czech ¡Republic ¡ ¡Austria ¡ ¡ ¡ ¡ ¡ ¡Switzerland ¡ • Public ¡Repor*ng ¡ ¡ Netherlands ¡ ¡ ¡Sweden ¡ ¡England ¡ ¡ ¡Czech ¡Republic ¡ ¡Ireland ¡ ¡ ¡ ¡Austria ¡ ¡ ¡ ¡ ¡ ¡Switzerland ¡ ¡

Literature: ¡Pressure ¡ Altrichter, ¡H. ¡ and ¡ Kemethofer, ¡ D. ¡(2013) ¡ ¡ ¡

Research ¡Ques*ons ¡ ¡ 1. What ¡part ¡does ¡pressure ¡play ¡in ¡precipita4ng ¡ unintended ¡consequences? ¡ ¡

Literature: ¡Categories ¡of ¡unintended ¡effects ¡ 1. ¡Intended ¡strategic ¡behaviour ¡/ ¡gaming ¡ ¡ window ¡dressing ¡ ¡ ¡ ¡ ¡misrepresenta*on ¡ ¡fraud ¡and ¡decep*on ¡ ¡orchestra*on ¡of ¡peer ¡review ¡ ¡reshaping ¡the ¡test ¡pool ¡ ¡ 2. ¡Unintended ¡strategic ¡behaviour ¡ formalisa*on ¡& ¡proceduralisa*on ¡ ¡teaching ¡to ¡the ¡test ¡ ¡teaching ¡to ¡inspec*on ¡ ¡tunnel ¡vision ¡ ¡indicator ¡fixa*on ¡ ¡sub-­‑op*misa*on ¡ ¡myopia ¡ ¡convergence ¡ ¡ossifica*on ¡ ¡isomorphism ¡ ¡ 3. ¡Other ¡side ¡effects ¡ ¡ stress ¡ ¡ ¡ ¡ ¡ ¡good ¡schools ¡‘res*ng ¡on ¡their ¡laurels’ ¡ ¡ ¡ ¡ ¡market ¡effects ¡ ¡ De ¡Wolf ¡& ¡Janssens ¡(2007) ¡

Literature: ¡Empirical ¡evidence ¡ 1. ¡Intended ¡strategic ¡behaviour ¡/ ¡gaming ¡ ¡ window ¡dressing ¡ ¡ ¡ ¡ ¡ ¡England ¡ ¡ ¡ ¡ ¡misrepresenta*on ¡ ¡ ¡Netherlands ¡ ¡fraud ¡and ¡decep*on ¡ ¡ ¡US ¡ ¡orchestra*on ¡of ¡peer ¡review ¡ ¡reshaping ¡the ¡test ¡pool ¡ ¡US, ¡Netherlands ¡ ¡ 2. ¡Unintended ¡strategic ¡behaviour ¡ formalisa*on ¡& ¡proceduralisa*on ¡ ¡teaching ¡to ¡the ¡test ¡ ¡ ¡England ¡ ¡teaching ¡to ¡inspec*on ¡ ¡tunnel ¡vision ¡ ¡indicator ¡fixa*on ¡ ¡sub-­‑op*misa*on ¡ ¡myopia ¡ ¡convergence ¡ ¡ ¡England, ¡US ¡ ¡ossifica*on ¡ ¡isomorphism ¡ ¡ 3. ¡Other ¡side ¡effects ¡ ¡ stress ¡ ¡ ¡England ¡ ¡ ¡ ¡ ¡ ¡good ¡schools ¡‘res*ng ¡on ¡their ¡laurels’ ¡ ¡ ¡ ¡ ¡market ¡effects ¡

Research ¡Ques*ons ¡ ¡ 1. What ¡part ¡does ¡pressure ¡play ¡in ¡precipita4ng ¡ unintended ¡consequences? ¡ 2. What ¡is ¡the ¡prevalence ¡of ¡unintended ¡ consequences ¡of ¡school ¡inspec4ons? ¡ ¡ ¡

Method: ¡survey ¡items ¡ 1. I ¡discourage ¡teachers ¡to ¡experiment ¡with ¡new ¡teaching ¡ methods ¡that ¡do ¡not ¡fit ¡the ¡scoring ¡rubric ¡of ¡the ¡ Inspectorate ¡ 2. School ¡inspec*ons ¡have ¡resulted ¡in ¡narrowing ¡curriculum ¡ and ¡instruc*onal ¡strategies ¡in ¡my ¡school ¡ 3. School ¡inspec*ons ¡have ¡resulted ¡in ¡refocusing ¡curriculum ¡ and ¡teaching ¡and ¡learning ¡strategies ¡in ¡my ¡school ¡ 4. The ¡latest ¡documents/facts ¡and ¡figures ¡we ¡sent ¡to ¡the ¡ Inspectorate ¡present ¡a ¡more ¡posi*ve ¡picture ¡of ¡the ¡quality ¡ of ¡our ¡school ¡then ¡how ¡we ¡are ¡really ¡doing ¡ 5. Prepara*on ¡for ¡school ¡inspec*on ¡is ¡mainly ¡about ¡puing ¡ protocols ¡and ¡procedures ¡in ¡wri*ng ¡that ¡are ¡in ¡place ¡in ¡the ¡ school ¡and ¡gathering ¡documents ¡and ¡data. ¡

Sample ¡sizes ¡and ¡response ¡rates ¡ Targeted ¡Sample Actual ¡sample ¡-­‑ ¡Year ¡1 ¡(response ¡rate ¡in ¡brackets) Country Primary Secondary ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Primary ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Secondary Combined ¡ Netherlands 408 359 73 (18%) 15 (4%) 88 England 1422 637 189 (13%) 101 (16%) 290 Sweden 1167 987 567 (49%) 464 (47%) 1031 Ireland 3200 729 123 (4%) 42 (6%) 165 Austria ¡(Styria) 503 194 345 (68%) 149 (77%) 494 Czech ¡republic 150 170 56 (37%) 69 (41%) 125 132 Switzerland 132 Total 2325

Limita*on, ¡threats ¡and ¡mi*ga*on ¡ Risk ¡of ¡bias ¡from: ¡ ¡ • sampling ¡ • low ¡response ¡rates ¡ • missing ¡data ¡ • wording ¡and ¡transla*on ¡

Results ¡

Results ¡

Results ¡

Results ¡

Results ¡

Key ¡Findings ¡ • Pressure ¡is ¡ associated ¡with ¡narrowing ¡of ¡ curriculum ¡and ¡refocussing ¡of ¡instruc*onal ¡ strategies ¡ ¡ • Some ¡evidence ¡for ¡ossifica*on ¡ • Some ¡evidence ¡for ¡misrepresenta*on ¡ • Some ¡evidence ¡that ¡inspec*on ¡focuses ¡on ¡ documents ¡and ¡procedures ¡– ¡a ¡“*ck ¡box” ¡ exercise. ¡ ¡ ¡

Hot ¡of ¡the ¡press ¡– ¡teacher ¡survey ¡results ¡ ¡ • Teaching ¡to ¡the ¡test ¡ • Teaching ¡to ¡inspec*on ¡ • Ossifica*on/fear ¡of ¡experimen*ng ¡ • Narrowing ¡of ¡curriculum/teaching ¡strategies ¡ • Misrepresenta*on ¡

Hot ¡of ¡the ¡press ¡– ¡teacher ¡survey ¡results ¡ ¡ My ¡teaching ¡during ¡the ¡inspec*on ¡visit ¡ was ¡the ¡same ¡as ¡my ¡regular ¡teaching ¡ 10% ¡ “disagree” ¡or ¡“strongly ¡disagree” ¡ ¡

Hot ¡of ¡the ¡press ¡– ¡teacher ¡survey ¡results ¡ The ¡extent ¡to ¡which ¡teaching ¡test-­‑ taking ¡skills ¡are ¡part ¡of ¡teaching ¡ 29% ¡ “once ¡a ¡week ¡or ¡more” ¡or ¡“almost ¡every ¡day” ¡

Thank ¡you ¡ • Karen.jones@cem.dur.ac.uk ¡ • schoolinspec*ons.eu ¡