The unintended consequences of school inspec1ons Karen - - PowerPoint PPT Presentation

The ¡unintended ¡consequences ¡of ¡ ¡ school ¡inspec1ons ¡

¡

Karen ¡Jones ¡& ¡Peter ¡Tymms ¡

¡

¡ ¡ ¡ Contribu*ng ¡authors: ¡David ¡Kemethofer, ¡ ¡ Joe ¡O’Hara, ¡ ¡ Eva ¡Myrberg, ¡ ¡ Guri ¡Skedsmo, ¡ ¡ Stephan ¡Huber, ¡ ¡ David ¡Greger, ¡ ¡ Melanie ¡Ehren ¡ ¡

Overview ¡

• Context ¡of ¡the ¡paper ¡
• Inspec*on ¡in ¡Europe ¡
• Background ¡literature ¡and ¡ra*onale ¡
• Research ¡Ques*ons ¡
• Method/survey ¡instrument ¡
• Results ¡
• Summary ¡
• Hot ¡of ¡the ¡press ¡– ¡teacher ¡survey ¡results ¡

Context ¡of ¡the ¡paper ¡

• Part ¡of ¡an ¡EU ¡funded ¡project ¡ ¡

“The ¡impact ¡of ¡school ¡inspec*ons ¡on ¡teaching ¡and ¡ learning” ¡ ¡

• Ra1onale: ¡
• Empirical ¡evidence ¡limited ¡and ¡inconclusive. ¡ ¡
• £167million ¡on ¡Ofsted ¡in ¡one ¡year ¡

¡

• Project ¡Aims: ¡
• 1. To ¡measure ¡the ¡effects ¡of ¡school ¡inspec*on ¡
• 2. Discover ¡what ¡aspects ¡of ¡inspec*ons ¡work ¡

Countries ¡in ¡the ¡project ¡

• Netherlands ¡
• England ¡
• Ireland ¡
• Sweden ¡
• Austria ¡
• Czech ¡Republic ¡
• Switzerland ¡
• Norway ¡

¡

Inspec*on ¡in ¡Europe ¡ Common ¡to ¡all ¡

– Aim ¡for ¡good ¡educa*on ¡ – Use ¡cyclical ¡inspec*on ¡of ¡all ¡schools ¡ – Use ¡self-­‑evalua*on ¡ – Provide ¡feedback ¡

Differen*ated ¡

– Thresholds ¡ – Publica*on ¡ – Carrots ¡and ¡s*cks ¡

Inspec*on ¡in ¡Europe ¡

• Thresholds ¡(pass/fail) ¡

¡ ¡ ¡ ¡Netherlands ¡

¡ ¡Sweden ¡ ¡England ¡ ¡ ¡Ireland ¡ ¡Czech ¡Republic ¡ ¡Austria ¡ ¡ ¡ ¡ ¡ ¡Switzerland ¡

• Public ¡Repor*ng ¡

¡Netherlands ¡

¡ ¡Sweden ¡ ¡England ¡ ¡ ¡Czech ¡Republic ¡ ¡Ireland ¡ ¡ ¡ ¡Austria ¡ ¡ ¡ ¡ ¡ ¡Switzerland ¡

¡

Literature: ¡Pressure ¡

Altrichter, ¡H. ¡ and ¡ Kemethofer, ¡

• D. ¡(2013) ¡ ¡

¡

Research ¡Ques*ons ¡

¡

• 1. What ¡part ¡does ¡pressure ¡play ¡in ¡precipita4ng ¡

unintended ¡consequences? ¡ ¡

Literature: ¡Categories ¡of ¡unintended ¡effects ¡

• 1. ¡Intended ¡strategic ¡behaviour ¡/ ¡gaming ¡ ¡window ¡dressing ¡

¡ ¡ ¡ ¡misrepresenta*on ¡ ¡fraud ¡and ¡decep*on ¡ ¡orchestra*on ¡of ¡peer ¡review ¡ ¡reshaping ¡the ¡test ¡pool ¡ ¡

• 2. ¡Unintended ¡strategic ¡behaviour

¡formalisa*on ¡& ¡proceduralisa*on ¡ ¡teaching ¡to ¡the ¡test ¡ ¡teaching ¡to ¡inspec*on ¡ ¡tunnel ¡vision ¡ ¡indicator ¡fixa*on ¡ ¡sub-­‑op*misa*on ¡ ¡myopia ¡ ¡convergence ¡ ¡ossifica*on ¡ ¡isomorphism ¡

¡

• 3. ¡Other ¡side ¡effects ¡

¡ ¡stress ¡

¡ ¡ ¡ ¡good ¡schools ¡‘res*ng ¡on ¡their ¡laurels’ ¡ ¡ ¡ ¡ ¡market ¡effects ¡ ¡

De ¡Wolf ¡& ¡Janssens ¡(2007) ¡

Literature: ¡Empirical ¡evidence ¡

• 1. ¡Intended ¡strategic ¡behaviour ¡/ ¡gaming ¡ ¡window ¡dressing ¡ ¡ ¡

¡ ¡ ¡England ¡ ¡ ¡ ¡ ¡misrepresenta*on ¡ ¡ ¡Netherlands ¡ ¡fraud ¡and ¡decep*on ¡ ¡ ¡US ¡ ¡orchestra*on ¡of ¡peer ¡review ¡ ¡reshaping ¡the ¡test ¡pool ¡ ¡US, ¡Netherlands ¡ ¡

• 2. ¡Unintended ¡strategic ¡behaviour

¡formalisa*on ¡& ¡proceduralisa*on ¡ ¡teaching ¡to ¡the ¡test ¡ ¡ ¡England ¡ ¡teaching ¡to ¡inspec*on ¡ ¡tunnel ¡vision ¡ ¡indicator ¡fixa*on ¡ ¡sub-­‑op*misa*on ¡ ¡myopia ¡ ¡convergence ¡ ¡ ¡England, ¡US ¡ ¡ossifica*on ¡ ¡isomorphism ¡

¡

• 3. ¡Other ¡side ¡effects ¡

¡ ¡stress

¡ ¡ ¡England ¡ ¡ ¡ ¡ ¡good ¡schools ¡‘res*ng ¡on ¡their ¡laurels’ ¡ ¡ ¡ ¡ ¡market ¡effects ¡

Research ¡Ques*ons ¡

¡

• 1. What ¡part ¡does ¡pressure ¡play ¡in ¡precipita4ng ¡

unintended ¡consequences? ¡

• 2. What ¡is ¡the ¡prevalence ¡of ¡unintended ¡

consequences ¡of ¡school ¡inspec4ons? ¡ ¡ ¡

Method: ¡survey ¡items ¡

• 1. I ¡discourage ¡teachers ¡to ¡experiment ¡with ¡new ¡teaching ¡

methods ¡that ¡do ¡not ¡fit ¡the ¡scoring ¡rubric ¡of ¡the ¡ Inspectorate ¡

• 2. School ¡inspec*ons ¡have ¡resulted ¡in ¡narrowing ¡curriculum ¡

and ¡instruc*onal ¡strategies ¡in ¡my ¡school ¡

• 3. School ¡inspec*ons ¡have ¡resulted ¡in ¡refocusing ¡curriculum ¡

and ¡teaching ¡and ¡learning ¡strategies ¡in ¡my ¡school ¡

• 4. The ¡latest ¡documents/facts ¡and ¡figures ¡we ¡sent ¡to ¡the ¡

Inspectorate ¡present ¡a ¡more ¡posi*ve ¡picture ¡of ¡the ¡quality ¡

• f ¡our ¡school ¡then ¡how ¡we ¡are ¡really ¡doing ¡
• 5. Prepara*on ¡for ¡school ¡inspec*on ¡is ¡mainly ¡about ¡puing ¡

protocols ¡and ¡procedures ¡in ¡wri*ng ¡that ¡are ¡in ¡place ¡in ¡the ¡ school ¡and ¡gathering ¡documents ¡and ¡data. ¡

Sample ¡sizes ¡and ¡response ¡rates ¡

Primary Secondary Combined ¡ Netherlands 408 359 73 (18%) 15 (4%) 88 England 1422 637 189 (13%) 101 (16%) 290 Sweden 1167 987 567 (49%) 464 (47%) 1031 Ireland 3200 729 123 (4%) 42 (6%) 165 Austria ¡(Styria) 503 194 345 (68%) 149 (77%) 494 Czech ¡republic 150 170 56 (37%) 69 (41%) 125 Switzerland 132 Total 2325 132 Country Targeted ¡Sample Actual ¡sample ¡-­‑ ¡Year ¡1 ¡(response ¡rate ¡in ¡brackets) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Primary ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Secondary

Limita*on, ¡threats ¡and ¡mi*ga*on ¡

Risk ¡of ¡bias ¡from: ¡

¡

• sampling ¡
• low ¡response ¡rates ¡
• missing ¡data ¡
• wording ¡and ¡transla*on ¡

Results ¡

Results ¡

Results ¡

Results ¡

Results ¡

Key ¡Findings ¡

• Pressure ¡is ¡associated ¡with ¡narrowing ¡of ¡

curriculum ¡and ¡refocussing ¡of ¡instruc*onal ¡ strategies ¡ ¡

• Some ¡evidence ¡for ¡ossifica*on ¡
• Some ¡evidence ¡for ¡misrepresenta*on ¡
• Some ¡evidence ¡that ¡inspec*on ¡focuses ¡on ¡

documents ¡and ¡procedures ¡– ¡a ¡“*ck ¡box” ¡

• exercise. ¡ ¡

¡

Hot ¡of ¡the ¡press ¡– ¡teacher ¡survey ¡results ¡ ¡

• Teaching ¡to ¡the ¡test ¡
• Teaching ¡to ¡inspec*on ¡
• Ossifica*on/fear ¡of ¡experimen*ng ¡
• Narrowing ¡of ¡curriculum/teaching ¡strategies ¡
• Misrepresenta*on ¡

Hot ¡of ¡the ¡press ¡– ¡teacher ¡survey ¡results ¡ ¡

My ¡teaching ¡during ¡the ¡inspec*on ¡visit ¡ was ¡the ¡same ¡as ¡my ¡regular ¡teaching ¡

10% ¡

“disagree” ¡or ¡“strongly ¡disagree” ¡

¡

Hot ¡of ¡the ¡press ¡– ¡teacher ¡survey ¡results ¡

The ¡extent ¡to ¡which ¡teaching ¡test-­‑ taking ¡skills ¡are ¡part ¡of ¡teaching ¡

29% ¡

“once ¡a ¡week ¡or ¡more” ¡or ¡“almost ¡every ¡day” ¡

Thank ¡you ¡

• Karen.jones@cem.dur.ac.uk ¡
• schoolinspec*ons.eu ¡