Seeing US education through the prism of international comparisons - - PowerPoint PPT Presentation

Seeing US education through the prism of international comparisons

The OECD Programme for International Student Assessment (PISA)

Andreas Schleicher

OECD Director for Education and Skills

PISA in brief

Every ¡three ¡years ¡since ¡2000, ¡over ¡half ¡a ¡million ¡students… ¡

• ­‑

represen'ng ¡15-­‑year-­‑olds ¡in ¡now ¡over ¡80 ¡countries ¡

… ¡take ¡an ¡interna9onally ¡agreed ¡2-­‑hour ¡test… ¡

• ­‑

that ¡goes ¡beyond ¡whether ¡students ¡can ¡reproduce ¡what ¡they ¡were ¡taught ¡to ¡assess ¡students’ ¡ capacity ¡to ¡extrapolate ¡from ¡what ¡they ¡know ¡and ¡crea'vely ¡use ¡and ¡apply ¡their ¡knowledge ¡

• ­‑

Focus ¡on ¡mathema'cs, ¡science ¡and ¡reading ¡

• ­‑

Problem-­‑solving, ¡collabora've ¡problem-­‑solving, ¡crea've ¡thinking, ¡financial ¡literacy ¡

… ¡and ¡respond ¡to ¡ques9ons ¡on… ¡

• ­‑

their ¡personal ¡background, ¡their ¡schools, ¡their ¡well-­‑being ¡and ¡their ¡mo'va'on ¡

Teachers, ¡principals, ¡parents ¡and ¡system ¡leaders ¡provide ¡data ¡on: ¡

• ­‑

school ¡policies, ¡prac'ces, ¡resources ¡ ¡and ¡ins'tu'onal ¡factors ¡ ¡ that ¡help ¡explain ¡performance ¡differences ¡

PISA 2015

OECD Partners

Trends in science performance (PISA)

450 470 490 510 530 550 570

Student performance

2006 ¡ 2009 ¡ 2012 ¡ 2015 ¡

Trends in science performance (PISA)

450 470 490 510 530 550 570

2006 ¡ 2009 ¡ 2012 ¡ 2015 ¡ OECD average

Singapore Japan Estonia Chinese Tapei Finland Macao (China) Canada Vietnam Hong Kong (China) B-S-J-G (China) Korea New Zealand Slovenia Australia United Kingdom Germany Netherlands Switzerland Ireland Belgium Denmark Poland Portugal Norway United States Austria France Sweden Czech Rep. Spain Latvia Russia Luxembourg Italy Hungary Lithuania Croatia CABA (Argentina) Iceland Israel Malta Slovak Rep. Greece Chile Bulgaria United Arab Emirates Uruguay Romania Moldova Albania Turkey Trinidad and Tobago Thailand Costa Rica Qatar Colombia Mexico Montenegro Jordan Indonesia Brazil Peru Lebanon Tunisia FYROM Kosovo Algeria Dominican Rep. (332)

350 400 450 500 550 5 10 15 20 25 Mean science performance Higher perfomance High performance High equity Low performance Low equity Low performance High equity High performance High equity

Science performance in PISA (2015)

More equity

Singapore Japan Estonia Chinese Tapei Finland Macao (China) Canada Viet Nam Hong Kong (China) B-S-J-G (China) Korea New Zealand Slovenia Australia United Kingdom Germany Netherlands Switzerland Ireland Belgium Denmark Poland Portugal Norway United States Austria France Sweden Czech Rep. Spain Latvia Russia Luxembourg Italy Hungary Lithuania Croatia Iceland Israel Malta Slovak Rep. Greece Chile Bulgaria United Arab Emirates Uruguay Romania Moldova Turkey Trinidad and Tobago Thailand Costa Rica Qatar Colombia Mexico Montenegro Jordan Indonesia Brazil Peru Lebanon Tunisia FYROM Kosovo Algeria Dominican Rep. (332)

350 400 450 500 550 Mean science performance Higher perfomance

Science performance and equity in PISA (2015)

Some countries combine excellence with equity

More equity More equity

Poverty is not destiny – Learning outcomes

by international deciles of the PISA index of economic, social and cultural status (ESCS)

280 330 380 430 480 530 580 630

Dominican Republic 40 Algeria 52 Kosovo 10 Qatar 3 FYROM 13 Tunisia 39 Montenegro 11 Jordan 21 United Arab Emirates 3 Georgia 19 Lebanon 27 Indonesia 74 Mexico 53 Peru 50 Costa Rica 38 Brazil 43 Turkey 59 Moldova 28 Thailand 55 Colombia 43 Iceland 1 Trinidad and Tobago 14 Romania 20 Israel 6 Bulgaria 13 Greece 13 Russia 5 Uruguay 39 Chile 27 Latvia 25 Lithuania 12 Slovak Republic 8 Italy 15 Norway 1 Spain 31 Hungary 16 Croatia 10 Denmark 3 OECD average 12 Sweden 3 Malta 13 United States 11 Macao (China) 22 Ireland 5 Austria 5 Portugal 28 Luxembourg 14 Hong Kong (China) 26 Czech Republic 9 Poland 16 Australia 4 United Kingdom 5 Canada 2 France 9 Korea 6 New Zealand 5 Switzerland 8 Netherlands 4 Slovenia 5 Belgium 7 Finland 2 Estonia 5 Viet Nam 76 Germany 7 Japan 8 Chinese Taipei 12 B-S-J-G (China) 52 Singapore 11

Score points Bottom decile Second decile Middle decile Ninth decile Top decile

Figure I.6.7

% of students in the bottom international deciles of ESCS

OECD median student

Students expecting a career in science

Figure I.3.2

5 10 15 20 25 30 35 40 45 50

Dominican Rep. 12 Costa Rica 11 Jordan 6 United Arab Em. 11 Mexico 6 Colombia 8 Lebanon 15 Brazil 19 Peru 7 Qatar 19 United States 13 Chile 18 Tunisia 19 Canada 21 Slovenia 16 Turkey 6 Australia 15 United Kingdom 17 Malaysia 4 Kazakhstan 14 Spain 11 Norway 21 Uruguay 17 Singapore 14 Trinidad and T. 13 Israel 25 CABA (Arg.) 19 Portugal 18 Bulgaria 25 Ireland 13 Kosovo 7 Algeria 12 Malta 11 Greece 12 New Zealand 24 Albania 29 Estonia 15 OECD average 19 Belgium 16 Croatia 17 FYROM 20 Lithuania 21 Iceland 22 Russia 19 HKG (China) 20 Romania 20 Italy 17 Austria 23 Moldova 7 Latvia 19 Montenegro 18 France 21 Luxembourg 18 Poland 13 Macao (China) 10 Chinese Taipei 21 Sweden 21 Thailand 27 Viet Nam 13 Switzerland 22 Korea 7 Hungary 22 Slovak Republic 24 Japan 18 Finland 24 Georgia 27 Czech Republic 22 B-S-J-G (China) 31 Netherlands 19 Germany 33 Indonesia 19 Denmark 48

% Percentage of students who expect to work in science-related professional and technical occupations when they are 30 Science-related technicians and associate professionals Information and communication technology professionals Health professionals Science and engineering professionals

% ¡of ¡students ¡with ¡ vague ¡or ¡missing ¡ expecta'ons ¡

Singapore ¡ Canada ¡ Slovenia ¡ Australia ¡ United ¡Kingdom ¡ Ireland ¡ Portugal ¡

Chinese ¡Taipei ¡ Hong ¡Kong ¡(China) ¡ New ¡Zealand ¡ Denmark ¡ Japan ¡ Estonia ¡ Finland ¡ Macao ¡(China) ¡ Viet ¡Nam ¡ B-­‑S-­‑J-­‑G ¡(China) ¡ Korea ¡ Germany ¡ Netherlands ¡ Switzerland ¡ Belgium ¡ Poland ¡

Sweden ¡ Lithuania ¡ Croa9a ¡ Iceland ¡ Georgia ¡ Malta ¡

United ¡States ¡ Spain ¡ Israel ¡ United ¡Arab ¡Emirates ¡

Brazil ¡ Bulgaria ¡ Chile ¡ Colombia ¡ Costa ¡Rica ¡ Dominican ¡Republic ¡ Jordan ¡ Kosovo ¡ ¡ Lebanon ¡ Mexico ¡ Peru ¡ Qatar ¡ Trinidad ¡and ¡Tobago ¡ Tunisia ¡ Turkey ¡ Uruguay ¡

Above-­‑average ¡science ¡ performance ¡ Stronger ¡than ¡average ¡ epistemic ¡beliefs ¡ Above-­‑average ¡percentage ¡of ¡students ¡expec'ng ¡ to ¡work ¡in ¡a ¡science-­‑related ¡occupa'on ¡ Norway

¡

Multiple outcomes

10 20 30 40 50 300 400 500 600 700 Percentage of students expecting a career in science Score points in science Low enjoyment of science High enjoyment of science

Students expecting a career in science

by performance and enjoyment of learning

Figure I.3.17

L J

The global pool of top performers: A PISA perspective

Figure I.2.18

United States (8.5%); 300k B-S-J-G (China) (13.6%); 181k Japan (15.3%); 174k Germany (10.6%); 79k Viet Nam (8.3%); 72k United Kingdom (10.9%); 68k Korea (10.6%); 60k France (8.0%); 59k Russia (3.7%); 42k Canada (12.4%); 41k Chinese Taipei (15.4%); 39k Australia (11.2%); Poland (7.3%); Netherlands (11.1%) Italy (4.1%) Spain (5.0%) Brazil (0.7%) Singapore (24.2%) Belgium (9.0%) Finland (14.3%) Switzerland (9.8%) Sweden (8.5%) Portugal (7.4%) New Zealand (12.8%) Israel (5.9%) Others

Share of top performers among 15-year-old students: Less than 1% 1 to 2.5% 2.5 to 5% 5% to 7.5% 7.5% to 10% 10% to 12.5% 12.5% to 15% More than 15%

Understanding ¡performance ¡differences ¡

Triangula'ng ¡data ¡from ¡students, ¡parents, ¡ teachers, ¡schools ¡and ¡systems ¡

Spending per student from the age of 6 to 15 and science performance

Figure II.6.2

Luxembourg Switzerland Norway Austria Singapore United States United Kingdom Malta Sweden Belgium Iceland Denmark Finland Netherlands Canada Japan Slovenia Australia Germany Ireland France Italy Portugal New Zealand Korea Spain Poland Israel Estonia Czech Rep. Latvia Slovak Rep. Russia Croatia Lithuania Hungary Costa Rica Chinese Taipei Chile Brazil Turkey Uruguay Bulgaria Mexico Thailand Montenegro Colombia Dominican Republic Peru Georgia 11.7, 411

R² = 0.01 R² = 0.41 300 350 400 450 500 550 600 20 40 60 80 100 120 140 160 180 200 Science performance (score points) Average spending per student from the age of 6 to 15 (in thousands USD, PPP)

Differences in educational resources

between advantaged and disadvantaged schools

Figure I.6.14

• 3
• 2
• 2
• 1
• 1

1 1

CABA (Argentina) Mexico Peru Macao (China) United Arab Emirates Lebanon Jordan Colombia Brazil Indonesia Turkey Spain Dominican Republic Georgia Uruguay Thailand B-S-J-G (China) Australia Japan Chile Luxembourg Russia Portugal Malta Italy New Zealand Croatia Ireland Algeria Norway Israel Denmark Sweden United States Moldova Belgium Slovenia OECD average Hungary Chinese Taipei Viet Nam Czech Republic Singapore Tunisia Greece Trinidad and Tobago Canada Romania Qatar Montenegro Kosovo Netherlands Korea Finland Switzerland Germany Hong Kong (China) Austria FYROM Poland Albania Bulgaria Slovak Republic Lithuania Estonia Iceland Costa Rica United Kingdom Latvia

Mean index difference between advantaged and disadvantaged schools

Index of shortage of educational material Index of shortage of educational staff Disadvantaged schools have more resources than advantaged schools Disadvantaged schools have fewer resources than advantaged schools

0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡

Sweden ¡ Estonia ¡ Russia ¡ Latvia ¡ Bulgaria ¡ Iceland ¡ Norway ¡ Hungary ¡ Denmark ¡ Finland ¡ Singapore ¡ Israel ¡ Belgium ¡ Hong ¡Kong ¡(China) ¡ Spain ¡ Slovak ¡Republic ¡ Uruguay ¡ France ¡ Macao ¡(China) ¡ Brazil ¡ B-­‑S-­‑J-­‑G ¡(China) ¡ Japan ¡ Germany ¡ Czech ¡Republic ¡ Lithuania ¡ Slovenia ¡ Thailand ¡ Austria ¡ Croa'a ¡ Italy ¡ Chinese ¡Taipei ¡ OECD ¡average ¡ Poland ¡ Peru ¡ Korea ¡ Mexico ¡ Luxembourg ¡ Greece ¡ Montenegro ¡ Dominican ¡Republic ¡ New ¡Zealand ¡ United ¡Kingdom ¡ United ¡States ¡ Switzerland ¡ Costa ¡Rica ¡ Qatar ¡ United ¡Arab ¡Emirates ¡ Colombia ¡ Australia ¡ Canada ¡ Chile ¡ Ireland ¡ Tunisia ¡ Portugal ¡ Turkey ¡

Years ¡ Disadvantaged ¡schools ¡ Advantaged ¡schools ¡ Number ¡of ¡years ¡in ¡pre-­‑primary ¡educa'on ¡among ¡students ¡acending ¡socio-­‑economically ¡… ¡

Attendance at pre-primary school

by schools’ socio-economic profile

Table II.6.51

OECD average

Countries spend their money differently

Contribution of various factors to salary cost of teachers per student in public institutions, lower secondary education (2015)

• ­‑ ¡4 ¡
• ­‑ ¡3 ¡
• ­‑ ¡2 ¡
• ­‑ ¡1 ¡

¡0 ¡ ¡1 ¡ ¡2 ¡ ¡3 ¡ ¡4 ¡

Luxembourg ¡ Switzerland ¡ Austria ¡ ish ¡com. ¡(Belgium) ¡ Germany ¡ nch ¡com. ¡(Belgium) ¡ Denmark ¡ Finland ¡ Norway ¡ Slovenia ¡ Australia ¡ Spain ¡ Netherlands ¡ Ireland ¡ Portugal ¡ Canada ¡ United ¡States ¡ Japan ¡ Korea ¡ Italy ¡ Greece ¡ Israel ¡ Poland ¡ France ¡ Hungary ¡ Estonia ¡ Czech ¡Republic ¡ Slovak ¡Republic ¡ Turkey ¡ Chile ¡ Latvia ¡ Mexico ¡

USD, ¡Thousands ¡ Contribu'on ¡of ¡teachers' ¡salary ¡ Contribu'on ¡of ¡instruc'on ¡'me ¡ Contribu'on ¡of ¡teaching ¡'me ¡ Contribu'on ¡of ¡es'mated ¡class ¡size ¡ Difference ¡of ¡salary ¡cost ¡of ¡teachers ¡per ¡student ¡from ¡OECD ¡average ¡

Student-teacher ratios and class size

Figure II.6.14

CABA (Argentina) Jordan Viet Nam Poland United States Chile Denmark Hungary B-S-G-J (China) Turkey Georgia Chinese Taipei Mexico Russia Albania Hong Kong (China) Japan Belgium Algeria Colombia Peru Macao (China) Switzerland Malta Dominican Republic Netherlands Singapore Brazil Kosovo Finland Thailand R² = 0.25 5 10 15 20 25 30 15 20 25 30 35 40 45 50

Student-teacher ratio

Class size in language of instruction

High student-teacher ratios and small class sizes Low student-teacher ratios and large class sizes

OECD average OECD average

Learning time and science performance

Figure II.6.23

Finland Germany Switzerland Japan Estonia Sweden Netherlands New Zealand Macao (China) Iceland Hong Kong (China) Chinese Taipei Uruguay Singapore Poland United States Israel Bulgaria Korea Russia Italy Greece B-S-J-G (China) Colombia Chile Mexico Brazil Costa Rica Turkey Montenegro Peru Qatar Thailand United Arab Emirates Tunisia Dominican Republic R² = 0.21 300 350 400 450 500 550 600 35 40 45 50 55 60 PISA science score Total learning time in and outside of school

OECD ¡average ¡

OECD average OECD average

Learning time and science performance

Figure II.6.23

6 7 8 9 10 11 12 13 14 15 16 10 20 30 40 50 60 70 Finland Germany Switzerland Japan Estonia Sweden Netherlands New Zealand Australia Czech Republic Macao (China) United Kingdom Canada Belgium France Norway Slovenia Iceland Luxembourg Ireland Latvia Hong Kong (China) OECD average Chinese Taipei Austria Portugal Uruguay Lithuania Singapore Denmark Hungary Poland Slovak Republic Massachusets Spain Croatia United States Israel Bulgaria Korea Russia Italy Greece B-S-J-G (China) Colombia Chile Mexico Brazil Costa Rica Turkey Montenegro Peru Qatar Thailand United Arab Emirates Tunisia Dominican Republic Score points in science per hour of total learning time Hours Intended learning time at school (hours) Study time after school (hours) Score points in science per hour of total learning time

¡ ¡ ¡ ¡

What ¡teachers ¡say ¡ ¡ and ¡what ¡teachers ¡do ¡ ¡ ¡

¡

95% of teachers: My role as a teacher is to facilitate students own inquiry

82%: Students learn best by findings solutions on their own

85%: Thinking and reasoning is more important than curriculum content

Prevalence of memorisation

rehearsal, routine exercises, drill and practice and/or repetition

• 2.00
• 1.50
• 1.00
• 0.50

0.00 0.00 0.50 1.00 1.50 2.00 Switzerland Poland Germany Japan Korea France Sweden Shanghai-China Canada Singapore United States Norway Spain Netherlands United Kingdom

Prevalence of elaboration

reasoning, deep learning, intrinsic motivation, critical thinking, creativity, non-routine problems High Low Low High

Memorisa9on ¡is ¡less ¡useful ¡as ¡problems ¡become ¡more ¡ difficult ¡(OECD ¡average) ¡

R² ¡= ¡0.81 ¡

0.70 ¡ 1.00 ¡

300 ¡ 400 ¡ 500 ¡ 600 ¡ 700 ¡ 800 ¡

Difficulty ¡of ¡mathema9cs ¡item ¡on ¡the ¡PISA ¡scale ¡

Source: Figure 4.3

Difficult problem Easy problem Greater success Less success

Odds ratio

Control ¡strategies ¡are ¡always ¡helpful ¡but ¡less ¡so ¡as ¡problems ¡ become ¡more ¡difficult ¡(OECD ¡average) ¡

R² ¡= ¡0.31 ¡

0.95 ¡ 1.20 ¡ 300 ¡ 400 ¡ 500 ¡ 600 ¡ 700 ¡ 800 ¡

Difficulty ¡of ¡mathema9cs ¡item ¡on ¡the ¡PISA ¡scale ¡

Source: Figure 5.2

27

Difficult problem Greater success Less success Easy problem

Odds ratio

Elabora9on ¡strategies ¡are ¡more ¡useful ¡as ¡problems ¡ become ¡more ¡difficult ¡(OECD ¡average) ¡

R² ¡= ¡0.82003 ¡

0.80 ¡ 1.50 ¡ 300 ¡ 400 ¡ 500 ¡ 600 ¡ 700 ¡ 800 ¡

Difficulty ¡of ¡mathema9cs ¡item ¡on ¡the ¡PISA ¡scale ¡

Source: Figure 6.2

Difficult problem

Greater success Less success

Easy problem

Odds ratio

Variation in science performance between and within schools

Figure I.6.11

120 100 80 60 40 20 20 40 60 80 Netherlands 114 B-S-J-G (China) 119 Bulgaria 115 Hungary 104 Trinidad and Tobago 98 Belgium 112 Slovenia 101 Germany 110 Slovak Republic 109 Malta 154 United Arab Emirates 110 Austria 106 Israel 126 Lebanon 91 Czech Republic 101 Qatar 109 Japan 97 Switzerland 110 Singapore 120 Italy 93 Chinese Taipei 111 Luxembourg 112 Turkey 70 Brazil 89 Croatia 89 Greece 94 Chile 83 Lithuania 92 OECD average 100 Uruguay 84 CABA (Argentina) 82 Romania 70 Viet Nam 65 Korea 101 Australia 117 United Kingdom 111 Peru 66 Colombia 72 Thailand 69 Hong Kong (China) 72 FYROM 80 Portugal 94 Dominican Republic 59 Indonesia 52 Georgia 92 Jordan 79 New Zealand 121 United States 108 Montenegro 81 Tunisia 47 Sweden 117 Mexico 57 Albania 69 Kosovo 57 Macao (China) 74 Algeria 54 Estonia 88 Moldova 83 Costa Rica 55 Russia 76 Canada 95 Poland 92 Denmark 91 Latvia 75 Ireland 88 Spain 86 Norway 103 Finland 103 Iceland 93

Between-school variation Within-school variation Total variation as a proportion of the OECD average OECD average 69% OECD average 30% %

Some ¡design ¡choices ¡and ¡trade-­‑offs ¡

• Balancing ¡breadth ¡and ¡depth ¡of ¡framework ¡coverage ¡

– Core ¡assessments ¡in ¡reading, ¡math ¡and ¡science ¡every ¡three ¡years ¡

• With ¡focus ¡(increased ¡sample) ¡rota'ng ¡

– One ¡innova9ve ¡assessment ¡area ¡every ¡three ¡years ¡

• Digital ¡literacy ¡(2009) ¡
• Individual ¡problem-­‑solving ¡(2012) ¡
• Collabora've ¡problem-­‑solving ¡(2015) ¡
• Global ¡competency ¡(2018) ¡
• Crea've ¡thinking ¡(2021) ¡

– Op9onal ¡assessments ¡

• Financial ¡literacy ¡

– Matrix ¡sampling ¡with ¡adap've ¡assessment ¡instruments ¡

Design choices and trade-offs

• Measuring ¡change ¡while ¡changing ¡the ¡measures ¡

– Every ¡three ¡years ¡one ¡of ¡the ¡frameworks ¡is ¡revised ¡

• Bridging ¡studies ¡for ¡content ¡and ¡delivery ¡

– New ¡measures ¡are ¡first ¡explored ¡through ¡innova've ¡assessment ¡areas ¡

• As ¡comparable ¡as ¡possible ¡and ¡as ¡specific ¡as ¡necessary ¡

– Adap've ¡assessment ¡instruments ¡ – Modular ¡context ¡ques'onnaires ¡

• Frameworks ¡informed ¡but ¡not ¡constrained ¡ ¡

by ¡na'onal ¡standards ¡and ¡curricula ¡

– Curriculum ¡valida'on ¡studies ¡

Design choices and trade-offs

Find ¡out ¡more ¡about ¡our ¡work ¡at ¡www.oecd.org/pisa ¡

– All ¡publica9ons ¡ – The ¡complete ¡micro-­‑level ¡database ¡

Email: ¡Andreas.Schleicher@OECD.org ¡ Twicer: ¡SchleicherOECD ¡ Wechat: ¡AndreasSchleicher ¡

Thank you