Does more face to face time enhance attainment? Janet Bonar and - - PowerPoint PPT Presentation

CETL-MSOR Conference 2014

Does more face to face time enhance attainment?

Janet Bonar and Simon Saggers Engineering Group, School of Technology

Presentation Overview

Introduction How we teach maths, and to whom What we monitor How we assess Results of monitoring, tests, exams Correlation of engagement and results? Is our teaching method successful?

www.solent.ac.uk

Bonar and Saggers

Introduction

Engineering is important for UK economy Mathematics underlies engineering Educating engineers requires education in maths

• Maths not popular subject!

Fundamentals of mathematics unchanged since Euclid’s time Is our way of teaching maths at Solent current best practice?

www.solent.ac.uk

Bonar and Saggers

Presentation Overview

Introduction How we teach maths, and to whom What we monitor How we assess Results of monitoring, tests, exams Correlation of engagement and results? Is our teaching method successful?

www.solent.ac.uk

Bonar and Saggers

How we teach maths, and to whom

• Maths unit taught at level 4, embedded at

levels 5 and 6. One hour lecture Two hour tutorial (quiz, problem set, HW) One hour student support (student’s requests)

www.solent.ac.uk

Bonar and Saggers

Unit Degree students Accreditation? EMS400 BEng 46 Accredited by IET EMS401 BSc 28 Not currently accredited (new course)

Presentation Overview

Introduction How we teach maths, and to whom What we monitor How we assess Results of monitoring, tests, exams Correlation of engagement and results? Is our teaching method successful?

www.solent.ac.uk

Bonar and Saggers

What we monitor How we assess

Engagement data: Attendance, attempts at HW, weekly quiz score Phase Tests covering single topic (pre-calculus, complex numbers, linear algebra, calculus and applications of calculus) Best 4 phase tests contribute 40% to unit result Exam covering all topics at year end, contributes 60% to unit result Minimum of 30% in each assessment (required by IET accreditation)

www.solent.ac.uk

Bonar and Saggers

Presentation Overview

Introduction How we teach maths, and to whom What we monitor How we assess Results of monitoring, tests, exams Correlation of engagement and results? Is our teaching method successful?

www.solent.ac.uk

Bonar and Saggers

Engagement data for BSc unit

Engagement data: Attendance, attempts at HW, weekly test score by student

www.solent.ac.uk

Bonar and Saggers

0 ¡ 20 ¡ 40 ¡ 60 ¡ 80 ¡ 100 ¡ 0 ¡ 2 ¡ 4 ¡ 6 ¡ 8 ¡ 10 ¡ 12 ¡ 14 ¡ 16 ¡ 18 ¡ percentage ¡ students ¡ a)endance ¡1 ¡ a)endance ¡2 ¡ HW ¡a)empts ¡ HW ¡a)empts ¡2 ¡ quiz ¡1 ¡ quiz ¡2 ¡

Engagement data for BSc unit

Engagement data: Attendance, attempts at HW, weekly test score by student

www.solent.ac.uk

Bonar and Saggers

0 ¡ 20 ¡ 40 ¡ 60 ¡ 80 ¡ 100 ¡ 0 ¡ 5 ¡ 10 ¡ 15 ¡ 20 ¡ percent ¡a-empts ¡at ¡HW ¡ students ¡ HW ¡a)empts ¡ HW ¡a)empts ¡2 ¡ 0 ¡ 20 ¡ 40 ¡ 60 ¡ 80 ¡ 100 ¡ 0 ¡ 5 ¡ 10 ¡ 15 ¡ 20 ¡ percent ¡correct ¡ student ¡ quiz ¡1 ¡ quiz ¡2 ¡ 0 ¡ 20 ¡ 40 ¡ 60 ¡ 80 ¡ 100 ¡ 0 ¡ 5 ¡ 10 ¡ 15 ¡ 20 ¡ percent ¡a-endance ¡ students ¡ a)endance ¡1 ¡ a)endance ¡2 ¡

Engagement data and first 3 phase tests

Correlation of attendance with Phase Test for first 3 tests Difference in tutorial groups apparent!

www.solent.ac.uk

Bonar and Saggers

R² ¡= ¡0.353 ¡ R² ¡= ¡0.0555 ¡ 0% ¡ 20% ¡ 40% ¡ 60% ¡ 80% ¡ 100% ¡ 0 ¡ 20 ¡ 40 ¡ 60 ¡ 80 ¡ 100 ¡ PT ¡1 ¡2 ¡3 ¡average ¡ a-endance ¡ tutorial ¡1 ¡ tutorial ¡2 ¡ pass ¡mark ¡ Linear ¡(tutorial ¡1) ¡ Linear ¡(tutorial ¡2) ¡

Observations from engagement data

Two tutorials running for BSc unit Engagement and attainment data plotted by tutorial Different tutorial groups behave very differently!

www.solent.ac.uk

Bonar and Saggers

0 ¡ 20 ¡ 40 ¡ 60 ¡ 80 ¡ 100 ¡ 0 ¡ 5 ¡ 10 ¡ 15 ¡ 20 ¡ percent ¡a-endance ¡ students ¡ a)endance ¡1 ¡ a)endance ¡2 ¡

Ø Tutorial 1: f/t students Ø Tutorial 2: p/t HNC students on day release from local engineering companies

Phase test results

Both p/t and f/t students found calculus and applications of calculus more difficult! Other differences in between p/t and f/t more difficult to identify

www.solent.ac.uk

Bonar and Saggers

0% ¡ 20% ¡ 40% ¡ 60% ¡ 80% ¡ 100% ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ phase ¡test ¡

ESM401 ¡phase ¡test ¡best ¡4 ¡and ¡pass ¡rate ¡

average ¡1 ¡ average ¡2 ¡ pass ¡rate ¡1 ¡ pass ¡rate ¡2 ¡

Unit Assessment: Best 4 phase test average and exam results

Difference in attainment between tutorial groups apparent for exam as well as phase test assessment. F/t students better achievement on exam, p/t better achievement

• n phase tests

www.solent.ac.uk

Bonar and Saggers

0% ¡ 20% ¡ 40% ¡ 60% ¡ 80% ¡ 100% ¡ full ¡Ime ¡ part ¡Ime ¡

phase ¡test ¡and ¡exam ¡avg ¡

exam ¡avg ¡ best ¡4 ¡avg ¡ 0% ¡ 20% ¡ 40% ¡ 60% ¡ 80% ¡ 100% ¡ full ¡Ime ¡ part ¡Ime ¡

phase ¡test ¡best ¡4 ¡and ¡exam ¡pass ¡rate ¡

exam ¡ best ¡4 ¡

Presentation Overview

Introduction How we teach maths, and to whom What we monitor How we assess Results of monitoring, tests, exams Correlation of engagement and results? Is our teaching method successful?

www.solent.ac.uk

Bonar and Saggers

What does matter and what doesn’t?

Full-time and part-time students have different engagement and achievement patterns Ø P/t students attend less but are more engaged and achieve better results Ø Students in full-time employment on day release more likely to be committed to blend

• f studying and learning, are expected by their

sponsors to attend and achieve, and may be better at maths than the average student.

www.solent.ac.uk

Bonar and Saggers

What else matters?

Engagement data with best 4 phase test and exam result: weekly quiz achievement

www.solent.ac.uk

Bonar and Saggers

0% ¡ 10% ¡ 20% ¡ 30% ¡ 40% ¡ 50% ¡ 60% ¡ 70% ¡ 80% ¡ 90% ¡ 100% ¡ 0 ¡ 20 ¡ 40 ¡ 60 ¡ 80 ¡ 100 ¡ phase ¡test ¡ ¡best ¡4 ¡or ¡exam ¡ quiz ¡avg, ¡% ¡ full ¡Ime ¡best ¡4 ¡ ¡ part ¡Ime ¡best ¡4 ¡ pass ¡mark ¡ full ¡Ime ¡exam ¡ part ¡Ime ¡exam ¡

What else matters?

Engagement data with best 4 phase test and exam result: attempts at HW

www.solent.ac.uk

Bonar and Saggers

0% ¡ 10% ¡ 20% ¡ 30% ¡ 40% ¡ 50% ¡ 60% ¡ 70% ¡ 80% ¡ 90% ¡ 100% ¡ 0 ¡ 20 ¡ 40 ¡ 60 ¡ 80 ¡ 100 ¡ best ¡4 ¡or ¡exam, ¡% ¡ a-empts ¡at ¡HW, ¡% ¡ full ¡Ime ¡best ¡4 ¡ part ¡Ime ¡best ¡4 ¡ pass ¡mark ¡ full ¡Ime ¡exam ¡ part ¡Ime ¡exam ¡

What else matters?

Engagement data with best 4 phase test and exam result: attendance

www.solent.ac.uk

Bonar and Saggers

0% ¡ 10% ¡ 20% ¡ 30% ¡ 40% ¡ 50% ¡ 60% ¡ 70% ¡ 80% ¡ 90% ¡ 100% ¡ 0 ¡ 20 ¡ 40 ¡ 60 ¡ 80 ¡ 100 ¡ best ¡4 ¡or ¡exam, ¡% ¡ a-endance, ¡% ¡ full ¡Ime ¡best ¡4 ¡ part ¡Ime ¡best ¡4 ¡ pass ¡mark ¡ full ¡Ime ¡exam ¡ part ¡Ime ¡exam ¡

Is phase test a good predictor for exam result?

Not particularly strong correlation when whole population considered

www.solent.ac.uk

Bonar and Saggers

R² ¡= ¡0.03459 ¡ 0 ¡ 10 ¡ 20 ¡ 30 ¡ 40 ¡ 50 ¡ 60 ¡ 70 ¡ 80 ¡ 90 ¡ 100 ¡ 0% ¡ 20% ¡ 40% ¡ 60% ¡ 80% ¡ 100% ¡ exam ¡ phase ¡test ¡best ¡4 ¡

final ¡vs ¡phase ¡tests ¡

final ¡vs ¡phase ¡tests ¡ Linear ¡(final ¡vs ¡phase ¡tests) ¡

Is phase test a good predictor for exam result?

Difference in correlation between phase tests and exam results for p/t than for f/t students. Correlation is fairly strong for p/t students

www.solent.ac.uk

Bonar and Saggers

R² ¡= ¡0.45819 ¡ 0 ¡ 20 ¡ 40 ¡ 60 ¡ 80 ¡ 100 ¡ 0% ¡ 20% ¡ 40% ¡ 60% ¡ 80% ¡ 100% ¡ exam ¡ phase ¡test ¡best ¡4 ¡

final ¡vs ¡phase ¡tests-­‑-­‑tutorial ¡1 ¡

final ¡vs ¡phase ¡tests ¡ Linear ¡(final ¡vs ¡phase ¡ tests) ¡ R² ¡= ¡0.80876 ¡ 0 ¡ 20 ¡ 40 ¡ 60 ¡ 80 ¡ 100 ¡ 0% ¡ 20% ¡ 40% ¡ 60% ¡ 80% ¡ 100% ¡ exam ¡ phase ¡test ¡best ¡4 ¡

final ¡vs ¡phase ¡tests-­‑-­‑tutorial ¡2 ¡

final ¡vs ¡phase ¡tests ¡ Linear ¡(final ¡vs ¡phase ¡ tests) ¡

What else matters?

Difference between f/t and p/t students clear No obvious correlation between engagement data and phase test or exam for f/t or p/t students Moderate correlation between phase test and exam results for p/t students Need more sophisticated analysis?

www.solent.ac.uk

Bonar and Saggers

What else matters?

PCA* used to look for correlations Ø F/t and p/t population difference clear Ø Some correlation between exam and phase tests 4 and 5 Ø Some correlation between phase tests 1, 2, and 3 and engagement data

www.solent.ac.uk

Bonar and Saggers

*Principal Component Analysis is the simplest of the true eigenvector-based multivariate analyses. Often, its

• peration can be thought of as revealing the internal structure of the data in a way that best explains the variance in

the data.

Presentation Overview

Introduction How we teach maths, and to whom What we monitor How we assess Results of monitoring, tests, exams Correlation of engagement and results? Is our teaching method successful?

www.solent.ac.uk

Bonar and Saggers

Does our method work?

BEng pass rate significantly increased in 2013-14 compared to 2012-13 BSc pass rate higher 2013-14 than BEng pass rate 2012-13 Teaching and learning for level 4 maths working better across the whole population

www.solent.ac.uk

Bonar and Saggers

Degree 2012-2013 Pass rate 2013-2014 pass rate BEng 49% 70% BSc

• 61%

Does our method work?

Teaching and learning for level 4 maths unit is: Ø Good for p/t students Ø Good for BEng students Ø Not so good for f/t BSc students Monitoring correct data—poorly performing students picked up on engagement data and phase tests Need to find more effective way to act on monitoring data and get f/t BSc students more engaged and achieving better

www.solent.ac.uk

Bonar and Saggers

CETL-MSOR Conference 2014

Acknowlegements:

Thanks to Barbara Lee for helpful discussions and to Paul Wright for assistance on statistical data analysis. The authors gratefully acknowledge the support of Nick Woodfine for this project.

Questions?

www.solent.ac.uk