Does more face to face time enhance attainment? Janet Bonar and - PowerPoint PPT Presentation

Does more face to face time enhance attainment? Janet Bonar and Simon Saggers Engineering Group, School of Technology CETL-MSOR Conference 2014

Presentation Overview � Introduction � How we teach maths, and to whom � What we monitor � How we assess � Results of monitoring, tests, exams � Correlation of engagement and results? � Is our teaching method successful? www.solent.ac.uk Bonar and Saggers

Introduction � Engineering is important for UK economy � Mathematics underlies engineering � Educating engineers requires education in maths Maths not popular subject! � � Fundamentals of mathematics unchanged since Euclid’s time � Is our way of teaching maths at Solent current best practice? www.solent.ac.uk Bonar and Saggers

Presentation Overview � Introduction � How we teach maths, and to whom � What we monitor � How we assess � Results of monitoring, tests, exams � Correlation of engagement and results? � Is our teaching method successful? www.solent.ac.uk Bonar and Saggers

How we teach maths, and to whom Maths unit taught at level 4, embedded at � levels 5 and 6. Unit Degree students Accreditation? EMS400 BEng 46 Accredited by IET EMS401 BSc 28 Not currently accredited (new course) � One hour lecture � Two hour tutorial (quiz, problem set, HW) � One hour student support (student’s requests) www.solent.ac.uk Bonar and Saggers

Presentation Overview � Introduction � How we teach maths, and to whom � What we monitor � How we assess � Results of monitoring, tests, exams � Correlation of engagement and results? � Is our teaching method successful? www.solent.ac.uk Bonar and Saggers

What we monitor How we assess � Engagement data: Attendance, attempts at HW, weekly quiz score � Phase Tests covering single topic (pre-calculus, complex numbers, linear algebra, calculus and applications of calculus) � Best 4 phase tests contribute 40% to unit result � Exam covering all topics at year end, contributes 60% to unit result � Minimum of 30% in each assessment (required by IET accreditation) www.solent.ac.uk Bonar and Saggers

Presentation Overview � Introduction � How we teach maths, and to whom � What we monitor � How we assess � Results of monitoring, tests, exams � Correlation of engagement and results? � Is our teaching method successful? www.solent.ac.uk Bonar and Saggers

Engagement data for BSc unit 100 ¡ 80 ¡ a)endance ¡1 ¡ 60 ¡ percentage ¡ a)endance ¡2 ¡ HW ¡a)empts ¡ 40 ¡ HW ¡a)empts ¡2 ¡ quiz ¡1 ¡ quiz ¡2 ¡ 20 ¡ 0 ¡ 0 ¡ 2 ¡ 4 ¡ 6 ¡ 8 ¡ 10 ¡ 12 ¡ 14 ¡ 16 ¡ 18 ¡ students ¡ � Engagement data: Attendance, attempts at HW, weekly test score by student www.solent.ac.uk Bonar and Saggers

Engagement data for BSc unit 100 ¡ 100 ¡ 80 ¡ percent ¡a-empts ¡at ¡HW ¡ 80 ¡ percent ¡a-endance ¡ 60 ¡ 60 ¡ a)endance ¡1 ¡ HW ¡a)empts ¡ 40 ¡ a)endance ¡2 ¡ HW ¡a)empts ¡2 ¡ 40 ¡ 20 ¡ 20 ¡ 0 ¡ 0 ¡ 5 ¡ 10 ¡ 15 ¡ 20 ¡ 0 ¡ students ¡ 0 ¡ 5 ¡ students ¡ 10 ¡ 15 ¡ 20 ¡ 100 ¡ 80 ¡ percent ¡correct ¡ � Engagement data: 60 ¡ Attendance, attempts at quiz ¡1 ¡ 40 ¡ HW, weekly test score by quiz ¡2 ¡ 20 ¡ student 0 ¡ 0 ¡ 5 ¡ 10 ¡ 15 ¡ 20 ¡ student ¡ www.solent.ac.uk Bonar and Saggers

Engagement data and first 3 phase tests 100% ¡ 80% ¡ R² ¡= ¡0.0555 ¡ PT ¡1 ¡2 ¡3 ¡average ¡ 60% ¡ tutorial ¡1 ¡ R² ¡= ¡0.353 ¡ tutorial ¡2 ¡ pass ¡mark ¡ 40% ¡ Linear ¡(tutorial ¡1) ¡ Linear ¡(tutorial ¡2) ¡ 20% ¡ 0% ¡ 0 ¡ 20 ¡ 40 ¡ 60 ¡ 80 ¡ 100 ¡ a-endance ¡ � Correlation of attendance with Phase Test for first 3 tests � Difference in tutorial groups apparent! www.solent.ac.uk Bonar and Saggers

Observations from engagement data � Two tutorials running for BSc unit � Engagement and attainment data plotted by tutorial � Different tutorial groups behave very differently! 100 ¡ 80 ¡ Ø Tutorial 1: f/t students percent ¡a-endance ¡ 60 ¡ Ø Tutorial 2: p/t HNC a)endance ¡1 ¡ a)endance ¡2 ¡ 40 ¡ students on day release from local engineering 20 ¡ companies 0 ¡ 0 ¡ 5 ¡ students ¡ 10 ¡ 15 ¡ 20 ¡ www.solent.ac.uk Bonar and Saggers

Phase test results ESM401 ¡phase ¡test ¡best ¡4 ¡and ¡pass ¡rate ¡ 100% ¡ 80% ¡ 60% ¡ average ¡1 ¡ average ¡2 ¡ 40% ¡ pass ¡rate ¡1 ¡ pass ¡rate ¡2 ¡ 20% ¡ 0% ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ phase ¡test ¡ � Both p/t and f/t students found calculus and applications of calculus more difficult! � Other differences in between p/t and f/t more difficult to identify www.solent.ac.uk Bonar and Saggers

Unit Assessment: Best 4 phase test average and exam results phase ¡test ¡and ¡exam ¡avg ¡ phase ¡test ¡best ¡4 ¡and ¡exam ¡pass ¡rate ¡ 100% ¡ 100% ¡ 80% ¡ 80% ¡ 60% ¡ 60% ¡ exam ¡avg ¡ exam ¡ 40% ¡ 40% ¡ best ¡4 ¡avg ¡ best ¡4 ¡ 20% ¡ 20% ¡ 0% ¡ 0% ¡ full ¡Ime ¡ part ¡Ime ¡ full ¡Ime ¡ part ¡Ime ¡ � Difference in attainment between tutorial groups apparent for exam as well as phase test assessment. � F/t students better achievement on exam, p/t better achievement on phase tests www.solent.ac.uk Bonar and Saggers

Presentation Overview � Introduction � How we teach maths, and to whom � What we monitor � How we assess � Results of monitoring, tests, exams � Correlation of engagement and results? � Is our teaching method successful? www.solent.ac.uk Bonar and Saggers

What does matter and what doesn’t? � Full-time and part-time students have different engagement and achievement patterns Ø P/t students attend less but are more engaged and achieve better results Ø Students in full-time employment on day release more likely to be committed to blend of studying and learning, are expected by their sponsors to attend and achieve, and may be better at maths than the average student. www.solent.ac.uk Bonar and Saggers

What else matters? 100% ¡ 90% ¡ 80% ¡ phase ¡test ¡ ¡best ¡4 ¡or ¡exam ¡ 70% ¡ full ¡Ime ¡best ¡4 ¡ ¡ 60% ¡ part ¡Ime ¡best ¡4 ¡ 50% ¡ pass ¡mark ¡ 40% ¡ full ¡Ime ¡exam ¡ 30% ¡ part ¡Ime ¡exam ¡ 20% ¡ 10% ¡ 0% ¡ 0 ¡ 20 ¡ 40 ¡ 60 ¡ 80 ¡ 100 ¡ quiz ¡avg, ¡% ¡ � Engagement data with best 4 phase test and exam result: weekly quiz achievement www.solent.ac.uk Bonar and Saggers

What else matters? 100% ¡ 90% ¡ 80% ¡ 70% ¡ best ¡4 ¡or ¡exam, ¡% ¡ full ¡Ime ¡best ¡4 ¡ 60% ¡ part ¡Ime ¡best ¡4 ¡ 50% ¡ pass ¡mark ¡ 40% ¡ full ¡Ime ¡exam ¡ 30% ¡ part ¡Ime ¡exam ¡ 20% ¡ 10% ¡ 0% ¡ 0 ¡ 20 ¡ 40 ¡ 60 ¡ 80 ¡ 100 ¡ a-empts ¡at ¡HW, ¡% ¡ � Engagement data with best 4 phase test and exam result: attempts at HW www.solent.ac.uk Bonar and Saggers

What else matters? 100% ¡ 90% ¡ 80% ¡ 70% ¡ best ¡4 ¡or ¡exam, ¡% ¡ full ¡Ime ¡best ¡4 ¡ 60% ¡ part ¡Ime ¡best ¡4 ¡ 50% ¡ pass ¡mark ¡ 40% ¡ full ¡Ime ¡exam ¡ 30% ¡ part ¡Ime ¡exam ¡ 20% ¡ 10% ¡ 0% ¡ 0 ¡ 20 ¡ 40 ¡ 60 ¡ 80 ¡ 100 ¡ a-endance, ¡% ¡ � Engagement data with best 4 phase test and exam result: attendance www.solent.ac.uk Bonar and Saggers

Is phase test a good predictor for exam result? final ¡vs ¡phase ¡tests ¡ 100 ¡ 90 ¡ 80 ¡ 70 ¡ 60 ¡ exam ¡ 50 ¡ final ¡vs ¡phase ¡tests ¡ 40 ¡ Linear ¡(final ¡vs ¡phase ¡tests) ¡ 30 ¡ 20 ¡ R² ¡= ¡0.03459 ¡ 10 ¡ 0 ¡ 0% ¡ 20% ¡ 40% ¡ 60% ¡ 80% ¡ 100% ¡ phase ¡test ¡best ¡4 ¡ � Not particularly strong correlation when whole population considered www.solent.ac.uk Bonar and Saggers

Is phase test a good predictor for exam result? final ¡vs ¡phase ¡tests-­‑-­‑tutorial ¡1 ¡ final ¡vs ¡phase ¡tests-­‑-­‑tutorial ¡2 ¡ 100 ¡ 100 ¡ R² ¡= ¡0.80876 ¡ 80 ¡ 80 ¡ R² ¡= ¡0.45819 ¡ 60 ¡ 60 ¡ exam ¡ exam ¡ final ¡vs ¡phase ¡tests ¡ final ¡vs ¡phase ¡tests ¡ 40 ¡ 40 ¡ Linear ¡(final ¡vs ¡phase ¡ Linear ¡(final ¡vs ¡phase ¡ 20 ¡ 20 ¡ tests) ¡ tests) ¡ 0 ¡ 0 ¡ 0% ¡ 20% ¡ 40% ¡ 60% ¡ 80% ¡ 100% ¡ 0% ¡ 20% ¡ 40% ¡ 60% ¡ 80% ¡ 100% ¡ phase ¡test ¡best ¡4 ¡ phase ¡test ¡best ¡4 ¡ � Difference in correlation between phase tests and exam results for p/t than for f/t students. � Correlation is fairly strong for p/t students www.solent.ac.uk Bonar and Saggers