Big-Data Analytics on Blended e-Learning eLearning Forum Asia (eLFA) - PowerPoint PPT Presentation

Big-Data Analytics on Blended e-Learning eLearning Forum Asia (eLFA) 2015 18 June 2015 YEUNG Sze Kiu skyeung@unisim.edu.sg & Ivy CHIA Sook May ivychiasm@unisim.edu.sg SIM University 18 June 2015 Slide ¡1/12 ¡

Agenda 1. What is Blended Learning 2. Context of Study 3. Investigation 4. Findings 5. Conclusion ¡ ¡ Slide ¡2/12 ¡

“Googling” ¡Blended ¡Learning ¡ • 5,360,000 ¡hits ¡ • The ¡newest ¡consult-­‑driven ¡x-­‑hype, ¡the ¡next ¡big ¡ thing ¡replacing ¡e-­‑learning, ¡outstanding ¡ pedagogical ¡innovaFon, ¡etc. ¡ • "hybrid," ¡"technology-­‑mediated ¡instrucFon," ¡ "web-­‑enhanced ¡instrucFon," ¡and ¡"mixed-­‑ mode ¡instrucFon" ¡are ¡oJen ¡used ¡ interchangeably ¡with ¡“blended” ¡ • Lack ¡of ¡consensus ¡on ¡its ¡definiFon ¡

What ¡is ¡Blended ¡Learning? ¡

Context ¡of ¡the ¡Study ¡ • UniSIM ¡is ¡the ¡largest ¡adult ¡university ¡in ¡Singapore, ¡serving ¡ 13,369 ¡part-­‑Fme ¡and ¡full-­‑Fme ¡students. ¡Average ¡age ¡of ¡ students ¡is ¡30. ¡ ¡ • It ¡has ¡approx. ¡500 ¡or ¡more ¡undergraduate ¡courses ¡from ¡4 ¡ Schools ¡(SBZ, ¡HDSS, ¡SASS ¡& ¡SST) ¡ • It ¡has ¡been ¡implemenFng ¡online ¡learning ¡since ¡2012, ¡with ¡ support ¡of ¡Blacbkboard ¡LMS ¡and ¡other ¡digital ¡media ¡tools ¡ (e.g. ¡interacFve ¡iSG). ¡ ¡ • The ¡target ¡is ¡to ¡transit ¡all ¡courses ¡to ¡blended ¡learning ¡ eventually ¡with ¡50% ¡by ¡end ¡of ¡2015. ¡Currently, ¡46.2% ¡of ¡the ¡ courses ¡are ¡blended. ¡ • The ¡revised ¡structure ¡of ¡all ¡courses ¡will ¡have ¡3 ¡face-­‑to-­‑face ¡ sessions ¡with ¡the ¡remaining ¡of ¡the ¡learning ¡to ¡be ¡done ¡online. ¡ ¡ ¡ ¡

Before ¡and ¡AJer ¡ Students ¡meet ¡tutors ¡ ¡ Students ¡meet ¡tutors ¡3 ¡#mes ¡ face-­‑to-­‑face ¡for ¡ 6 ¡#mes ¡ face-­‑to-­‑face ¡for ¡ lessons, ¡with ¡the ¡ remaining ¡of ¡the ¡learning ¡done ¡ lessons ¡(6 ¡weeks). ¡ ¡ online ¡ (6 ¡weeks): ¡ • iSG ¡(interac<ve ¡textbooks) ¡ • Blackboard ¡LMS ¡ • Chunked ¡lessons ¡(excerpts ¡of ¡5-­‑10 ¡min ¡digital ¡content ¡with ¡ audio ¡commentary) ¡ • Online ¡forma<ve ¡quiz ¡ ¡

Data Analytics on Blended e-Learning Blended Learning: F2F Instruction + Online Learning (through Blackboard LMS) Online Learning (Blackboard LMS): Pre-class quiz, Chunked Recorded Lectures, Digital Content, Virtual Classrooms & Discussion forums. Slide ¡3/12 ¡

UniSIM’s ¡Learning ¡Management ¡ System ¡ Demo ¡Sharing ¡Mr ¡Stephen ¡Low ¡ ¡ Overview ¡Video ¡ Collaborate ¡ ¡ Chunked ¡Audio ¡Lectures ¡ ¡

T-­‑tests ¡for ¡the ¡Two ¡Groups ¡ Inves<ga<on : ¡To ¡find ¡out ¡if ¡there ¡is ¡a ¡significant ¡difference ¡between ¡the ¡mean ¡ scores ¡of ¡these ¡two ¡groups ¡of ¡students. ¡ 12 ¡Courses ¡(4 ¡Schools) ¡ ¡ 12 ¡Courses ¡(4 ¡Schools) ¡ ¡ ¡ 1455 ¡Students ¡ 1420 ¡Students ¡ Mean ¡Scores ¡ Means ¡Scores ¡ ¡ • Overall ¡Con<nuous ¡ • Overall ¡Con<nuous ¡ Assessment ¡Score ¡ Assessment ¡Score ¡ • Overall ¡Exam ¡Scores ¡ • Overall ¡Exam ¡Scores ¡ • Final ¡Rank ¡Scores ¡ • Final ¡Rank ¡Scores ¡ ¡

Courses Selected for Study School ¡of ¡Business ¡ School ¡of ¡Arts ¡and ¡ Social ¡Sciences ¡ School ¡of ¡Science ¡and ¡ Technology ¡ School ¡of ¡Human ¡ ¡ Development ¡and ¡Social ¡ Services ¡ Slide ¡4/12 ¡

Data Analytics on Blended e-Learning Data Mining ¡ ¡ ¡ Learning Analytics System SIMS LMS Student Student Record & Learning Performance + Data OCAS (OCAS, OES Data + FRS) Available – used Not Available – Legend for big-data analytics preferred option Slide ¡7/12 ¡

Overall Mean Scores (By Schools) Overall ¡Mean ¡Scores ¡(All ¡Schools) ¡ ¡ Overall ¡Mean ¡Scores ¡(by ¡Schools) ¡ ¡ 100.0 ¡ 100.0 ¡ 90.0 ¡ 90.0 ¡ 80.4 ¡ 77.9 ¡ 71.8 ¡ 74.9 ¡ 80.0 ¡ 80.0 ¡ 70.5 ¡ 70.9 ¡ 72.1 ¡ 66.8 ¡ 62.6 ¡ 69.5 ¡ 70.0 ¡ 61.5 ¡62.5 ¡ 59.8 ¡ 61.6 ¡ 61.1 ¡ 60.8 ¡59.7 ¡59.6 ¡ 70.0 ¡ 58.2 ¡ 57.8 ¡ 55.9 ¡ 61.5 ¡ 60.9 ¡ 50.7 ¡ 60.0 ¡ 52.8 ¡ 52.8 ¡ 50.6 ¡ 52.0 ¡ 60.0 ¡ 53.1 ¡ 52.2 ¡ 50.0 ¡ Before ¡(6F2F) ¡ M e Before ¡(6F2F) ¡ 50.0 ¡ a 40.0 ¡ n ¡ AJer ¡(3F2F) ¡ AJer ¡(3F2F) ¡ 40.0 ¡ 30.0 ¡ 30.0 ¡ 20.0 ¡ 10.0 ¡ 20.0 ¡ 0.0 ¡ 10.0 ¡ * ¡ * * * * * * * * 0.0 ¡ * OCAS ¡ OES ¡ FRS ¡ *Significant ¡increase ¡ *Significant ¡decrease ¡ p=0.05 ¡(Level ¡of ¡Significance) ¡ ¡ Slide ¡9/12 ¡

¡ ¡ T-­‑Tests ¡Overall ¡ Overall ¡Score p-­‑Value Remark OCAS 0.000 Significant OES 0.085 Not ¡Significant FRS 0.110 Not ¡Significant

Overall Mean Scores (By Courses) Mean ¡Final ¡Rank ¡Scores ¡ 100.0 ¡ 90.0 ¡ 72.2 ¡ 67.7 ¡ 80.0 ¡ 67.4 ¡ 67.6 ¡ 63.8 ¡ 64.9 ¡ 65.1 ¡ 61.0 ¡ 65.4 ¡ 65.6 ¡ 58.9 ¡ 60.1 ¡ 63.5 ¡ 61.9 ¡ 62.1 ¡ 70.0 ¡ 60.8 ¡ 60.8 ¡ 59.8 ¡ 58.6 ¡ 59.3 ¡ 56.8 ¡ 58.1 ¡ 55.8 ¡ 54.2 ¡ 60.0 ¡ 50.0 ¡ Before ¡(6F2F) ¡ 40.0 ¡ 30.0 ¡ AJer ¡(3F2F) ¡ 20.0 ¡ 10.0 ¡ 0.0 ¡ * * * * * Mean ¡OCAS ¡Scores ¡ ¡ Mean ¡OES ¡Scores ¡ ¡ 100.0 ¡ 100.0 ¡ 85.6 ¡ 90.0 ¡ 90.0 ¡ 81.4 ¡ 79.2 ¡ 77.5 ¡ 75.3 ¡ 74.4 ¡ 75.6 ¡ 75.6 ¡ 73.1 ¡ 69.7 ¡ 71.4 ¡ 71.5 ¡ 67.9 ¡ 71.9 ¡ 71.1 ¡ 70.3 ¡ 68.5 ¡ 80.0 ¡ 80.0 ¡ 69.2 ¡ 68.3 ¡ 61.8 ¡ 67.7 ¡ 62.5 ¡ 65.7 ¡ 60.7 ¡ 59.4 ¡ 67.4 ¡ 70.0 ¡ 70.0 ¡ 59.8 ¡ 59.2 ¡ 61.8 ¡ 58.0 ¡ 57.9 ¡ 59.7 ¡ 56.8 ¡ 59.0 ¡ 56.9 ¡ 54.4 ¡ 55.4 ¡ 51.5 ¡ 56.6 ¡ 52.4 ¡ 60.0 ¡ 60.0 ¡ 46.2 ¡ 51.2 ¡ 51.1 ¡ 50.0 ¡ 46.9 ¡ 50.3 ¡ 47.2 ¡ 46.8 ¡ 50.0 ¡ 50.0 ¡ 40.0 ¡ 40.0 ¡ 30.0 ¡ 30.0 ¡ 20.0 ¡ 20.0 ¡ 10.0 ¡ 10.0 ¡ 0.0 ¡ 0.0 ¡ * * * * * * * * * * * * * * *Significant ¡increase ¡ *Significant ¡decrease ¡ p=0.05 ¡(Level ¡of ¡Significance) ¡ ¡ Slide ¡10/12 ¡

T-­‑tests ¡(by ¡Schools) ¡ School Score-­‑Type p-­‑Value Remark SBIZ OCAS 0.001 Significant ¡ OES 0.910 Not ¡Significant ¡ FRS 0.129 Not ¡Significant SASS OCAS 0.001 Significant ¡ OES 0.000 Significant ¡ FRS 0.007 Significant SST OCAS 0.021 Significant ¡ OES 0.021 Significant ¡ FRS 0.174 Not ¡Significant HDSS OCAS 0.000 Significant ¡ OES 0.000 Significant ¡ FRS 0.000 Significant

Conclusion § ¡ Findings are inconclusive given the short time frame of the study. Results need to be validated against longitudinal studies with other variables controlled. § Results suggest that blended learning approach does not adversely affect students’ performance § Results also suggest that students in the blended learning group appear to perform better for OCAS. Slide ¡12/12 ¡

¡ ¡ Thank ¡You ¡