Big-Data Analytics on Blended e-Learning eLearning Forum Asia (eLFA) - - PowerPoint PPT Presentation

Big-Data Analytics on Blended e-Learning eLearning Forum Asia (eLFA) 2015

18 June 2015

YEUNG Sze Kiu skyeung@unisim.edu.sg & Ivy CHIA Sook May ivychiasm@unisim.edu.sg SIM University 18 June 2015

Slide ¡1/12 ¡

Agenda

• 1. What is Blended Learning
• 2. Context of Study
• 3. Investigation
• 4. Findings
• 5. Conclusion

¡ ¡

Slide ¡2/12 ¡

“Googling” ¡Blended ¡Learning ¡

• 5,360,000 ¡hits ¡
• The ¡newest ¡consult-­‑driven ¡x-­‑hype, ¡the ¡next ¡big ¡

thing ¡replacing ¡e-­‑learning, ¡outstanding ¡ pedagogical ¡innovaFon, ¡etc. ¡

• "hybrid," ¡"technology-­‑mediated ¡instrucFon," ¡

"web-­‑enhanced ¡instrucFon," ¡and ¡"mixed-­‑ mode ¡instrucFon" ¡are ¡oJen ¡used ¡ interchangeably ¡with ¡“blended” ¡

• Lack ¡of ¡consensus ¡on ¡its ¡definiFon ¡

What ¡is ¡Blended ¡Learning? ¡

Context ¡of ¡the ¡Study ¡

• UniSIM ¡is ¡the ¡largest ¡adult ¡university ¡in ¡Singapore, ¡serving ¡

13,369 ¡part-­‑Fme ¡and ¡full-­‑Fme ¡students. ¡Average ¡age ¡of ¡ students ¡is ¡30. ¡ ¡

• It ¡has ¡approx. ¡500 ¡or ¡more ¡undergraduate ¡courses ¡from ¡4 ¡

Schools ¡(SBZ, ¡HDSS, ¡SASS ¡& ¡SST) ¡

• It ¡has ¡been ¡implemenFng ¡online ¡learning ¡since ¡2012, ¡with ¡

support ¡of ¡Blacbkboard ¡LMS ¡and ¡other ¡digital ¡media ¡tools ¡ (e.g. ¡interacFve ¡iSG). ¡ ¡

• The ¡target ¡is ¡to ¡transit ¡all ¡courses ¡to ¡blended ¡learning ¡

eventually ¡with ¡50% ¡by ¡end ¡of ¡2015. ¡Currently, ¡46.2% ¡of ¡the ¡ courses ¡are ¡blended. ¡

• The ¡revised ¡structure ¡of ¡all ¡courses ¡will ¡have ¡3 ¡face-­‑to-­‑face ¡

sessions ¡with ¡the ¡remaining ¡of ¡the ¡learning ¡to ¡be ¡done ¡online. ¡ ¡ ¡ ¡

Before ¡and ¡AJer ¡

Students ¡meet ¡tutors ¡ ¡ 6 ¡#mes ¡face-­‑to-­‑face ¡for ¡ lessons ¡(6 ¡weeks). ¡ ¡ Students ¡meet ¡tutors ¡3 ¡#mes ¡face-­‑to-­‑face ¡for ¡ lessons, ¡with ¡the ¡remaining ¡of ¡the ¡learning ¡done ¡

• nline ¡(6 ¡weeks): ¡
• iSG ¡(interac<ve ¡textbooks) ¡
• Blackboard ¡LMS ¡
• Chunked ¡lessons ¡(excerpts ¡of ¡5-­‑10 ¡min ¡digital ¡content ¡with ¡

audio ¡commentary) ¡

• Online ¡forma<ve ¡quiz ¡

¡

Data Analytics on Blended e-Learning

Blended Learning: F2F Instruction + Online Learning (through Blackboard LMS) Online Learning (Blackboard LMS): Pre-class quiz, Chunked Recorded Lectures, Digital Content, Virtual Classrooms & Discussion forums.

Slide ¡3/12 ¡

UniSIM’s ¡Learning ¡Management ¡ System ¡

Demo ¡Sharing ¡Mr ¡Stephen ¡Low ¡ ¡ Overview ¡Video ¡ Collaborate ¡ ¡ Chunked ¡Audio ¡Lectures ¡ ¡

T-­‑tests ¡for ¡the ¡Two ¡Groups ¡

12 ¡Courses ¡(4 ¡Schools) ¡ ¡ ¡ 1420 ¡Students ¡ Means ¡Scores ¡ ¡

• Overall ¡Con<nuous ¡

Assessment ¡Score ¡

• Overall ¡Exam ¡Scores ¡
• Final ¡Rank ¡Scores ¡

12 ¡Courses ¡(4 ¡Schools) ¡ ¡ 1455 ¡Students ¡ Mean ¡Scores ¡

• Overall ¡Con<nuous ¡

Assessment ¡Score ¡

• Overall ¡Exam ¡Scores ¡
• Final ¡Rank ¡Scores ¡

¡

Inves<ga<on: ¡To ¡find ¡out ¡if ¡there ¡is ¡a ¡significant ¡difference ¡between ¡the ¡mean ¡ scores ¡of ¡these ¡two ¡groups ¡of ¡students. ¡

Courses Selected for Study

Slide ¡4/12 ¡ School ¡of ¡Business ¡ School ¡of ¡Arts ¡and ¡ Social ¡Sciences ¡ School ¡of ¡Science ¡and ¡ Technology ¡ School ¡of ¡Human ¡ ¡ Development ¡and ¡Social ¡ Services ¡

Data Analytics on Blended e-Learning Data Mining

¡ ¡ ¡

LMS SIMS Learning Analytics System

Student Learning + OCAS Data Student Record & Performance Data (OCAS, OES + FRS)

Not Available – preferred option Available – used for big-data analytics

Legend

Slide ¡7/12 ¡

*Significant ¡increase ¡

69.5 ¡ 53.1 ¡ 60.9 ¡ 72.1 ¡ 52.2 ¡ 61.5 ¡ 0.0 ¡ 10.0 ¡ 20.0 ¡ 30.0 ¡ 40.0 ¡ 50.0 ¡ 60.0 ¡ 70.0 ¡ 80.0 ¡ 90.0 ¡ 100.0 ¡ OCAS ¡ OES ¡ FRS ¡ M e a n ¡

Overall ¡Mean ¡Scores ¡(All ¡Schools) ¡ ¡

Before ¡(6F2F) ¡ AJer ¡(3F2F) ¡

*

70.5 ¡ 50.6 ¡ 60.8 ¡59.7 ¡59.6 ¡ 59.8 ¡ 77.9 ¡ 55.9 ¡ 62.6 ¡ 70.9 ¡ 52.0 ¡ 61.6 ¡ 71.8 ¡ 50.7 ¡ 61.5 ¡62.5 ¡ 52.8 ¡ 57.8 ¡ 80.4 ¡ 52.8 ¡ 61.1 ¡ 74.9 ¡ 58.2 ¡ 66.8 ¡ 0.0 ¡ 10.0 ¡ 20.0 ¡ 30.0 ¡ 40.0 ¡ 50.0 ¡ 60.0 ¡ 70.0 ¡ 80.0 ¡ 90.0 ¡ 100.0 ¡

Overall ¡Mean ¡Scores ¡(by ¡Schools) ¡ ¡

Before ¡(6F2F) ¡ AJer ¡(3F2F) ¡

* * * * ¡ * * * * *

*Significant ¡decrease ¡ p=0.05 ¡(Level ¡of ¡Significance) ¡ ¡

Overall Mean Scores (By Schools)

Slide ¡9/12 ¡

¡ ¡

Overall ¡Score p-­‑Value Remark OCAS 0.000 Significant OES 0.085 Not ¡Significant FRS 0.110 Not ¡Significant

T-­‑Tests ¡Overall ¡

58.9 ¡ 61.0 ¡ 67.4 ¡ 60.1 ¡ 61.9 ¡ 54.2 ¡ 64.9 ¡ 63.5 ¡ 58.1 ¡ 59.3 ¡ 67.7 ¡ 65.6 ¡ 59.8 ¡ 60.8 ¡ 72.2 ¡ 56.8 ¡ 63.8 ¡ 58.6 ¡ 62.1 ¡ 55.8 ¡ 65.4 ¡ 67.6 ¡ 65.1 ¡ 60.8 ¡ 0.0 ¡ 10.0 ¡ 20.0 ¡ 30.0 ¡ 40.0 ¡ 50.0 ¡ 60.0 ¡ 70.0 ¡ 80.0 ¡ 90.0 ¡ 100.0 ¡

Mean ¡Final ¡Rank ¡Scores ¡

Before ¡(6F2F) ¡ AJer ¡(3F2F) ¡

* * * * *

71.1 ¡ 70.3 ¡ 68.5 ¡ 59.2 ¡ 61.8 ¡ 58.0 ¡ 81.4 ¡ 79.2 ¡ 71.4 ¡ 71.5 ¡ 67.9 ¡ 71.9 ¡ 69.2 ¡ 74.4 ¡ 75.6 ¡ 61.8 ¡ 67.7 ¡ 62.5 ¡ 77.5 ¡ 75.3 ¡ 85.6 ¡ 75.6 ¡ 73.1 ¡ 69.7 ¡ 0.0 ¡ 10.0 ¡ 20.0 ¡ 30.0 ¡ 40.0 ¡ 50.0 ¡ 60.0 ¡ 70.0 ¡ 80.0 ¡ 90.0 ¡ 100.0 ¡

Mean ¡OCAS ¡Scores ¡ ¡

* * * * *

*Significant ¡increase ¡ *Significant ¡decrease ¡

46.2 ¡ 51.2 ¡ 65.7 ¡ 60.7 ¡ 59.4 ¡ 50.3 ¡ 57.9 ¡ 56.6 ¡ 52.4 ¡ 46.8 ¡ 67.4 ¡ 59.7 ¡ 50.0 ¡ 46.9 ¡ 68.3 ¡ 51.5 ¡ 59.8 ¡ 54.4 ¡ 55.4 ¡ 47.2 ¡ 56.8 ¡ 59.0 ¡ 56.9 ¡ 51.1 ¡ 0.0 ¡ 10.0 ¡ 20.0 ¡ 30.0 ¡ 40.0 ¡ 50.0 ¡ 60.0 ¡ 70.0 ¡ 80.0 ¡ 90.0 ¡ 100.0 ¡

Mean ¡OES ¡Scores ¡ ¡

* * * * *

p=0.05 ¡(Level ¡of ¡Significance) ¡ ¡

Overall Mean Scores (By Courses)

Slide ¡10/12 ¡

* * * *

T-­‑tests ¡(by ¡Schools) ¡

School Score-­‑Type p-­‑Value Remark SBIZ OCAS 0.001 Significant ¡ OES 0.910 Not ¡Significant ¡ FRS 0.129 Not ¡Significant SASS OCAS 0.001 Significant ¡ OES 0.000 Significant ¡ FRS 0.007 Significant SST OCAS 0.021 Significant ¡ OES 0.021 Significant ¡ FRS 0.174 Not ¡Significant HDSS OCAS 0.000 Significant ¡ OES 0.000 Significant ¡ FRS 0.000 Significant

§ ¡Findings are inconclusive given the short time frame of the study.

Results need to be validated against longitudinal studies with other variables controlled. § Results suggest that blended learning approach does not adversely affect students’ performance § Results also suggest that students in the blended learning group appear to perform better for OCAS.

Conclusion

Slide ¡12/12 ¡

¡

¡ Thank ¡You ¡