Learning Management System (LMS) Evolution Change management - PowerPoint PPT Presentation

Learning Management System (LMS) Evolution Change management perspective William Wan (william.wan@ust.hk) Head of Teaching Technologies Information Technology Services Center, HKUST

Background of HKUST

Background of HKUST • Started in 1991 • 9000 Undergraduates • 4500 Postgraduates • 600 Teaching staff

Evolution of LMS in HKUST 2006 ¡ 2014 ¡ 2001 ¡ 1997 ¡ Sakai ¡ Canvas ¡ WebCT ¡ Basic ¡website ¡ Open-­‑source ¡ User-­‑friendly ¡ Ease ¡of ¡content ¡ for ¡content ¡ Allow ¡customiza.on ¡ Min ¡maintenance ¡ update ¡by ¡non-­‑ distribu.on ¡ ¡ API ¡for ¡integra.on ¡ technical ¡persons ¡ Cloud ¡Service ¡ Content ¡delivery ¡ Basic ¡Interac2on ¡ Customiza2on ¡ • Inconsistent ¡UI ¡ • Bb ¡acquired ¡ • Require ¡technical ¡ • No ¡customiza.on ¡ • Not ¡user-­‑friendly ¡ WebCT ¡>> ¡ skills ¡to ¡set ¡things ¡ on ¡core ¡func.ons ¡ • Applica.on ¡ • unknown ¡future ¡ up ¡ Network ¡latency ¡ architecture ¡changes ¡ • No ¡control ¡over ¡ • Need ¡to ¡ • Privacy ¡/ ¡security ¡ between ¡versions ¡ enhancements ¡/ ¡ remember ¡many ¡ concerns ¡ • High ¡maintenance ¡cost ¡ • fixes ¡ URLs ¡ Remote ¡support ¡ • Not ¡suitable ¡for ¡ • License ¡cost ¡ blended ¡learning ¡

Why change? • Academic reform in HK in 2012 – New curriculum – 3 years tertiary education 4 years – Outcome-based learning • Blended learning initiative • More team-based and online activities • High maintenance cost to maintain the open- source Sakai platform CC ¡photo ¡by ¡SomeDriQwood ¡ hRps://www.flickr.com/photos/arthurjohnpicton/4383221264 ¡

Change Process – solutions selection Oct-­‑13 ¡ Oct-­‑13 ¡ Nov-­‑13 ¡ Jan-­‑14 ¡ May ¡to ¡Jul-­‑14 ¡ Feb ¡to ¡Apr-­‑14 ¡ PO ¡& ¡Agreement ¡ Tender ¡Process ¡ Forma.on ¡of ¡ Requirements ¡ Vendor ¡lis.ng ¡ Vendor ¡demo ¡ ¡ ¡ CommiRee ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Representa.ves: ¡ Func.onal ¡ Blackboard ¡ Blackboard ¡ Tender ¡reply ¡ Legal ¡review ¡and ¡ CELT* ¡ Trial ¡system ¡setup ¡ discussion ¡ requirements ¡ ¡ ¡ Provost ¡office ¡ Canvas ¡ Canvas ¡(remote) ¡ Tender ¡review ¡ Agreement ¡ ¡ ITSC ¡ ¡ ¡ (Technical) ¡ revisions ¡ Technical ¡ LIB ¡ Requirements ¡ Desire2Learn ¡ Moodle ¡ Tender ¡review ¡ Signing ¡of ¡PO ¡& ¡ PTC ¡ ¡ ¡ ¡ (Price) ¡ Agreement ¡ Faculty ¡Member ¡ Recommenda.ons ¡ ¡ Evalua.on ¡ Moodle ¡ Moodlerooms ¡ Student ¡Union ¡ ¡ ¡ Tender ¡board ¡ ¡ criteria ¡ ¡ Moodlerooms ¡ Desire2Learn ¡ approval ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Stakeholders ¡ Confirm ¡ Look ¡for ¡ Evaluate ¡ Management ¡ Start ¡of ¡ ¡ ¡ engagement ¡ project ¡ solu.ons ¡ solu.ons ¡ approval ¡ Implementa.on ¡ objec.ves ¡

Our change objectives • Usability • Scalability & High Performance • Mobile friendly • Security • Expandability • Maintainability

Initial hurdles of the change • Top concern – Cloud service – Data Privacy – Security – Ownership of data – Law compliance – Performance / Latency – Support • To overcome – Persuade stakeholders – Cloud services is the trend – Review and revise service agreement to meet our needs – Use the new data center in Singapore instead of USA

Change Process - Implementation Sep-­‑14 ¡ Jul-­‑14 ¡ Jul-­‑14 ¡ Aug-­‑14 ¡ Produc.on ¡ On-­‑site ¡ On-­‑site ¡ System ¡ Launch ¡ Implementa.on ¡ Trainings ¡(3 ¡days) ¡ Implementa.on ¡ Workshops ¡(5 ¡days) ¡ 4 ¡ 1 ¡ 2 ¡ 3 ¡ • • • Project ¡planning ¡ Admin ¡Training ¡ Regular ¡web ¡ • Few ¡courses ¡in ¡pilot ¡ • • Branding ¡& ¡UI ¡ Instructor ¡Training ¡ mee.ng ¡w/ ¡ • System ¡walk ¡through ¡ • JS ¡customiza.on ¡ (train ¡the ¡trainer) ¡ implementa.on ¡ with ¡pilot ¡instructors ¡ • • Basic ¡Setup ¡ Course ¡Design ¡& ¡ Consultant ¡ • • Authen.ca.on ¡ Delivery ¡ SIS ¡import ¡ • • • Roles/Permission ¡ Assessment ¡/ ¡grading ¡/ ¡ Customized ¡URL ¡ • • Migra.on ¡ collabora.on ¡ User ¡Agreement ¡ • • • Integra.on ¡ Communica.on, ¡ LTI ¡whitelis.ng ¡ • Marke.ng ¡ analy.cs ¡ • • Support ¡model ¡ Training ¡Strategy ¡

Implementation / Change strategy • Minimize customizations from the core system • Phased approach – 1 st phase Sept 2014 with minimal integration – 2 nd phase Feb 2015 with more integration with existing systems • Objectives – To launch the system as soon as possible – Minimize customization / upgrade effort – Ease of on-going maintenance and support – Standard tutorial / training materials from Canvas can be used

Implementation - customizations • Minor user interface customizations – Hide delete course button – Hide reset course content button – Hide conclude course button – Hide add token button – Hide link to Instructure support site – Add user agreement for 1 st time access • Objectives – Minimize impact to users when they are not familiar with the system initially – To direct all support requests to local team for better support – Force user to review the TOS before using the system

User interface customization

User interface customization

Implementation – LTI whitelisting Objec2ves ¡ Narrow-­‑down ¡those ¡useful ¡LTI ¡tools ¡ For ¡instructor ¡to ¡use. ¡ ¡ Hide ¡those ¡require ¡subscrip.on ¡or ¡ ¡ system ¡integra.ons ¡ ¡ Minimize ¡support ¡effort ¡

Implementation - snapshots Sure, ¡let ¡me ¡ Good ¡ques.on! ¡ Kevin, ¡Can ¡we ¡hide ¡ do ¡it ¡tonight! ¡ this, ¡show ¡that ¡ Do ¡you ¡want ¡a ¡ and ¡add ¡that? ¡ pen, ¡notebook, ¡T-­‑ shirt ¡or ¡pin? ¡

Change Management – User adoption • Migration plan from Sakai to Canvas • Email sent to all teaching staff about the plan • Communicated with student union about the new system

Adoption / migration strategy • Objectives – Minimize lead-time – Minimize support work – Instructor / TA self-service migration • A very simple LTI tools was developed for migration use • Organize trainings for instructors and TAs Poster ¡generated ¡by: ¡ www.keepcalm-­‑o-­‑ma.c.co.uk ¡

Migration • Migration strategy – Instructor / TA self-service migration – A LTI tools has been developed for migration use There ¡are ¡76 ¡courses ¡used ¡this ¡tools ¡to ¡migrate ¡the ¡course ¡materials ¡from ¡Sakai ¡to ¡Canvas ¡

User adoption (Training) From ¡Aug ¡2014 ¡– ¡Jun ¡2015 ¡ Canvas ¡Extended ¡ Canvas ¡Basic ¡ • 11 ¡sessions ¡held ¡ • 11 ¡sessions ¡held ¡ • Student ¡Groups ¡ • Basic ¡func.onali.es ¡of ¡ • Conferences ¡ Canvas ¡ • Turni.n ¡and ¡other ¡ • Course ¡& ¡content ¡design ¡ • Manage ¡student ¡progress ¡ assessments ¡ • Over ¡200 ¡par.cipants ¡ • Over ¡200 ¡par.cipants ¡ Canvas ¡Exclusive ¡ Canvas ¡for ¡CLE ¡ • Mul.ple ¡sessions ¡held ¡ • 3 ¡sessions ¡held ¡ • Training ¡specific ¡to ¡ • Specific ¡sessions ¡for ¡ individual ¡/ ¡groups ¡of ¡ language ¡course ¡ instructors ¡/ ¡TAs ¡ instructors ¡/ ¡TAs ¡ • ~100 ¡par.cipants ¡

Integration with other systems • Integration strategy – User-friendly – Seamless integration between systems – Auxiliary systems can be updated / upgraded independently • Objectives – To retain the existing LMS integration to minimize changes for end-users – To enhance the existing integration to make users more willing to change

Integration with other systems CAS ¡ Central ¡ Authen.ca.on ¡ SIS ¡ iPRS ¡ System ¡ Teaching ¡& ¡ Clicker ¡ Enrollment ¡ system ¡ Records ¡/ ¡ Grades ¡ iPeer ¡ SFQ ¡ Peer ¡ evalua.on ¡ Student ¡ Feedback ¡ system ¡ Ques.onnaire ¡ LIB ¡ Library ¡ toolbox ¡

Integration (CAS)

Integration (SIS student import)

Integration (SIS grade publish)

Integration (SFQ)

Integration (Library Toolbox)

Integration (iPeer)

Integration (iPRS)

Result of the change • More than 200 course sites created for Spring 2015 • All course sites will be auto-created starting from Summer 2015 • Overall feedback is satisfactory • Survey will be conducted to collect more feedbacks from users

Current status (2015 Spring)

Thank you! William Wan (william.wan@ust.hk) Information Technology Services Center, HKUST