Tamara Denning Adam Lerner Adam Shostack Tadayoshi Kohno - - PowerPoint PPT Presentation

Tamara ¡Denning ¡ Adam ¡Lerner ¡ Adam ¡Shostack ¡ Tadayoshi ¡Kohno ¡

University ¡of ¡Washington ¡

• Implantable ¡medical ¡devices ¡
• Consumer ¡technologies ¡in ¡the ¡home ¡
• Augmented ¡reality ¡

BACKGROUND CONTEXT

• Implantable ¡medical ¡devices ¡
• Consumer ¡technologies ¡in ¡the ¡home ¡
• Augmented ¡reality ¡

BACKGROUND CONTEXT

• Implantable ¡medical ¡devices ¡
• Consumer ¡technologies ¡in ¡the ¡home ¡
• Augmented ¡reality ¡

BACKGROUND CONTEXT

• Implantable ¡medical ¡devices ¡
• Consumer ¡technologies ¡in ¡the ¡home ¡
• Augmented ¡reality ¡

BACKGROUND CONTEXT

!

• Implantable ¡medical ¡devices ¡
• Consumer ¡technologies ¡in ¡the ¡home ¡
• Augmented ¡reality ¡
• Cars ¡
• Web ¡tracking ¡
• Powerline ¡electromagneAc ¡interference ¡

BACKGROUND CONTEXT

• Security ¡affects ¡all ¡kinds ¡of ¡technologies ¡
• Embedded
• Cyber-physical
• Public infrastructure

THEMES

• Security ¡affects ¡all ¡kinds ¡of ¡technologies ¡
• Embedded
• Cyber-physical
• Public infrastructure
• ADacks ¡can ¡be ¡creaAve ¡and ¡subtle ¡

THEMES

• Security ¡affects ¡all ¡kinds ¡of ¡technologies ¡
• Embedded
• Cyber-physical
• Public infrastructure
• ADacks ¡can ¡be ¡creaAve ¡and ¡subtle ¡
• Risks ¡to ¡users ¡are ¡varied ¡

¡

THEMES

• Security ¡affects ¡all ¡kinds ¡of ¡technologies ¡
• Embedded
• Cyber-physical
• Public infrastructure
• ADacks ¡can ¡be ¡creaAve ¡and ¡subtle ¡
• Risks ¡to ¡users ¡are ¡varied ¡
• (Security ¡is ¡really ¡neat) ¡

THEMES

¡ ¡ ¡ How ¡can ¡we ¡communicate ¡these ¡kinds ¡of ¡issues ¡to ¡ users, ¡managers, ¡(current ¡and ¡future) ¡developers, ¡ computer ¡science ¡students…? ¡

• Games ¡
• Can ¡be ¡fun ¡à ¡engagement ¡
• Casual ¡à ¡explore ¡ideas ¡
• Entertainment ¡à ¡voluntary ¡play ¡

¡

APPROACH: A GAME

• Games ¡
• Can ¡be ¡fun ¡à ¡engagement ¡
• Casual ¡à ¡explore ¡ideas ¡
• Entertainment ¡à ¡voluntary ¡play ¡
• Physical ¡games ¡
• Can ¡be ¡leO ¡around ¡
• Suitable ¡for ¡social ¡gatherings ¡
• No ¡resource ¡dependencies ¡

APPROACH: A GAME

• Games ¡
• Can ¡be ¡fun ¡à ¡engagement ¡
• Casual ¡à ¡explore ¡ideas ¡
• Entertainment ¡à ¡voluntary ¡play ¡
• Physical ¡games ¡
• Can ¡be ¡leO ¡around ¡
• Suitable ¡for ¡social ¡gatherings ¡
• No ¡resource ¡dependencies ¡

APPROACH: A GAME

PrioriAzed ¡Fun ¡> ¡EducaAon ¡

• 1. Designed ¡and ¡

produced ¡a ¡game ¡

WHAT WE DID

• 1. Designed ¡and ¡

produced ¡a ¡game ¡

WHAT WE DID

• 2. ¡ ¡ ¡Evaluated ¡its ¡usage ¡in ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡

educaAonal ¡contexts ¡ ¡

• We ¡are ¡not ¡game ¡designers ¡ ¡

¡

DEVELOPING MECHANICS

¡ ¡ 17 ¡ ¡ ¡

• Ninja ¡Burger ¡from ¡Steve ¡Jackson ¡Games ¡

• WriAng ¡Card ¡Text ¡(16 ¡Hacker ¡cards, ¡56 ¡Mission ¡cards, ¡

72 ¡Entropy ¡cards) ¡

DEVELOPMENT PROCESS

• WriAng ¡Card ¡Text ¡(16 ¡Hacker ¡cards, ¡56 ¡Mission ¡cards, ¡

72 ¡Entropy ¡cards) ¡

• (Accurate) technical content

DEVELOPMENT PROCESS

• WriAng ¡Card ¡Text ¡(16 ¡Hacker ¡cards, ¡56 ¡Mission ¡cards, ¡

72 ¡Entropy ¡cards) ¡

• (Accurate) technical content
• Comprehensibility

DEVELOPMENT PROCESS

• WriAng ¡Card ¡Text ¡(16 ¡Hacker ¡cards, ¡56 ¡Mission ¡cards, ¡

72 ¡Entropy ¡cards) ¡

• (Accurate) technical content
• Comprehensibility
• Brevity

DEVELOPMENT PROCESS

• WriAng ¡Card ¡Text ¡(16 ¡Hacker ¡cards, ¡56 ¡Mission ¡cards, ¡

72 ¡Entropy ¡cards) ¡

• (Accurate) technical content
• Comprehensibility
• Brevity
• Humor/Enjoyment

DEVELOPMENT PROCESS

• WriAng ¡Card ¡Text ¡(16 ¡Hacker ¡cards, ¡56 ¡Mission ¡cards, ¡

72 ¡Entropy ¡cards) ¡

• (Accurate) technical content
• Comprehensibility
• Brevity
• Humor/Enjoyment
• Mapping Game Mechanics

DEVELOPMENT PROCESS

• WriAng ¡Card ¡Text ¡(16 ¡Hacker ¡cards, ¡56 ¡Mission ¡cards, ¡

72 ¡Entropy ¡cards) ¡

• (Accurate) technical content
• Comprehensibility
• Brevity
• Humor/Enjoyment
• Mapping Game Mechanics
• Art ¡and ¡Graphic ¡Design ¡

DEVELOPMENT PROCESS

• WriAng ¡Card ¡Text ¡(16 ¡Hacker ¡cards, ¡56 ¡Mission ¡cards, ¡

72 ¡Entropy ¡cards) ¡

• (Accurate) technical content
• Comprehensibility
• Brevity
• Humor/Enjoyment
• Mapping Game Mechanics
• Art ¡and ¡Graphic ¡Design ¡
• PlaytesAng, ¡ProducAon… ¡

DEVELOPMENT PROCESS

Hey.

Alice Bob Carol

Yo.

Alice, ¡Bob, ¡and ¡Carol ¡are ¡playing. ¡

Everyone ¡gets ¡3 ¡random ¡Hacker ¡cards, ¡and ¡chooses ¡1. ¡

…

Alice Bob Carol

… …

Everyone ¡gets: ¡3 ¡Entropy ¡cards, ¡1 ¡A@ending ¡Card, ¡1 ¡Not ¡A@ending ¡Card, ¡and ¡6 ¡ Hacker ¡Cred. ¡ ¡

Alice Bob Carol

Ready ¡to ¡start ¡playing… ¡

Alice Bob Carol

Phase ¡1: ¡Distribute ¡Money ¡and ¡Draw ¡Entropy ¡Cards. ¡ ¡

Alice Bob Carol

w00t.

Round 1

Phase ¡2: ¡Draw ¡Mission ¡Cards. ¡ ¡

Alice Bob Carol

Alice Bob Carol

Alice Bob Carol

hmmm

Phase ¡3: ¡Staff ¡Video ¡Conference. ¡

Alice Bob Carol

Trade Me! No.

Phase ¡4: ¡The ¡Missions ¡(Player ¡Turns). ¡

Alice Bob Carol

? ? 7 12 ? 14

rand()

Phase ¡4: ¡The ¡Missions ¡(Player ¡Turns). ¡

Alice Bob Carol

“ ”

:(

Phase ¡4: ¡The ¡Missions ¡(Player ¡Turns). ¡

Alice Bob Carol

!

“ ≤ 11 ” 11 “ ” …

Phase ¡4: ¡The ¡Missions ¡(Player ¡Turns). ¡

Alice Bob Carol

rand()

Phase ¡4: ¡The ¡Missions ¡(Player ¡Turns). ¡

Alice Bob Carol

:P :(

“ ≤ 10 ” “ ” … 8

Phase ¡4: ¡The ¡Missions ¡(Player ¡Turns). ¡

Alice Bob Carol

rand()

“ ≤ 11 ” “ ” … 10

Phase ¡4: ¡The ¡Missions ¡(Player ¡Turns). ¡

Alice Bob Carol

rand()

:( Phase ¡4: ¡The ¡Missions ¡(Player ¡Turns). ¡

Alice Bob Carol

:D :(

Phase ¡4: ¡The ¡Missions ¡(Player ¡Turns). ¡ ¡

Alice Bob Carol

“ ” … “ ≤ 8 ” 10

Phase ¡4: ¡The ¡Missions ¡(Player ¡Turns). ¡ ¡

Alice Bob Carol

rand()

! 12

Phase ¡4: ¡The ¡Missions ¡(Player ¡Turns). ¡ ¡

Alice Bob Carol

rand()

Phase ¡4: ¡The ¡Missions ¡(Player ¡Turns). ¡ ¡

Alice Bob Carol

“ ” … “ ≤ 9 ” 10

Phase ¡4: ¡The ¡Missions ¡(Player ¡Turns). ¡ ¡

Alice Bob Carol

rand()

13

Phase ¡4: ¡The ¡Missions ¡(Player ¡Turns). ¡ ¡

Alice Bob Carol

rand()

Phase ¡4: ¡The ¡Missions ¡(Player ¡Turns). ¡ ¡

Alice Bob Carol

• De-­‑anonymizaAon ¡
• Cars ¡
• Medical ¡Devices ¡
• Contactless ¡Payment ¡Systems ¡
• Password ¡Recovery ¡QuesAons ¡
• VoAng ¡Machines ¡
• AnA-­‑censorship ¡
• Botnets ¡
• … ¡

CARD TOPICS

¡ ¡

SYSTEM ¡EVALUATION ¡

¡ ¡

SYSTEM ¡EVALUATION ¡

(in ¡educaAonal ¡contexts) ¡

¡ ¡

• 1. Educator ¡Feedback ¡Survey ¡EvaluaAon ¡
• 2. Direct ¡User ¡Study ¡

EVALUATION METHODS

• DistribuAon ¡
• Available ¡for ¡sale ¡online ¡for ¡the ¡general ¡public ¡
• ~3000 ¡educator ¡copies ¡distributed ¡

EDUCATOR EVALUATION

• DistribuAon ¡
• Available ¡for ¡sale ¡online ¡for ¡the ¡general ¡public ¡
• ~3000 ¡educator ¡copies ¡distributed ¡

EDUCATOR EVALUATION

Tamara ¡Denning ¡and ¡Tadayoshi ¡Kohno ¡are ¡founders ¡and ¡equity ¡

• wners ¡of ¡RGB ¡Hats, ¡LLC, ¡a ¡private, ¡for-­‑profit ¡company ¡which ¡

has ¡licensed ¡the ¡subject ¡technology ¡from ¡the ¡University ¡of ¡

• Washington. ¡This ¡research ¡is ¡subject ¡to ¡the ¡condiAons ¡of ¡a ¡

financial ¡conflict ¡of ¡interest ¡management ¡plan ¡established ¡by ¡ the ¡University ¡of ¡Washington. ¡

• DistribuAon ¡
• Available ¡for ¡sale ¡online ¡for ¡the ¡general ¡public ¡
• ~3000 ¡educator ¡copies ¡distributed ¡

ê ¡

• Recruitment ¡ ¡
• Shipped ¡~800 ¡copies ¡to ¡150 ¡educators ¡November ¡2012-­‑

March ¡2013 ¡

• 50 ¡copies ¡at ¡SIGCSE ¡(computer ¡educaAon) ¡poster ¡session ¡

EDUCATOR EVALUATION

• 22 ¡educators ¡responded ¡(~15%) ¡
• >450 ¡students ¡at ¡high ¡school, ¡undergrad, ¡grad ¡levels ¡
• Computer/informaAon ¡science, ¡computer/informaAon ¡

security, ¡game ¡design ¡courses

EDUCATOR EVALUATION

• Survey ¡consisted ¡of: ¡
• Open-­‑ended ¡quesAons ¡(primarily) ¡
• MulAple ¡choice ¡quesAons ¡

DATA ANALYSIS

• Survey ¡consisted ¡of: ¡
• Open-­‑ended ¡quesAons ¡(primarily) ¡
• MulAple ¡choice ¡quesAons ¡
• QualitaAve ¡Analysis ¡using ¡primary ¡& ¡reliability ¡coder ¡

DATA ANALYSIS

• 1. Researchers ¡independently ¡review ¡

survey ¡responses ¡for ¡themes ¡& ¡ propose ¡codes ¡

DATA ANALYSIS

• 1. Researchers ¡independently ¡review ¡

survey ¡responses ¡for ¡themes ¡& ¡ propose ¡codes ¡

• 2. Researchers ¡come ¡to ¡consensus ¡on ¡

codes ¡

DATA ANALYSIS

• 1. Researchers ¡independently ¡review ¡

survey ¡responses ¡for ¡themes ¡& ¡ propose ¡codes ¡

• 2. Researchers ¡come ¡to ¡consensus ¡on ¡

codes ¡

• 3. Researchers ¡review ¡interviews ¡in ¡

context ¡of ¡codes ¡to ¡judge ¡fit ¡

DATA ANALYSIS

• 1. Researchers ¡independently ¡review ¡

survey ¡responses ¡for ¡themes ¡& ¡ propose ¡codes ¡

• 2. Researchers ¡come ¡to ¡consensus ¡on ¡

codes ¡

• 3. Researchers ¡review ¡interviews ¡in ¡

context ¡of ¡codes ¡to ¡judge ¡fit ¡

DATA ANALYSIS

• 1. Researchers ¡independently ¡review ¡

survey ¡responses ¡for ¡themes ¡& ¡ propose ¡codes ¡

• 2. Researchers ¡come ¡to ¡consensus ¡on ¡

codes ¡

• 3. Researchers ¡review ¡interviews ¡in ¡

context ¡of ¡codes ¡to ¡judge ¡fit ¡

• 4. Researchers ¡independently ¡code ¡

interviews ¡for ¡presence ¡or ¡absence ¡

• f ¡each ¡code ¡

DATA ANALYSIS

• 1. Researchers ¡independently ¡review ¡

survey ¡responses ¡for ¡themes ¡& ¡ propose ¡codes ¡

• 2. Researchers ¡come ¡to ¡consensus ¡on ¡

codes ¡

• 3. Researchers ¡review ¡interviews ¡in ¡

context ¡of ¡codes ¡to ¡judge ¡fit ¡

• 4. Researchers ¡independently ¡code ¡

interviews ¡for ¡presence ¡or ¡absence ¡

• f ¡each ¡code ¡

DATA ANALYSIS

“It ¡worked ¡as ¡a ¡way ¡to ¡ break ¡the ¡ice ¡and ¡get ¡ students ¡from ¡diverse ¡ majors ¡get ¡to ¡know ¡[sic] ¡ each ¡other ¡and ¡get ¡ thinking ¡about ¡the ¡topics ¡

• f ¡the ¡course.” ¡ ¡

¡

ê

¡

Social ¡/ ¡Engagement ¡

EVALUATION OVERVIEW

Social ¡/ ¡ Engagement ¡ Awareness ¡ Would ¡Use ¡ Again ¡ Would ¡ Suggest ¡to ¡ Others ¡ Takes ¡a ¡long ¡ Wme ¡to ¡learn ¡ Takes ¡a ¡long ¡ Wme ¡to ¡play ¡ Not ¡enough ¡ fun ¡ Not ¡enough ¡ educaWonal ¡ value ¡ Has ¡ inappropriate ¡ content ¡

EVALUATION OVERVIEW

Social ¡/ ¡ Engagement ¡ Awareness ¡ Would ¡Use ¡ Again ¡ Would ¡ Suggest ¡to ¡ Others ¡ Takes ¡a ¡long ¡ Wme ¡to ¡learn ¡ Takes ¡a ¡long ¡ Wme ¡to ¡play ¡ Not ¡enough ¡ fun ¡ Not ¡enough ¡ educaWonal ¡ value ¡ Has ¡ inappropriate ¡ content ¡

PosiAve ¡funcAons ¡served ¡by ¡ usage ¡of ¡the ¡game: ¡ ¡

• Social/Engagement ¡
• Awareness ¡

EVALUATION OVERVIEW

Social ¡/ ¡ Engagement ¡ Awareness ¡ Would ¡Use ¡ Again ¡ Would ¡ Suggest ¡to ¡ Others ¡ Takes ¡a ¡long ¡ Wme ¡to ¡learn ¡ Takes ¡a ¡long ¡ Wme ¡to ¡play ¡ Not ¡enough ¡ fun ¡ Not ¡enough ¡ educaWonal ¡ value ¡ Has ¡ inappropriate ¡ content ¡

CriAques ¡of ¡the ¡game: ¡ ¡

• Takes ¡a ¡long ¡Ame ¡to ¡learn ¡
• Takes ¡a ¡long ¡Ame ¡to ¡play ¡
• Not ¡enough ¡fun ¡
• Not ¡enough ¡educaAonal ¡

value ¡

• Has ¡inappropriate ¡content ¡

EVALUATION OVERVIEW

Social ¡/ ¡ Engagement ¡ Awareness ¡ Would ¡Use ¡ Again ¡ Would ¡ Suggest ¡to ¡ Others ¡ Takes ¡a ¡long ¡ Wme ¡to ¡learn ¡ Takes ¡a ¡long ¡ Wme ¡to ¡play ¡ Not ¡enough ¡ fun ¡ Not ¡enough ¡ educaWonal ¡ value ¡ Has ¡ inappropriate ¡ content ¡

Would ¡Use ¡Again ¡in ¡Classroom ¡(y/n) ¡ ¡ Would ¡Suggest ¡to ¡Others ¡(y/n) ¡

EVALUATION OVERVIEW

Social ¡/ ¡ Engagement ¡ Awareness ¡ Would ¡Use ¡ Again ¡ Would ¡ Suggest ¡to ¡ Others ¡ Takes ¡a ¡long ¡ Wme ¡to ¡learn ¡ Takes ¡a ¡long ¡ Wme ¡to ¡play ¡ Not ¡enough ¡ fun ¡ Not ¡enough ¡ educaWonal ¡ value ¡ Has ¡ inappropriate ¡ content ¡

Used ¡in ¡classroom ¡ Used ¡out-­‑of ¡classroom ¡(e.g., ¡ACM ¡lounge, ¡staff ¡ lunch, ¡vetng ¡for ¡classroom ¡use) ¡

EVALUATION OVERVIEW

Social ¡/ ¡ Engagement ¡ Awareness ¡ Would ¡Use ¡ Again ¡ Would ¡ Suggest ¡to ¡ Others ¡ Takes ¡a ¡long ¡ Wme ¡to ¡learn ¡ Takes ¡a ¡long ¡ Wme ¡to ¡play ¡ Not ¡enough ¡ fun ¡ Not ¡enough ¡ educaWonal ¡ value ¡ Has ¡ inappropriate ¡ content ¡

IN-CLASSROOM

Course ¡ Class ¡Size ¡ Student ¡Level ¡

InformaAon ¡SoOware ¡Technology ¡ 30 ¡ HS ¡ Unknown ¡ 12 ¡ UG ¡ Computer ¡Science ¡ 75 ¡ HS ¡ Cyber-­‑Security ¡and ¡InformaAon ¡Assurance ¡ 56 ¡ UG ¡ Computer ¡and ¡Network ¡Security ¡ 10 ¡ UG, ¡G ¡ Computers ¡and ¡InformaAon ¡Technology ¡ 60 ¡ HS ¡ Game ¡Design ¡ 65 ¡ HS ¡ Computer ¡Security ¡ 22 ¡ UG ¡ IT ¡Security ¡ 8 ¡ UG ¡ InformaAon ¡Security ¡ 15 ¡ UG ¡ Intro ¡CS ¡Web ¡Design ¡ 35 ¡ HS ¡ Cyber ¡Security ¡ 2 ¡ HS ¡ Fundamentals ¡of ¡InformaAon ¡Security ¡ 30 ¡ UG ¡ Computer ¡and ¡Network ¡Security ¡ 27 ¡ UG ¡

Takes ¡a ¡long ¡ Wme ¡to ¡learn ¡ Takes ¡a ¡long ¡ Wme ¡to ¡play ¡ Not ¡enough ¡ fun ¡ Not ¡enough ¡ educaWonal ¡ value ¡ Has ¡ inappropriate ¡ content ¡

IN-CLASSROOM

Social ¡/ ¡ Engagement ¡ Awareness ¡

Takes ¡a ¡long ¡ Wme ¡to ¡learn ¡ Takes ¡a ¡long ¡ Wme ¡to ¡play ¡ Not ¡enough ¡ fun ¡ Not ¡enough ¡ educaWonal ¡ value ¡ Has ¡ inappropriate ¡ content ¡

IN-CLASSROOM

Social ¡/ ¡ Engagement ¡ Awareness ¡

Takes ¡a ¡long ¡ Wme ¡to ¡learn ¡ Takes ¡a ¡long ¡ Wme ¡to ¡play ¡ Not ¡enough ¡ fun ¡ Not ¡enough ¡ educaWonal ¡ value ¡ Has ¡ inappropriate ¡ content ¡

IN-CLASSROOM

Social ¡/ ¡ Engagement ¡ Awareness ¡

Social/Engagement ¡

¡

• 11/14 ¡gave ¡responses ¡interpreted ¡as ¡

providing ¡evidence ¡of ¡“social/ engagement” ¡funcAon ¡

¡

• 27 ¡undergraduates, ¡Computer ¡and ¡

Network ¡Security: ¡ ¡

“I ¡just ¡wanted ¡to ¡reiterate ¡how ¡great ¡my ¡students ¡ thought ¡the ¡game ¡was! ¡The ¡students ¡begged ¡me ¡to ¡ leave ¡the ¡game ¡in ¡the ¡student ¡lounge ¡so ¡they ¡could ¡ conAnue ¡to ¡play, ¡and ¡from ¡what ¡I ¡hear ¡it’s ¡made ¡a ¡trip ¡

• r ¡two ¡out ¡to ¡our ¡weekly ¡majors ¡night ¡at ¡the ¡pub.” ¡

Takes ¡a ¡long ¡ Wme ¡to ¡learn ¡ Takes ¡a ¡long ¡ Wme ¡to ¡play ¡ Not ¡enough ¡ fun ¡ Not ¡enough ¡ educaWonal ¡ value ¡ Has ¡ inappropriate ¡ content ¡

IN-CLASSROOM

Social ¡/ ¡ Engagement ¡ Awareness ¡

Awareness ¡

¡

• 11/14 ¡gave ¡responses ¡interpreted ¡as ¡

providing ¡evidence ¡of ¡“awareness” ¡ funcAon ¡

• 60 ¡high ¡school ¡students, ¡Computers ¡

and ¡InformaAon ¡Technology: ¡ ¡

“The ¡game ¡did ¡not ¡necessarily ¡teach ¡security ¡ methods, ¡but ¡it ¡did ¡a ¡great ¡job ¡of ¡teaching ¡vocabulary ¡ and ¡literacy.”…“It ¡increased ¡awareness ¡of ¡my ¡ program, ¡and ¡it ¡got ¡more ¡students ¡interested ¡in ¡ computer ¡science.” ¡

Takes ¡a ¡long ¡ Wme ¡to ¡learn ¡ Takes ¡a ¡long ¡ Wme ¡to ¡play ¡ Not ¡enough ¡ fun ¡ Not ¡enough ¡ educaWonal ¡ value ¡ Has ¡ inappropriate ¡ content ¡

IN-CLASSROOM

Social ¡/ ¡ Engagement ¡ Awareness ¡

Takes ¡a ¡long ¡ Wme ¡to ¡learn ¡ Takes ¡a ¡long ¡ Wme ¡to ¡play ¡ Not ¡enough ¡ fun ¡ Not ¡enough ¡ educaWonal ¡ value ¡ Has ¡ inappropriate ¡ content ¡

IN-CLASSROOM

Social ¡/ ¡ Engagement ¡ Awareness ¡

Takes ¡a ¡long ¡ Wme ¡to ¡learn ¡ Takes ¡a ¡long ¡ Wme ¡to ¡play ¡ Not ¡enough ¡ fun ¡ Not ¡enough ¡ educaWonal ¡ value ¡ Has ¡ inappropriate ¡ content ¡

IN-CLASSROOM

Social ¡/ ¡ Engagement ¡ Awareness ¡

• UG/G ¡– ¡Computer ¡and ¡Network ¡Security ¡
• UG ¡– ¡Computer ¡Security ¡
• UG ¡– ¡IT ¡Security ¡
• HS ¡– ¡Cyber ¡Security ¡

¡ “Since ¡we ¡approached ¡the ¡game ¡expec=ng ¡to ¡be ¡ tested ¡on ¡our ¡knowledge ¡of ¡vulnerabili=es ¡and ¡ penetra=on ¡techniques, ¡we ¡were ¡dissa=sfied ¡in ¡that ¡ manner, ¡but ¡we ¡enjoyed ¡the ¡overall ¡concept.” ¡ ¡

¡ Mismatched ¡ExpectaAons ¡

EVALUATION OVERVIEW

Social ¡/ ¡ Engagement ¡ Awareness ¡ Would ¡Use ¡ Again ¡ Would ¡ Suggest ¡to ¡ Others ¡ Takes ¡a ¡long ¡ Wme ¡to ¡learn ¡ Takes ¡a ¡long ¡ Wme ¡to ¡play ¡ Not ¡enough ¡ fun ¡ Not ¡enough ¡ educaWonal ¡ value ¡ Has ¡ inappropriate ¡ content ¡

EVALUATION OVERVIEW

Social ¡/ ¡ Engagement ¡ Awareness ¡ Would ¡Use ¡ Again ¡ Would ¡ Suggest ¡to ¡ Others ¡ Takes ¡a ¡long ¡ Wme ¡to ¡learn ¡ Takes ¡a ¡long ¡ Wme ¡to ¡play ¡ Not ¡enough ¡ fun ¡ Not ¡enough ¡ educaWonal ¡ value ¡ Has ¡ inappropriate ¡ content ¡

OUT-OF-CLASSROOM

Social ¡/ ¡ Engagement ¡ Awareness ¡ Takes ¡a ¡long ¡ Wme ¡to ¡learn ¡ Takes ¡a ¡long ¡ Wme ¡to ¡play ¡ Not ¡enough ¡ fun ¡ Not ¡enough ¡ educaWonal ¡ value ¡ Has ¡ inappropriate ¡ content ¡

OUT-OF-CLASSROOM

Social ¡/ ¡ Engagement ¡ Awareness ¡ Takes ¡a ¡long ¡ Wme ¡to ¡learn ¡ Takes ¡a ¡long ¡ Wme ¡to ¡play ¡ Not ¡enough ¡ fun ¡ Not ¡enough ¡ educaWonal ¡ value ¡ Has ¡ inappropriate ¡ content ¡

OUT-OF-CLASSROOM

Social ¡/ ¡ Engagement ¡ Awareness ¡ Takes ¡a ¡long ¡ Wme ¡to ¡learn ¡ Takes ¡a ¡long ¡ Wme ¡to ¡play ¡ Not ¡enough ¡ fun ¡ Not ¡enough ¡ educaWonal ¡ value ¡ Has ¡ inappropriate ¡ content ¡

• ACM ¡play ¡session ¡with ¡undergrads ¡
• Instructor ¡vetng ¡with ¡graduate ¡

students, ¡faculty, ¡staff ¡

• Staff ¡lunch ¡
• Available ¡to ¡take ¡home ¡as ¡a ¡

checkout ¡

• Instructor ¡vetng ¡(4) ¡

¡

OUT-OF-CLASSROOM

Social ¡/ ¡ Engagement ¡ Awareness ¡ Takes ¡a ¡long ¡ Wme ¡to ¡learn ¡ Takes ¡a ¡long ¡ Wme ¡to ¡play ¡ Not ¡enough ¡ fun ¡ Not ¡enough ¡ educaWonal ¡ value ¡ Has ¡ inappropriate ¡ content ¡

OUT-OF-CLASSROOM

Social ¡/ ¡ Engagement ¡ Awareness ¡ Takes ¡a ¡long ¡ Wme ¡to ¡learn ¡ Takes ¡a ¡long ¡ Wme ¡to ¡play ¡ Not ¡enough ¡ fun ¡ Not ¡enough ¡ educaWonal ¡ value ¡ Has ¡ inappropriate ¡ content ¡

Not ¡enough ¡educaAonal ¡value ¡ ¡

“The ¡game ¡could ¡use ¡more ¡specificity ¡around ¡ computer ¡acAvity. ¡My ¡students ¡were ¡hoping ¡for ¡a ¡ higher ¡level ¡of ¡rigor.” ¡ ¡

¡ ¡ Mismatched ¡ExpectaAons ¡/ ¡ ¡ Chose ¡Not ¡to ¡Use ¡

EVALUATION OVERVIEW

Social ¡/ ¡ Engagement ¡ Awareness ¡ Would ¡Use ¡ Again ¡ Would ¡ Suggest ¡to ¡ Others ¡ Takes ¡a ¡long ¡ Wme ¡to ¡learn ¡ Takes ¡a ¡long ¡ Wme ¡to ¡play ¡ Not ¡enough ¡ fun ¡ Not ¡enough ¡ educaWonal ¡ value ¡ Has ¡ inappropriate ¡ content ¡

EVALUATION OVERVIEW

Social ¡/ ¡ Engagement ¡ Awareness ¡ Would ¡Use ¡ Again ¡ Would ¡ Suggest ¡to ¡ Others ¡ Takes ¡a ¡long ¡ Wme ¡to ¡learn ¡ Takes ¡a ¡long ¡ Wme ¡to ¡play ¡ Not ¡enough ¡ fun ¡ Not ¡enough ¡ educaWonal ¡ value ¡ Has ¡ inappropriate ¡ content ¡

• 10/14 ¡who ¡used ¡in ¡the ¡

classroom ¡would ¡use ¡again ¡

• 13/14 ¡who ¡used ¡in ¡the ¡

classroom ¡would ¡recommend ¡to ¡

• thers ¡

¡

OVERALL ASSESSMENT

Would ¡Use ¡ Again ¡ Would ¡ Suggest ¡to ¡ Others ¡

• 10/14 ¡who ¡used ¡in ¡the ¡

classroom ¡would ¡use ¡again ¡

• 13/14 ¡who ¡used ¡in ¡the ¡

classroom ¡would ¡recommend ¡to ¡

• thers ¡

¡ Q: ¡“If ¡you ¡had ¡not ¡used ¡Control-­‑Alt-­‑Hack, ¡ would ¡you ¡sAll ¡have ¡covered ¡the ¡ material?” ¡

• 2/14 ¡educators ¡said ¡they ¡

would ¡not ¡have ¡otherwise ¡ covered ¡the ¡material ¡

OVERALL ASSESSMENT

Would ¡Use ¡ Again ¡ Would ¡ Suggest ¡to ¡ Others ¡

• Designed ¡and ¡produced ¡a ¡recreaAonal ¡game ¡created ¡

to ¡implicitly ¡increase ¡awareness ¡of ¡computer ¡security ¡

• ~3000 ¡educaAonal ¡copies ¡distributed ¡
• Evaluated ¡via ¡analysis ¡of ¡educator ¡surveys ¡
• é ¡Awareness
• é ¡Engagement
• Critiques reflected design-time tradeoff decisions
• Potentially reached new audiences

SUMMARY

THANKS TO!

93

QuesAons? ¡

Tamara ¡Denning ¡

hDp://www.cs.washington.edu/homes/tdenning/ ¡