Computational Media Computer Science Research to Enable the Future - - PowerPoint PPT Presentation

Expressive Intelligence Studio // Center for Games and Playable Media http://eis.ucsc.edu // http://games.soe.ucsc.edu

UC Santa Cruz Noah Wardrip-Fruin

Computer Science Research to Enable the Future of Games

Computational Media

Expressive Intelligence Studio Games and Playable Media

Expressive Intelligence Studio Games and Playable Media

Expressive Intelligence Studio Games and Playable Media

97% of teens play video games

— Pew Internet & American Life Project

Time spent with games more than doubled 1999–2009

— Kaiser Family Foundation

Expressive Intelligence Studio Games and Playable Media

Universities and national labs have been central in getting us here

Expressive Intelligence Studio Games and Playable Media

Expressive Intelligence Studio Games and Playable Media

Expressive Intelligence Studio Games and Playable Media

Expressive Intelligence Studio Games and Playable Media

But taking credit is a bit questionable None of this was deliberate research — all ad hoc activity made possible by research environment But now (as this conference shows) games require dedicated research — they are too important not to!

Expressive Intelligence Studio Games and Playable Media

Expressive Intelligence Studio Games and Playable Media

Expressive Intelligence Studio Games and Playable Media

UC Santa Cruz School of Engineering

Expressive Intelligence Studio Games and Playable Media

UC Santa Cruz School of Engineering

• UC ¡Santa ¡Cruz ¡ranked ¡in ¡

top ¡three ¡universi4es ¡in ¡ the ¡world ¡for ¡research ¡ impact ¡based ¡on ¡ publica4on ¡cita4ons. ¡

• Game ¡Design ¡program ¡

in ¡Computer ¡Science ¡ ranked ¡in ¡top ¡ten ¡of ¡ game ¡schools ¡by ¡ Princeton ¡Review.

Plus ¡we ¡have ¡a ¡preBy ¡campus

Expressive Intelligence Studio Games and Playable Media

Expressive Intelligence Studio Games and Playable Media

Center for Games & Playable Media

• The ¡largest ¡technical ¡games ¡

research ¡group ¡in ¡North ¡ America ¡— ¡5 ¡core ¡faculty, ¡ more ¡than ¡30 ¡PhD ¡students, ¡ also ¡MFAs, ¡post-­‑docs, ¡staff ¡

• Projects ¡funded ¡by ¡

ins4tu4ons ¡like ¡DARPA, ¡ IARPA, ¡the ¡Na4onal ¡Science ¡ Founda4on, ¡eBay, ¡and ¡ MicrosoR

• Many ¡aimed ¡at ¡making ¡the ¡

world ¡a ¡beBer ¡place

Jane Pinckard

Expressive Intelligence Studio Games and Playable Media

Game Degree Programs

Founded in 2006 in the

Baskin School of Engineering

400 Undergraduates Ph.D. in Computer Science (Games Focus) M.F.A. in Digital Arts and New Media Division of the Arts

Affiliated Faculty include professors from: American Studies, Behavioral Economics, Computer Engineering, and Film and Digital Media.

Expressive Intelligence Studio Games and Playable Media

Core Faculty

Jim Whitehead: Software Engineering & Games Marilyn Walker: Dialogue & Natural Language Noah Wardrip-Fruin: Playable Media, Interactive Storytelling, Software Studies Michael Mateas: Interactive Storytelling, Procedural Content Generation, Expressive AI Arnav Jhala: Computational Cinematography

Expressive Intelligence Studio Games and Playable Media

(Jim Whitehead) (Arnav Jhala) (Michael Mateas, Noah Wardrip-Fruin) (Marilyn Walker) (Jim Whitehead)

Five Core Labs

Expressive Intelligence Studio Games and Playable Media

Clearly we have a big investment in doing university research on games But how can one make research progress on something like games? Games are media, and engineering has little knowledge about media

Expressive Intelligence Studio Games and Playable Media

One approach: Head for the goal

If ¡you ¡define ¡a ¡goal, ¡all ¡ movement ¡toward ¡it ¡is ¡ progress ¡— ¡makes ¡media ¡an ¡ engineering ¡problem

Fred ¡Parke University ¡of ¡Utah 1972 Liza ¡Minelli Oscar ¡for ¡Best ¡Actress 1972

Expressive Intelligence Studio Games and Playable Media

What happens next

“Progress” ¡might ¡take ¡you ¡backward

Expressive Intelligence Studio Games and Playable Media

What happens next

Both ¡approaches require ¡research Research ¡guided ¡by ¡art, rather ¡than ¡pre-­‑set ¡goal, has ¡be8er ¡results

Expressive Intelligence Studio Games and Playable Media

Our current approach to game research

Expressive Intelligence Studio Games and Playable Media

Rich interactions: system reacts to human inputs. Presentation depends on execution of computational process. A broad term for deeply algorithmic, responsive media.

Expressive Intelligence Studio Games and Playable Media

Computational Media Research

• We ¡use ¡techniques ¡of ¡

computer ¡science ¡to ¡ create ¡new ¡technology

• But ¡the ¡concep4on, ¡

guidance, ¡and ¡evalua4on ¡

• f ¡projects ¡comes ¡from ¡

deep ¡dialogue ¡with ¡non-­‑ engineering ¡disciplines

• Similar ¡to ¡real ¡engagement ¡

with ¡the ¡social ¡sciences ¡ crea4ng ¡HCI

Expressive Intelligence Studio Games and Playable Media

We are focused on core challenges arising from today’s games

Expressive Intelligence Studio Games and Playable Media

Today’s games are lovingly hand crafted

Expressive Intelligence Studio Games and Playable Media

Models and animations are hand crafted

Expressive Intelligence Studio Games and Playable Media

(Interactive) stories are hand crafted

Expressive Intelligence Studio Games and Playable Media

Language and dialogue are hand crafted

Expressive Intelligence Studio Games and Playable Media

Levels and challenges are hand crafted

Expressive Intelligence Studio Games and Playable Media

Hand crafting doesn’t scale well

Expressive Intelligence Studio Games and Playable Media

Hand crafting limits interactivity

Expressive Intelligence Studio Games and Playable Media

Further, most game authoring tools are difficult to use and produce brittle content So complex hand-crafted content, like RPG quests, ends up broken even in AAA titles after QA

Expressive Intelligence Studio Games and Playable Media

Even tools for beginners make broken things

What ¡if ¡cameras ¡were ¡like ¡this? ¡Or ¡pens?

Expressive Intelligence Studio Games and Playable Media

Everything else

• Naviga4on, ¡combat, ¡and ¡economics ¡are ¡

represented ¡as ¡systems, ¡separa4ng ¡them ¡from ¡ the ¡hand-­‑created ¡elements

• The ¡rest ¡of ¡life ¡is ¡mostly ¡not ¡represented ¡at ¡all: ¡

beliefs, ¡rela4onships, ¡histories, ¡personali4es, ¡ goals, ¡learning, ¡and ¡so ¡on...

• Game ¡meaning ¡arises ¡through ¡play ¡— ¡which ¡for ¡

current ¡games ¡means ¡naviga4on, ¡combat, ¡and ¡ economics ¡— ¡and ¡only ¡a ¡few ¡can ¡use ¡the ¡tools ¡ effec4vely

Expressive Intelligence Studio Games and Playable Media

So researchers have a full plate of problems to address interdisciplinarily I’ll focus on two of them

Expressive Intelligence Studio Games and Playable Media

Challenge #1: Authoring

• Today’s ¡game ¡authoring ¡approaches ¡are ¡expensive
• They ¡severely ¡limit ¡who ¡can ¡express ¡themselves ¡in ¡

game ¡form

• They ¡severely ¡limit ¡what ¡can ¡be ¡expressed ¡in ¡games
• They ¡are ¡a ¡lost ¡opportunity ¡for ¡learning

Story Canvas

Expressive Intelligence Studio Games and Playable Media

Challenge #2: Generativity

• Games ¡with ¡fixed ¡assets ¡

can’t ¡respond ¡deeply ¡to ¡the ¡ world

• Elements ¡can’t ¡be ¡generated ¡

based ¡on ¡external ¡factors

• Elements ¡can’t ¡be ¡generated ¡

based ¡on ¡player/game ¡ history ¡or ¡knowledge

• They ¡can’t ¡respond ¡like ¡
• ther ¡human ¡players, ¡tutors, ¡

actors, ¡or ¡storytellers

Endless Web Minstrel Remixed

Expressive Intelligence Studio Games and Playable Media

UC Santa Cruz authoring projects

Expressive Intelligence Studio Games and Playable Media

Game-o-Matic

• Why ¡do ¡people ¡read ¡the ¡newspaper?
• In ¡part, ¡for ¡play ¡— ¡the ¡crossword
• In ¡part, ¡for ¡short ¡opinion ¡— ¡editorial ¡cartoons
• Newsgames ¡might ¡serve ¡a ¡similar ¡func4on ¡for ¡

digital ¡newspapers ¡— ¡but ¡can’t ¡be ¡made ¡by ¡ journalists ¡and ¡can’t ¡be ¡made ¡fast ¡enough

• What ¡if ¡journalists, ¡and ¡others, ¡could ¡make ¡very ¡

simple ¡games, ¡on ¡topics ¡they ¡chose, ¡quickly?

• Funded ¡by ¡Knight ¡Founda4on, ¡collabora4on ¡with ¡

Georgia ¡Tech

Expressive Intelligence Studio Games and Playable Media

Game-o-Matic

• Interdisciplinary ¡work ¡with ¡the ¡humani*es
• Models ¡of ¡rhetoric ¡from ¡newsgames, ¡editorial ¡

cartoons, ¡itera4vely ¡built ¡into ¡a ¡technology

Expressive Intelligence Studio Games and Playable Media

Kodu AI Lab

• We ¡need ¡more ¡people ¡to ¡think ¡like ¡Computer ¡

Scien4sts: ¡workforce, ¡ci4zenship, ¡innova4on

• Game ¡making ¡is ¡a ¡highly ¡self-­‑mo4va4ng ¡

introduc4on ¡to ¡Computer ¡Science

• But ¡game ¡making ¡tools ¡and ¡curricula ¡oRen ¡have ¡

narrow ¡focus, ¡and ¡appeal ¡largely ¡to ¡boys

• Would ¡a ¡broader ¡tool ¡and ¡curriculum ¡— ¡star4ng ¡

with ¡MicrosoR’s ¡Kodu ¡— ¡encourage ¡more ¡ “computa4onal ¡thinking” ¡and ¡have ¡wider ¡appeal?

• Funded ¡by ¡Na4onal ¡Science ¡Founda4on, ¡

collabora4on ¡with ¡ETR ¡Associates

Expressive Intelligence Studio Games and Playable Media

Kodu AI Lab

• Interdisciplinary ¡work ¡with ¡learning ¡sciences ¡and ¡

game ¡design

• Evaluated ¡and ¡iterated ¡for ¡2 ¡years ¡in ¡5 ¡schools

Expressive Intelligence Studio Games and Playable Media

Tanagra

• What ¡if ¡game ¡makers ¡had ¡“smart ¡tools” ¡like ¡

architects ¡or ¡electrical ¡engineers?

• What ¡if ¡beginning ¡game ¡makers ¡had ¡a ¡

brainstorming ¡partner, ¡and ¡a ¡warning ¡if ¡ something ¡was ¡broken?

• What ¡if ¡professional ¡game ¡makers ¡could ¡focus ¡on ¡

fun ¡and ¡itera4ve ¡refinement, ¡rather ¡than ¡basic ¡ func4onality?

• Funded ¡by ¡the ¡Na4onal ¡Science ¡Founda4on, ¡

prototype ¡tool ¡for ¡Mario-­‑style ¡plagorm ¡games

Expressive Intelligence Studio Games and Playable Media

Tanagra

Interdisciplinary ¡work ¡with ¡ game ¡design

Expressive Intelligence Studio Games and Playable Media

Ludocore

• What ¡if ¡an ¡authoring ¡tool ¡had ¡

intelligence ¡about ¡game ¡ mechanics, ¡not ¡than ¡just ¡levels?

• Domain-­‑specific ¡language ¡on ¡top ¡
• f ¡event ¡calculus, ¡enabling ¡

playtes4ng ¡and ¡logical ¡query

• Na4onal ¡Science ¡Founda4on
• This ¡basic ¡research ¡in ¡formal ¡

representa4on ¡enabled ¡ Varia*ons ¡Forever, ¡a ¡game ¡that ¡ generates ¡rules, ¡not ¡levels

Varia4ons Forever Refrac4on (U ¡Washington) Game ¡for ¡ learning frac4ons ¡ & ¡spa4al reasoning Learner-­‑customized ¡level ¡ genera4on ¡“bake ¡off” ¡ between ¡now-­‑standard ¡ techniques ¡(UW) ¡and ¡new ¡ ASP ¡approach ¡(UCSC) Published ¡@ ¡FDG ¡2012

Expressive Intelligence Studio Games and Playable Media

Expressive Intelligence Studio Games and Playable Media

Even in games, you don’t know where basic research will take you

Expressive Intelligence Studio Games and Playable Media

UC Santa Cruz generative projects

Expressive Intelligence Studio Games and Playable Media

Rogue

Expressive Intelligence Studio Games and Playable Media

CHEKOFV

• Formal ¡verifica4on ¡of ¡soRware ¡can’t ¡be ¡done ¡

without ¡human ¡intelligence ¡in ¡the ¡loop

• But ¡what ¡if ¡that ¡intelligence ¡didn’t ¡have ¡to ¡be ¡

soRware ¡engineers?

• What ¡if ¡we ¡could ¡present ¡problems ¡like ¡loop ¡

invariants ¡as ¡games ¡that ¡non-­‑CS ¡people ¡could ¡ understand ¡and ¡play ¡for ¡fun?

• What ¡if ¡we ¡could ¡automa4cally ¡generate ¡the ¡

games ¡and ¡reintegrate ¡the ¡knowledge?

• Funded ¡by ¡DARPA, ¡collabora4on ¡with ¡SRI ¡and ¡

Commissariat ¡a ¡l’Energie ¡Atomique

Expressive Intelligence Studio Games and Playable Media

Interdisciplinary ¡work ¡with ¡so7ware ¡ engineering ¡& ¡game ¡design

CHEKOFV

Expressive Intelligence Studio Games and Playable Media

Spy Feet

• Can ¡the ¡power ¡of ¡quest-­‑style ¡narra4ves ¡be ¡

used ¡as ¡en4cement ¡for ¡real-­‑world ¡physical ¡ ac4vity ¡(smart ¡phone ¡augmented ¡walking)?

• Will ¡it ¡be ¡more ¡mo4va4ng ¡if ¡we ¡customize ¡

the ¡quests ¡and ¡dialogues ¡for ¡each ¡player?

• Can ¡we ¡dynamically ¡map ¡the ¡story ¡and ¡

game ¡content ¡onto ¡places ¡each ¡user ¡wants ¡ to ¡walk?

• Can ¡we ¡create ¡an ¡authoring ¡experience ¡that ¡

allows ¡writers ¡to ¡leverage ¡their ¡knowledge?

• Funded ¡by ¡Na4onal ¡Science ¡Founda4on

Expressive Intelligence Studio Games and Playable Media

Annie (Annie Hall) original dialogue sample

• H’m?

That’s, uh … that’s pretty serious stuff there. Yeah? Yeah? M’hm? M’hm. Yeah. U-huh.

• Hi. Hi, hi.

Well, bye. Oh, yeah? So do you. Oh, God, whatta- whatta dumb thing to say, right? I mean, you say it, “You play well,” and right away … I have to say well. Oh, oh … God, Annie. Well … oh, well … la-de-da, la-de-da, la-la Generated dialogue (SpyFeet story domain)

• Come on, I don’t know,

do you? People say Cartmill is strange while I don’t rush to um.. judgment.

• I don’t know. I think that

you brought me cabbage, so I will tell something to you, alright?

• Yea, I’m not sure, would

you be? Wolf wears a hard shell but he is really gentle.

• I see. I am not sure.

Obviously, I respect Wolf. However, he isn’t my close friend, is he? Annie’s Learned Z-Score Model for our ENLG engine Verbosity=0.78 Conten polarity =0.77 Polarization =0.72 Repetition polarity=0.79 Concessions =0.83 Concessions Polarity=0.26 Positive content first=1.00 First Person in Claim=0.6 Claim Polarity=0.57 … etc.

Learning Linguistic Features Generation

Interdisciplinary ¡work ¡with ¡crea*ve ¡ wri*ng ¡& ¡game ¡design Learned ¡writers ¡don’t ¡want ¡to ¡set ¡character ¡“voice” ¡ parameters ¡by ¡hand, ¡now ¡learning ¡to ¡do ¡it ¡from ¡text

Expressive Intelligence Studio Games and Playable Media

Prom Week

• How ¡do ¡we ¡get ¡the ¡dynamic ¡social ¡space ¡and ¡

legibility ¡of ¡The ¡Sims

• to ¡combine ¡with ¡the ¡specific ¡characters, ¡histories, ¡

and ¡language ¡of ¡role-­‑playing ¡games?

Dynamic ¡Social ¡Interac4on The ¡Sims Mass ¡Effect Character ¡Realiza4on The ¡Sims Mass ¡Effect

Expressive Intelligence Studio Games and Playable Media

Expressive Intelligence Studio Games and Playable Media

Prom Week

• Inspired ¡by ¡“dramaturgical ¡

analysis” ¡(social ¡sciences) ¡ and ¡portrayal ¡of ¡social ¡ rela4onships ¡in ¡media ¡ (arts ¡& ¡humani4es)

• Driven ¡by ¡arts ¡goal ¡of ¡

interac4ve ¡story

• Developed ¡by ¡

interdisciplinary ¡team

• Supported ¡by ¡Na4onal ¡

Science ¡Founda4on

Prom ¡Week SIREN Façade First ¡true ¡ interac4ve drama DARPA ¡Strategic ¡ Social ¡Interac4on ¡ Modules Interac4ve ¡drama ¡ for ¡“being ¡a ¡good ¡ stranger” Games ¡for ¡conflict resolu4on (EU ¡Framework ¡7) Interdisciplinary ¡goals ¡drive ¡technology ¡ research ¡that ¡paves ¡way ¡for ¡social ¡impact

Expressive Intelligence Studio Games and Playable Media

Expressive Intelligence Studio Games and Playable Media

What do we think the lessons are?

Expressive Intelligence Studio Games and Playable Media

Build complete projects inspired by challenges in the games field Work in interdisciplinary teams (interdisciplinary individuals/groups) Basic research often enables the biggest applied successes

Expressive Intelligence Studio Games and Playable Media

Thanks! nwf@ucsc.edu @noahwf

My most recent book