C o o r d i n a t i n g S p e e c h D e l i v - PowerPoint PPT Presentation

C o o r d i n a t i n g S p e e c h D e l i v e r y t o G e s t u r e P r o g r e s s T i m o B a u m a n n U n i v e r s i t ä t H a m b u r g b a u m a n n @ i n f o r m a t i k . u n i - h a m b u r g . d e w w w . t i m o b a u m a n n . d e / w o r k

C o o r d i n a t i n g S p e e c h D e l i v e r y t o G e s t u r e P r o g r e s s e . g . f o r d e i c t i c e x p r e s s i o n s : „ m o v e t h i s p i e c e o v e r t h e r e t h r o u g h t h a t g a t e . “ I m a g e c o u r t e s y o f V a n d e r b i l t U n i v e r s i t y .

C o o r d i n a t i n g S p e e c h D e l i v e r y t o G e s t u r e P r o g r e s s e . g . f o r d e i c t i c e x p r e s s i o n s : „ m o v e t h i s p i e c e o v e r t h e r e t h r o u g h t h a t g a t e . “ P r o b l e m s w i t h F i x e d P l a n s I m a g e c o u r t e s y o f V a n d e r b i l t U n i v e r s i t y .

C o o r d i n a t i n g S p e e c h D e l i v e r y t o G e s t u r e P r o g r e s s e . g . f o r d e i c t i c e x p r e s s i o n s : „ m o v e t h i s p i e c e o v e r t h e r e t h r o u g h t h a t g a t e . “ P r o b l e m s w i t h F i x e d P l a n s ● a c t u a t o r s p e e d d e v i a t i o n s ● r e f l e x e s t o a v o i d a c o l l i s i o n ● r e f e r e n t c h a n g e s p o s i t i o n I m a g e c o u r t e s y o f V a n d e r b i l t U n i v e r s i t y .

C o n v e n t i o n a l A p p r o a c h : S t o p / R e s u m e S p e e c h „ m o v e . . . . . . . . t h i s p i e c e . . . . . . . o v e r . . . t h e r e t h r o u g h t h . . a t g a t e . “ ● j u s t p a u s i n g t h e a u d i o s t r e a m i s p s y c h o l i n g u i s t i c a l l y i m p l a u s i b l e – e f f e c t s a r o u n d p a u s e s w o u l d s t i l l h a v e t o b e m o d e l l e d – i t ' s n o t w h a t h u m a n s d o ● a l r e a d y r e q u i r e s d e l i v e r y p r o g r e s s i n f o r m a t i o n ● n o w a y t o s p e e d u p s y n t h e s i s i f g e s t u r e i s a h e a d o f t i m e → s i m p l y s t o p p i n g / r e s u m i n g d o e s n ' t c u t i t

C o o r d i n a t i n g S p e e c h D e l i v e r y t o G e s t u r e P r o g r e s s . . . w i t h i n c r e m e n t a l s p e e c h s y n t h e s i s ● m o r e f l e x i b l e t h a n s t o p p i n g / r e s u m i n g s p e e c h : – o n l i n e s p e e c h t e m p o a d a p t a t i o n s ( s t r e t c h / c o m p r e s s ) – c h a n g e c o n t e n t t h a t i s t o b e s p o k e n ( e . g . c h a n g e a r e f e r e n t ) – r e f l e x i v e b e h a v i o u r , s u c h a s h e s i t a t i o n s – p r o v i d e d e t a i l e d f e e d b a c k o n d e l i v e r y p r o g r e s s → r e l a t i v e l y e a s y t o p e r f o r m i n t h e I U F r a m e w o r k

I n c r e m e n t a l P r o c e s s i n g i n t h e I U F r a m e w o r k pragmatic plan say(move(p, [x, y, z]) ∧ loc(x) ∧ loc(z) ∧ gate(y) ∧ loc(y)) (conceptualization) syntactic plan/pattern move(p,../) ∧ loc(x) loc(z) gate(y) ∧ loc(y) formulation move this piece over there through that gate phonemisation m u: v ð ɪ s p motor planning (HSMM parameters) articulation (vocoding) ● d a t a c o m e a s i n c r e m e n t s ( I U s ) , s m a l l e s t u n i t s o f i n f o r m a t i o n o n a g i v e n l e v e l o f a b s t r a c t i o n t h a t a r e i n d i v i d u a l l y p r o c e s s a b l e

I n c r e m e n t a l P r o c e s s i n g i n t h e I U F r a m e w o r k pragmatic plan say(move(p, [x, y, z]) ∧ loc(x) ∧ loc(z) ∧ gate(y) ∧ loc(y)) (conceptualization) syntactic plan/pattern move(p,../) ∧ loc(x) loc(z) gate(y) ∧ loc(y) formulation move this piece over there through that gate phonemisation m u: v ð ɪ s p motor planning (HSMM parameters) articulation (vocoding) ● I U s a r e i n t e r c o n n e c t e d w i t h r e l a t e d I U s ( t h o s e t h a t a r e a b o v e / b e l o w , o r o n t h e s a m e l e v e l ) – I U s f o r m a n e t w o r k t h a t r e f l e c t s t h e s y s t e m s t a t e

I n c r e m e n t a l P r o c e s s i n g i n t h e I U F r a m e w o r k pragmatic plan say(move(p, [x, y, z]) ∧ loc(x) ∧ loc(z) ∧ gate(y) ∧ loc(y)) (conceptualization) syntactic plan/pattern move(p,../) ∧ loc(x) loc(z) gate(y) ∧ loc(y) formulation move this piece over there through that gate phonemisation m u: v ð ɪ s p motor planning (HSMM parameters) articulation (vocoding) ● t h e s y s t e m s t a t e i s c h a n g e d b y a d d i n g / r e m o v i n g I U s ● I U s c a n b e m a n a g e d b y p r o c e s s o r s t h a t r e a c t t o n e t w o r k u p d a t e s ( a d d / r e v o k e / u p d a t e )

I n c r e m e n t a l P r o c e s s i n g i n t h e I U F r a m e w o r k pragmatic plan say(move(p, [x, y, z]) ∧ loc(x) ∧ loc(z) ∧ gate(y) ∧ loc(y)) (conceptualization) syntactic plan/pattern move(p,../) ∧ loc(x) loc(z) gate(y) ∧ loc(y) formulation move this piece over there through that gate phonemisation m u: v ð ɪ s p motor planning ../ just enough lookahead (HSMM parameters) to model co-articulation articulation ../ just enough to keep (vocoding) sound-card bufgers full ● t h e s y s t e m s t a t e i s c h a n g e d b y a d d i n g / r e m o v i n g I U s ● I U s c a n b e m a n a g e d b y p r o c e s s o r s t h a t r e a c t t o n e t w o r k u p d a t e s ( a d d / r e v o k e / u p d a t e )

C o o r d i n a t i n g S p e e c h D e l i v e r y t o G e s t u r e P r o g r e s s → r e l a t i v e l y e a s y t o p e r f o r m i n t h e I U F r a m e w o r k → r e q u i r e m e n t s f o r c o o r d i n a t i o n / c o u p l i n g : – p r o v i d e s y n c h r o n i z a t i o n p o i n t s b e t w e e n m o t i o n & s p e e c h – s y n c h r o n i z a t i o n s h o u l d b e a v a i l a b l e o n v a r i o u s l i n g u i s t i c l e v e l s ( p h r a s e s , w o r d s , s y l l a b l e s ) a n d – s y n c h r o n i z a t i o n s h o u l d i n t e g r a t e w i t h p r o d u c t i o n c a p a b i l i t i e s ( N L G , p r o s o d y , a r t i c u l a t i o n , s y n t h e s i s )

I n t e r f a c i n g w i t h E x e c u t i o n C o n t r o l ● a n c h o r p o i n t s b e t w e e n g e s t u r e & s p e e c h t h a t a r e c o - p l a n n e d i n a d v a n c e – e . g . s t a r t / c e n t e r / e n d o f s o m e I U ● r o b o t c o n t r o l m o n i t o r s g e s t u r e d e l i v e r y a n d n o t i f i e s o f d e v i a t i o n s ( e . g . i n c l u d i n g t a n d e x p e c t a t i o n e r r o r ) e x p e c t e d – n o t i f y t h e I U , i t w i l l a u t o m a t i c a l l y d e t e r m i n e t h e r e l e v a n t p r o c e s s i n g s t e p s – e x p e c t a t i o n e r r o r c o u l d b e u s e d e . g . t o d e t e r m i n e w h e t h e r s t r e t c h i n g o r h e s i t a t i n g s h o u l d b e p e r f o r m e d ● s p e e c h d e l i v e r y r e t u r n s h o w w e l l i t i s a b l e t o m e e t t h e n e w g o a l