I n k r e m e n t e l l e V e r a r b e i t u - - PowerPoint PPT Presentation
I n k r e m e n t e l l e V e r a r b e i t u n g a l s H e b e l f r r e s p o n s i v e D i a l o g f h r u n g D r . T i m o B a u m a n n m a i l @ t i m o b
D r . T i m
a u m a n n m a i l @ t i m
a u m a n n . d e w w w . t i m
a u m a n n . d e / w
k
D r . T i m
a u m a n n m a i l @ t i m
a u m a n n . d e w w w . t i m
a u m a n n . d e / w
k
→ i n p a r t i c u l a r : s p
e n d i a l
u e , s p
e n l a n g u a g e i n i n t e r a c t i v e s i t u a t i
s
“ D i a l
u e i n t e r a c t i
i s a n i n t r i c a t e d a n c e . “
N i g e l W a r d ( a t S S W 2 1 3 )
In-car Navigation: In-car Navigation: „Next, turn right after 60 meters.“ „Next, turn right after 60 meters.“
In-car Navigation: In-car Navigation: „Next, turn right after 60 meters.“ „Next, turn right after 60 meters.“
In-car Navigation: In-car Navigation: „Next, turn right after 60 meters.“ „Next, turn right after 60 meters.“
6 m ? 6 m ?
In-car Navigation: In-car Navigation: „Next, turn right after 60 meters.“ „Next, turn right after 60 meters.“
6 m ? 6 m ?
~ 2 , 5 s e c
d s ~ 2 , 5 s e c
d s ≙ ≙ 3 5 m 3 5 m
a p a s s e n g e r r e a c t s a n d a d a p t s t
h e s i t u a t i
: a p a s s e n g e r r e a c t s a n d a d a p t s t
h e s i t u a t i
: „ „ t u r n r i g h t . . . t u r n r i g h t . . . b e h i n d t h e t r a ffj c l i g h t . “ b e h i n d t h e t r a ffj c l i g h t . “
a p a s s e n g e r r e a c t s a n d a d a p t s t
h e s i t u a t i
: a p a s s e n g e r r e a c t s a n d a d a p t s t
h e s i t u a t i
: 1 . i n t e r n a l r e
l a n n i n g 1 . i n t e r n a l r e
l a n n i n g „ „ t u r n r i g h t . . . t u r n r i g h t . . .
a p a s s e n g e r r e a c t s a n d a d a p t s t
h e s i t u a t i
: a p a s s e n g e r r e a c t s a n d a d a p t s t
h e s i t u a t i
: 1 . i n t e r n a l r e
l a n n i n g 1 . i n t e r n a l r e
l a n n i n g „ „ t u r n r i g h t . . . t u r n r i g h t . . . u h , t h e s e c
d . “ u h , t h e s e c
d . “ m
e l i k e s t r a i g h t m
e l i k e s t r a i g h t
a p a s s e n g e r r e a c t s a n d a d a p t s t
h e s i t u a t i
: a p a s s e n g e r r e a c t s a n d a d a p t s t
h e s i t u a t i
: „ „ t u r n r i g h t . . . t u r n r i g h t . . .
a p a s s e n g e r r e a c t s a n d a d a p t s t
h e s i t u a t i
: a p a s s e n g e r r e a c t s a n d a d a p t s t
h e s i t u a t i
: 2 . e x t e r n a l e v e n t s 2 . e x t e r n a l e v e n t s „ „ t u r n r i g h t . . . t u r n r i g h t . . .
a p a s s e n g e r r e a c t s a n d a d a p t s t
h e s i t u a t i
: a p a s s e n g e r r e a c t s a n d a d a p t s t
h e s i t u a t i
: 2 . e x t e r n a l e v e n t s 2 . e x t e r n a l e v e n t s „ „ t u r n r i g h t . . . t u r n r i g h t . . . f
l
i n g t h e b l u e G
f . “ f
l
i n g t h e b l u e G
f . “
a p a s s e n g e r r e a c t s a n d a d a p t s t
h e s i t u a t i
: a p a s s e n g e r r e a c t s a n d a d a p t s t
h e s i t u a t i
: „ „ t u r n r i g h t . . . t u r n r i g h t . . .
a p a s s e n g e r r e a c t s a n d a d a p t s t
h e s i t u a t i
: a p a s s e n g e r r e a c t s a n d a d a p t s t
h e s i t u a t i
: 3 . r e s p
d t
h e d r i v e r ' s 3 . r e s p
d t
h e d r i v e r ' s a ) b e h a v i
r a ) b e h a v i
r „ „ t u r n r i g h t . . . t u r n r i g h t . . .
a p a s s e n g e r r e a c t s a n d a d a p t s t
h e s i t u a t i
: a p a s s e n g e r r e a c t s a n d a d a p t s t
h e s i t u a t i
: 3 . r e s p
d t
h e d r i v e r ' s 3 . r e s p
d t
h e d r i v e r ' s a ) b e h a v i
r a ) b e h a v i
r „ „ t u r n r i g h t . . . t u r n r i g h t . . . u h , l a t e r , b e h i n d t h e l i g h t . “ u h , l a t e r , b e h i n d t h e l i g h t . “
<slows down> <slows down>
a p a s s e n g e r r e a c t s a n d a d a p t s t
h e s i t u a t i
: a p a s s e n g e r r e a c t s a n d a d a p t s t
h e s i t u a t i
: 3 . r e s p
d t
h e d r i v e r ' s 3 . r e s p
d t
h e d r i v e r ' s b ) s p
e n f e e d b a c k b ) s p
e n f e e d b a c k „ „ t u r n r i g h t . . . t u r n r i g h t . . .
a p a s s e n g e r r e a c t s a n d a d a p t s t
h e s i t u a t i
: a p a s s e n g e r r e a c t s a n d a d a p t s t
h e s i t u a t i
: 3 . r e s p
d t
h e d r i v e r ' s 3 . r e s p
d t
h e d r i v e r ' s b ) s p
e n f e e d b a c k b ) s p
e n f e e d b a c k „ „ t u r n r i g h t . . . t u r n r i g h t . . . y e s , b e h i n d t h e l i g h t . “ y e s , b e h i n d t h e l i g h t . “ „ „ b e h i n d t h e l i g h t ? “ b e h i n d t h e l i g h t ? “
1 . s p e e c h u n f
d s i n t i m e 2 . t h e w
l d m a y c h a n g e w h i l e w e s p e a k 3 .
r m i n d s c h a n g e w h i l e w e ' r e b e i n g s p
e n t
a b i l i t y t
a k e a c t i
w h i l e s p e a k i n g → a b i l i t y t
e l i b e r a t e ( a n d a c t ) w h i l e s t i l l l i s t e n i n g
u t i
: i n c r e m e n t a l p r
e s s i n g a n d d a t a m
e l t
n a b l e r e s p
s i v e n e s s t
c h a n g i n g w
l d
1 . s p e e c h u n f
d s i n t i m e 2 . t h e w
l d m a y c h a n g e w h i l e w e s p e a k 3 .
r m i n d s c h a n g e w h i l e w e ' r e b e i n g s p
e n t
a b i l i t y t
a k e a c t i
w h i l e s p e a k i n g → a b i l i t y t
e l i b e r a t e ( a n d a c t ) w h i l e s t i l l l i s t e n i n g
u t i
: i n c r e m e n t a l p r
e s s i n g a n d d a t a m
e l t
n a b l e r e s p
s i v e n e s s t
c h a n g i n g w
l d
p
e n l a n g u a g e p r
e s s i n g i s a c
p l e x t a s k , t h a t m u s t b e s u b
i v i d e d a n d h a n d l e d b y s p e c i a l i z e d c
p
e n t s
s p e e c h r e c
n i t i
d i a l
u e m a n a g e r u n d e r s t a n d i n g s p e e c h s y n t h e s i s g e n e r a t i
w
d s D A s p e e c h w
d s D A s p e e c h D A
p
e n l a n g u a g e p r
e s s i n g i s a c
p l e x t a s k , t h a t m u s t b e s u b
i v i d e d a n d h a n d l e d b y s p e c i a l i z e d c
p
e n t s
s p e e c h r e c
n i t i
d i a l
u e m a n a g e r u n d e r s t a n d i n g s p e e c h s y n t h e s i s g e n e r a t i
w
d s D A s p e e c h w
d s D A s p e e c h D A s p e e c h
p
e n l a n g u a g e p r
e s s i n g i s a c
p l e x t a s k , t h a t m u s t b e s u b
i v i d e d a n d h a n d l e d b y s p e c i a l i z e d c
p
e n t s
s p e e c h r e c
n i t i
d i a l
u e m a n a g e r u n d e r s t a n d i n g s p e e c h s y n t h e s i s g e n e r a t i
w
d s D A s p e e c h w
d s D A s p e e c h D A w
d s
p
e n l a n g u a g e p r
e s s i n g i s a c
p l e x t a s k , t h a t m u s t b e s u b
i v i d e d a n d h a n d l e d b y s p e c i a l i z e d c
p
e n t s
s p e e c h r e c
n i t i
d i a l
u e m a n a g e r u n d e r s t a n d i n g s p e e c h s y n t h e s i s g e n e r a t i
w
d s D A s p e e c h w
d s D A s p e e c h D A D A
p
e n l a n g u a g e p r
e s s i n g i s a c
p l e x t a s k , t h a t m u s t b e s u b
i v i d e d a n d h a n d l e d b y s p e c i a l i z e d c
p
e n t s
s p e e c h r e c
n i t i
d i a l
u e m a n a g e r u n d e r s t a n d i n g s p e e c h s y n t h e s i s g e n e r a t i
w
d s D A s p e e c h w
d s D A s p e e c h D A
p
e n l a n g u a g e p r
e s s i n g i s a c
p l e x t a s k , t h a t m u s t b e s u b
i v i d e d a n d h a n d l e d b y s p e c i a l i z e d c
p
e n t s
s p e e c h r e c
n i t i
d i a l
u e m a n a g e r u n d e r s t a n d i n g s p e e c h s y n t h e s i s g e n e r a t i
w
d s D A s p e e c h w
d s D A s p e e c h D A D A
p
e n l a n g u a g e p r
e s s i n g i s a c
p l e x t a s k , t h a t m u s t b e s u b
i v i d e d a n d h a n d l e d b y s p e c i a l i z e d c
p
e n t s
s p e e c h r e c
n i t i
d i a l
u e m a n a g e r u n d e r s t a n d i n g s p e e c h s y n t h e s i s g e n e r a t i
w
d s D A s p e e c h w
d s D A s p e e c h D A w
d s
p
e n l a n g u a g e p r
e s s i n g i s a c
p l e x t a s k , t h a t m u s t b e s u b
i v i d e d a n d h a n d l e d b y s p e c i a l i z e d c
p
e n t s
s p e e c h r e c
n i t i
d i a l
u e m a n a g e r u n d e r s t a n d i n g s p e e c h s y n t h e s i s g e n e r a t i
w
d s D A s p e e c h w
d s D A s p e e c h D A
p
e n l a n g u a g e p r
e s s i n g i s a c
p l e x t a s k , t h a t m u s t b e s u b
i v i d e d a n d h a n d l e d b y s p e c i a l i z e d c
p
e n t s
s p e e c h r e c
n i t i
d i a l
u e m a n a g e r u n d e r s t a n d i n g s p e e c h s y n t h e s i s g e n e r a t i
w
d s D A s p e e c h w
d s D A s p e e c h D A s p e e c h
s m a l l i n d i v i d u a l d e l a y s a d d u p !
p
e n l a n g u a g e p r
e s s i n g i s a c
p l e x t a s k , t h a t m u s t b e s u b
i v i d e d a n d h a n d l e d b y s p e c i a l i z e d c
p
e n t s
s p e e c h r e c
n i t i
d i a l
u e m a n a g e r u n d e r s t a n d i n g s p e e c h s y n t h e s i s g e n e r a t i
w
d s D A s p e e c h w
d s D A s p e e c h D A s p e e c h
s m a l l i n d i v i d u a l d e l a y s a d d u p !
t p u t g e n e r a t i
s t a r t s
l y a f t e r i n p u t h a s e n d e d
p
e n t s a r e c
c u r r e n t l y p r
e s s i n g m i n i m a l a m
n t s
i n p u t a n d p a s s i n g
t p u t
s p e e c h r e c
n i t i
d i a l
u e m a n a g e r u n d e r s t a n d i n g s p e e c h s y n t h e s i s g e n e r a t i
w
d s D A s p e e c h w
d s D A s p e e c h D A g i v e f e e d b a c k , t a k e a c t i
, b a r g e i n b e f
e u s e r f i n i s h e s
P r
e s s i n g m
u l e I n p u t I n p u t
– i
n p u t c
s i s t s
i n d i v i d u a l u n i t s t h a t a r e c
s u m e d
e
y
e ( e . g . s p e e c h a u d i
w
d s , i d e a s , …)
– i
n p u t i s c
s u m e d u n i t
y
n i t , a n d
t p u t i s g e n e r a t e d
– i
n p u t u n i t s m a y b e a g g r e g a t e d t
a r g e r u n i t s
P r
e s s i n g m
u l e I n p u t I n p u t
– i
n p u t c
s i s t s
i n d i v i d u a l u n i t s t h a t a r e c
s u m e d
e
y
e ( e . g . s p e e c h a u d i
w
d s , i d e a s , …)
– i
n p u t i s c
s u m e d u n i t
y
n i t , a n d
t p u t i s g e n e r a t e d
– i
n p u t u n i t s m a y b e a g g r e g a t e d t
a r g e r u n i t s
P r
e s s i n g m
u l e I n p u t I n p u t
– i
n p u t c
s i s t s
i n d i v i d u a l u n i t s t h a t a r e c
s u m e d
e
y
e ( e . g . s p e e c h a u d i
w
d s , i d e a s , …)
– i
n p u t i s c
s u m e d u n i t
y
n i t , a n d
t p u t i s g e n e r a t e d
– i
n p u t u n i t s m a y b e a g g r e g a t e d t
a r g e r u n i t s
P r
e s s i n g m
u l e I n p u t I n p u t
– i
n p u t c
s i s t s
i n d i v i d u a l u n i t s t h a t a r e c
s u m e d
e
y
e ( e . g . s p e e c h a u d i
w
d s , i d e a s , …)
– i
n p u t i s c
s u m e d u n i t
y
n i t , a n d
t p u t i s g e n e r a t e d
– i
n p u t u n i t s m a y b e a g g r e g a t e d t
a r g e r u n i t s
P r
e s s i n g m
u l e I n p u t I n p u t
p u t t h e c r
s i n ack take put(cross,Y) ack(take(X),put(X,Y)), X=cross put piece:cross cross
a y I ' l l t a k e
i n p u t s i d e
t p u t s i d e
B a u m a n n ( 2 1 3 )
p u t t h e c r
s i n ack take put(cross,Y) ack(take(X),put(X,Y)), X=cross put piece:cross cross
a y I ' l l t a k e
i n p u t s i d e
t p u t s i d e
B a u m a n n ( 2 1 3 )
D M r e a s
i n g / d e c i s i
: n e e d t
r a b t
e a b l e t
u t c
f i r m
s p e e c h r e c
n i t i
d i a l
u e m a n a g e r u n d e r s t a n d i n g s p e e c h s y n t h e s i s g e n e r a t i
s p e e c h r e c
n i t i
d i a l
u e m a n a g e r u n d e r s t a n d i n g s p e e c h s y n t h e s i s g e n e r a t i
1 . i n d i v i d u a l m
u l e s 2 .
e r a l l a r c h i t e c t u r e 3 . i n t e r a c t i
m
u l e s 4 . i n c r e m e n t a l i t y i n f u l l s y s t e m s
s p e e c h r e c
n i t i
d i a l
u e m a n a g e r u n d e r s t a n d i n g s p e e c h s y n t h e s i s g e n e r a t i
1 . i n d i v i d u a l m
u l e s 2 .
e r a l l a r c h i t e c t u r e 3 . i n t e r a c t i
m
u l e s 4 . i n c r e m e n t a l i t y i n f u l l s y s t e m s
s p e e c h r e c
n i t i
d i a l
u e m a n a g e r u n d e r s t a n d i n g s p e e c h s y n t h e s i s g e n e r a t i
1 . i n d i v i d u a l m
u l e s 2 .
e r a l l a r c h i t e c t u r e 3 . i n t e r a c t i
m
u l e s 4 . i n c r e m e n t a l i t y i n f u l l s y s t e m s
s p e e c h r e c
n i t i
d i a l
u e m a n a g e r u n d e r s t a n d i n g s p e e c h s y n t h e s i s g e n e r a t i
1 . i n d i v i d u a l m
u l e s 2 .
e r a l l a r c h i t e c t u r e 3 . i n t e r a c t i
m
u l e s 4 . i n c r e m e n t a l i t y i n f u l l s y s t e m s
y s t e m v i s u a l l y s i g n a l s u n d e r s t a n d i n g w h i l e l i s t e n i n g
q u i c k e r c
p l e t i
, r a t e d m
e r e a c t i v e a n d h u m a n
i k e
( B u s s , B a u m a n n & S c h l a n g e n 2 1 )
y s t e m s t a r t s t
p e a k a s q u i c k l y a s p
s i b l e a n d a d a p t s
r a t e d a s m
e n a t u r a l , s p e e c h q u a l i t y r a t e d a s h i g h e r d e s p i t e s
e , u h m , m i s h a p s
( B a u m a n n & S c h l a n g e n 2 1 3 a , b )
n
a r i n f
m a t i
s y s t e m t h a t a c c
n t s f
d i s t r a c t i
s
s i g n i fj c a n t l y s a f e r d r i v i n g a n d h i g h e r i n f
m a t i
r e c a l l
( K
s i d i s e t a l . 2 1 4 a , b , K e n n i n g t
e t a l . 2 1 4 )
t h a t a d a p t s s p e e c h a c c
d i n g t
h e s i t u a t i
r a t e d s i g n i fj c a n t l y m
e f r i e n d l y & n a t u r a l
( B a u m a n n & L i n d n e r 2 1 5 ) Ma c h i n e T r a n s l a t i
: B a u m a n n e t a l . ( 2 1 4 ) , I n t e r a c t i v e P
i t i
i n g : B a u m a n n e t a l . ( 2 1 3 ) , A d a p t i v e P r e s e n t a t i
: B u s c h m e i e r e t a l . ( 2 1 2 ) , S p e e c h T i m i n g : B a u m a n n & S c h l a n g e n ( 2 1 1 )
car at t1 car at t2 car at t3
time event description
t1 car on Main Street The car drives along Main Street. t2 car will have to turn … Main Street and then turns ‹hes› t3 car turns right … Main Street and then turns right.
event: identify street event: turning is likely event: turning right
s p e e c h r e c
n i t i
d i a l
u e m a n a g e r u n d e r s t a n d i n g s p e e c h s y n t h e s i s g e n e r a t i
I n d u s t r y p r
e c t w i t h Y a h
/ V e r i z
@ C MU :
u l t i
a l v i r t u a l a g e n t
A n d r
d
n v e s t i g a t e s
i a l d i m e n s i
i n t e r a c t i
u i l d r a p p
t b y a d d i n g s
i a l c h i t c h a t
i e r e c
m e n d a t i
e n t i a l l y e n g a g i n g d
a i n t
e a r n a b
t u s e r p r e f e r e n c e s a n d p e r s
a l i z e d r e c
m e n d a t i
e c
m e n d a t i
s y s t e m m a y b e s l
e r s y s t e m d e l a y s w i t h c h i t c h a t ?
Wo w , h e r e i s
e I ’ d l
e t
Tii s i s a m
i e y
' r e r e a l l y g
n g t
i k e . I t ' s c a l l e d “ T e r m i n a t
3 ” . I t h i n k t h i s m
i e fj t s y
r t a s t e s .
Tii s i s a m
i e y
' r e r e a l l y g
n g t
i k e . I t ' s c a l l e d X .
Time (ms) Incremental Non-Incremental
user speaks fj nd movie movie agent responds user speaks fj nd movie movie sentence social sentence
“This is a movie you're going to like. It's called: Titanic.”
user speaks
Time NLU/DM Phone MUF
Google ASR pass
msg NLU DM
fj nd movie
BEAT NLG SR movie agent responds get msg waitj ng get msg BEAT waitj ng
movie agent responds
b j e c t i v e r e s u l t : s y s t e m r e s p
s e t i m e c u t d
n a s e x p e c t e d
u b j e c t i v e r e s u l t s ( q u e s t i
n a i r e s ) : r e c
m e n d a t i
s a r e b e t t e r w / i n c r e m e n t a l i t y !
T s a i e t a l . ( 2 1 8 )
e s p
s i v e n e s s t
h e i n t e r l
u t
i s a k e y i s s u e i n s p
e n i n t e r a c t i
n c r e m e n t a l p r
e s s i n g e n a b l e s r e s p
s i v e n e s s
– t
a k e a c t i
s b a s e d
p a r t i a l k n
l e d g e
– r
e m a i n fm e x i b l e t
e v i s e p l a n n e d a c t i
s
n d e r s p e c i fi c a t i
c a n b e u s e d a s a m e a n s t
c t e a r l y a n d b a s e d
p a r t i a l i n f
m a t i
e
l e l i k e y
r r e c
m e n d a t i
s b e t t e r i f y
r s y s t e m f e e l s m
e r e s p
s i v e
Tia n k y
. D r . T i m
a u m a n n m a i l @ t i m
a u m a n n . d e w w w . t i m
a u m a n n . d e / w
k
t r a t i fj c a t i
a m
g l e v e l s
a b s t r a c t i
e n a b l e s a d v a n c e d c
v e r s a t i
a l b e h a v i
r s
s p e e c h r e c
n i t i
t a s k , l
g
e r m g
l m a n a g e m e n t u n d e r s t a n d i n g s p e e c h s y n t h e s i s g e n e r a t i
t r a t i fj c a t i
a m
g l e v e l s
a b s t r a c t i
e n a b l e s a d v a n c e d c
v e r s a t i
a l b e h a v i
r s
s p e e c h r e c
n i t i
t a s k , l
g
e r m g
l m a n a g e m e n t u n d e r s t a n d i n g s p e e c h s y n t h e s i s g e n e r a t i
f l
m a n a g e m e n t m u l t i
a l e n t r a i n m e n t m a t c h j a r g
f e e d b a c k