In p ro T K in A c tio n : O p e n -S o u rc e S o ftw a re fo r - PowerPoint PPT Presentation

In p ro T K in A c tio n : O p e n -S o u rc e S o ftw a re fo r B u ild in g G e rm a n -S p e a k in g In c re m e n ta l S D S s T im o B a u m a n n , O k k o B u ß , D a v id S c h la n g e n tim o @ lin g .u n i- p o ts d a m .d e h ttp ://w w w .lin g .u n i- p o ts d a m .d e /~ tim o

S p o k e n D ia lo g u e S y ste m s v isu a l T T S o u tp u t A S R re sp o n se g e n e ra to r N LU dialogue manager h isto ry d o m a in

S p o k e n D ia lo g u e S y ste m s v isu a l T T S o u tp u t A S R re sp o n se g e n e ra to r N LU dialogue manager h isto ry d o m a in

S p o k e n D ia lo g u e S y ste m s v isu a l T T S o u tp u t A S R re sp o n se g e n e ra to r N LU dialogue manager h isto ry d o m a in

S p o k e n D ia lo g u e S y ste m s v isu a l T T S o u tp u t A S R re sp o n se g e n e ra to r N LU dialogue manager h isto ry d o m a in ● m o d u le s s ta rt a fte r th e ir p re d e c e s s o rs h a v e fin is h e d

In c re m e n ta l In c re m e n ta l S p o k e n D ia lo g u e S y ste m v isu a l T T S o u tp u t A S R re sp o n se g e n e ra to r N LU dialogue manager h isto ry d o m a in p a r tia l r e su lts a re be in g p ro c e s s e d im m e d ia te ly ● p a r tia l r e su lts ● re a c tio n is q u ic k e r, in te ra c tio n m o re n a tu ra l

B e n e fits o f In c re m e n ta l S p o k e n D ia lo g u e S y ste m s 1 .re a c t m o re q u ic k ly a s m o d u le s p ro c e s s in p u t d u rin g a s p e a k e r's tu rn : U: Ich möchte am Samstag von Berlin U: Ich möchte am Samstag von Berlin nach Hamburg fahren . nach Hamburg fahren . S: Ok, um wieviel Uhr möchten Sie fahren? S: Ok, um wieviel Uhr möchten Sie fahren? (C ra fte d e xa m p le s fo r a n im a g in a ry tra in tim e ta ble in fo rm a tio n s ys te m .)

B e n e fits o f In c re m e n ta l S p o k e n D ia lo g u e S y ste m s 1 .re a c t m o re q u ic k ly a s m o d u le s p ro c e s s in p u t d u rin g a s p e a k e r's tu rn : U: Ich möchte am Samstag von Berlin U: Ich möchte am Samstag von Berlin nach Hamburg fahren . nach Hamburg fahren . S: Ok, um wieviel Uhr möchten Sie fahren? S: Ok, um wieviel Uhr möchten Sie fahren? s u ffic ie n t in fo rm a tio n : → S a tu rd a y, B H H

B e n e fits o f In c re m e n ta l S p o k e n D ia lo g u e S y ste m s 1 .re a c t m o re q u ic k ly a s m o d u le s p ro c e s s in p u t d u rin g a s p e a k e r's tu rn 2 .g iv e fe e d ba c k d u rin g a s p e a k e r's tu rn : U: Ich möchte am Samstag mit dem ICE U: Ich möchte am Samstag mit dem ICE Nummer, äh … warten sie … 798 … Nummer, äh … warten sie … 798 … S: ja? ok. S: ja? ok. ● fe e d ba c k m ig h t be v is u a l in a m u lti- m o d a l s ys te m

B e n e fits o f In c re m e n ta l S p o k e n D ia lo g u e S y ste m s 1 .re a c t m o re q u ic k ly a s m o d u le s p ro c e s s in p u t d u rin g a s p e a k e r's tu rn 2 .g iv e fe e d ba c k d u rin g a s p e a k e r's tu rn 3 .e v e n in te rru p t a s p e a k e r's tu rn : U: Ich möchte am Samstag mit dem ICE U: Ich möchte am Samstag mit dem ICE Nummer 798 nach, äh … Nummer 798 nach, äh … S: Entschuldigung, ICE 798 verkehrt nicht S: Entschuldigung, ICE 798 verkehrt nicht samstags, wohin möchten Sie denn fahren? samstags, wohin möchten Sie denn fahren?

m o r e sim ila r B e n e fits o f In c re m e n ta l S p o k e n D ia lo g u e S y ste m s 1 .re a c t m o re q u ic k ly a s m o d u le s p ro c e s s in p u t d u rin g a s p e a k e r's tu rn 2 .g iv e fe e d ba c k d u rin g a s p e a k e r's tu rn 3 .e v e n in te rru p t a s p e a k e r's tu rn → a ll th e s e c a p a bilitie s m a k e th e S D S → m o r e sim ila r to a h u m a n in te rlo c u to r

Co n te n t: ✔ A d v a n ta g e s o f in c re m e n ta l S D S s ➔ R e q u ire m e n ts fo r in c re m e n ta l S D S s ● O u r m o d e l o f in c re m e n ta l p ro c e s s in g ● O u r im p le m e n ta tio n : In p ro T K  O v e rv ie w o f th e a rc h ite c tu re  P re d e fin e d M o d u le s ● E xa m p le s ys te m s

R e q u ire m e n ts fo r In c re m e n ta l S D S s ● S ys te m fu lly e m bra c e s in c re m e n ta lity  it's v e ry h a rd to a d a p t a p re - e xis tin g S D S to tu rn it in to a n in c re m e n ta l s ys te m 00 % in c re m e n ta l m o d u le s ● 1  j u s t o n e n o n - in c re m e n ta l m o d u le bre a k s th e p ip e lin e ● P ro c e s s in g d e la ys a re m in im ize d (bu ffe rin g , e tc .)  a c ro s s th e bo a rd – a ll p ro c e s s in g d e la ys a d d u p !  o th e rw is e to o s lo w fo r re a lly in te re s tin g a p p lic a tio n s

R e q u ire m e n ts (II): D e a lin g w ith Un c e rta in ty ● in te rm e d ia te h yp o th e s e s c h a n g e w ith tim e  w e m a y g e t th in g s w ro n g in te rm itte n tly: „Hamburg“ /hamb U rg/ → ● In cre m e n ta lly th is w ill lo o k to s p e e c h re c o g n itio n a s fo llo w s …

R e q u ire m e n ts (II): D e a lin g w ith Un c e rta in ty ● in te rm e d ia te h yp o th e s e s c h a n g e w ith tim e  w e m a y g e t th in g s w ro n g in te rm itte n tly: „ Ham burg“ / ham b U rg/ → th is s o u n d s lik e ● A S R : „ H a m m “ ● N LU : th e y m u s t be ta lk in g a bo u t [ c ity:H a m m (W e s tfa le n )]

R e q u ire m e n ts (II): D e a lin g w ith Un c e rta in ty ● in te rm e d ia te h yp o th e s e s c h a n g e w ith tim e  w e m a y g e t th in g s w ro n g in te rm itte n tly: „ Hamburg “ / hamb U rg / → th is s o u n d s lik e ● A S R : „ H a m bu rg “ th e y m u s t be ta lk in g a bo u t ● N LU : [ c ity:H a m bu rg ]

R e q u ire m e n ts (II): D e a lin g w ith Un c e rta in ty ● in te rm e d ia te h yp o th e s e s c h a n g e w ith tim e  w e m a y g e t th in g s w ro n g in te rm itte n tly: „ Hamburg “ / hamb U rg / → ● C o u ld n 't th e A S R j u s t la g be h in d a little bit?

R e q u ire m e n ts (II): D e a lin g w ith Un c e rta in ty ● C o u ld n 't th e A S R j u s t la g be h in d a little bit? ● Y e s , bu t:  lo n g - d is ta n c e d e p e n d e n c ie s  th e re w ill a lw a ys be lo c a l a m big u itie s  a ll d e la ys w ill a d d u p ➔ h e n c e , p re v io u s h yp o th e s e s m u s t be c h a n g e a b le

R e q u ire m e n ts (II): D e a lin g w ith Un c e rta in ty ● C o u ld n 't th e A S R j u s t la g be h in d a little bit? ● Y e s , bu t: „ The horse raced past the barn ● e . g . g a rd e n - p a th s e n te n c e s , … a n in c re m e n ta l W ill s h e s a y „ fell “ o r n o t? p a rse r: ➔ h e n c e , p re v io u s h yp o th e s e s m u s t be c h a n g e a b le

Co n te n t: ✔ A d v a n ta g e s o f in c re m e n ta l S D S s ✔ R e q u ire m e n ts fo r in c re m e n ta l S D S s ➔ O u r m o d e l o f in c re m e n ta l p ro c e s s in g ● O u r im p le m e n ta tio n : In p ro T K  O v e rv ie w o f th e a rc h ite c tu re  P re d e fin e d M o d u le s ● E xa m p le s ys te m s

O u r M o d e l o f In c re m e n ta l Pro c e ssin g ● A s ys te m c o n s is ts o f s e v e ra l c o n n e c te d m o d u le s ● In cre m e n ta l M o d u le s a re c o m p o s e d o f  a le ft b u ffe r , a p ro ce sso r , a n d a rig h t b u ffe r le ftb u ffe r A p ro c e sso r A rig h tb u ffe r A ● a p ro c e s s o r ta k e s in p u t fro m th e le ft bu ffe r a n d p ro v id e s o u tp u t in its rig h t bu ffe r (S c h la n g e n a n d S k a n tze , 2 009 )

In te r-M o d u le Co m m u n ic a tio n ● A m o d u le 's rig h t bu ffe r m a y be s u p e rim p o s e d to o th e r m o d u le s ' le ft bu ffe r to s h a re th e s a m e c o n te n t le ftb u ffe r A p ro c e sso r A rig h tb u ffe r A le ftb u ffe r B p ro c e sso r B rig h tb u ffe r B ● m o d u le s c o m m u n ic a te by p ro bin g c o n te n t a n d a d d in g c o n te n t in th e ir bu ffe rs (S c h la n g e n a n d S k a n tze , 2 009 )

sll g rin In c re m e n ta l Un its ● C o n te n t is s h a re d in th e fo rm o f In c r e m e n ta l U n its (IU s ), w h ic h a re s m a lle s t 'c h u n k s ' o f in fo rm a tio n IU 1 IU 2 IU 3 IU 1 IU 2 IU 3 IU 4 IU 4 IU 4 le ftb u ffe r A p ro c e sso r A rig h tb u ffe r A le ftb u ffe r B p ro c e sso r B rig h tb u ffe r B ● Lin k s be tw e e n IU s :  g r o u n d e d -in lin k s ( g rin ) to d e n o te a n c e s try  sa m e -le v e l lin k s ( sll ) fo r in fo rm a tio n o f th e s a m e typ e (S c h la n g e n a n d S k a n tze , 2 009 )