C L - N L P A N a t u r a l L a n g u a g e P - PowerPoint PPT Presentation

– C L - N L P A N a t u r a l L a n g u a g e P r o c e s s i n g L i b r a r y f o r C o m m o n L i s p V s e v o l o d D y o m k i n E u r o p e a n L i s p S y m p o s i u m 2 0 1 3 - 0 6 - 0 4

T o p i c s * M o t i v a t i o n * L i b r a r y h i g h - l e v e l d e s i g n * O v e r v i e w o f t h e f u n c t i o n s * S o m e t e c h n i c a l d e t a i l s * N e x t s t e p s

M o t i v a t i o n N L P & L i s p i s a m a t c h , m a d e i n h e a v e n

O t h e r l a n g u a g e s * f o r P y t h o n : N L T K * f o r J a v a : S t a n f o r d C o r e N L P a n d O p e n N L P

P r e v i o u s W o r k * C L - L a n g u t i l s * L e x i p a r s e , S p a r s e r , C L - E A R L Y - P A R S E R , B a s i c - E n g l i s h - G r a m m a r * W o r d n e t i n t e r f a c e s * C M U A I R e p o s i t o r y * N a t u r a l L a n g u a g e U n d e r s t a n d i n g * N a t u r a l L a n g u a g e P r o c e s s i n g i n L i s p

E s s e n t i a l S c o p e * C o r p o r a i n t e r f a c e s * L a n g u a g e m o d e l i n g * M e a s u r e s * T o k e n i z a t i o n * T a g g i n g * P a r s i n g * W o r d n e t i n t e r f a c e * C o n s t r u c t a p i p e l i n e

R o a d m a p V e r s i o n 0 . 1 : t h e b a s e s y s t e m w i t h a t e s t s u i t e a n d m a n u a l V e r s i o n 1 . 0 : s e v e r a l w e l l - o p t i m i z e d v e r s i o n s o f m o s t a l g o r i t h m s w i t h f u l l d o c u m e n t a t i o n

B e y o n d v . 1 . 0 A n o t h e r s y s t e m - m e t a - n l p

D e v e l o p m e n t m e t h o d o l o g y . . . - d r i v e n d e v e l o p m e n t

H i g h - l e v e l D e s i g n * c l - n l p & c l - n l p - c o n t r i b & m o r e * b a s e & f u n c t i o n a l p a c k a g e s * n l p - u s e r

S o m e D e s i g n C h o i c e s * A p s e u d o - h i e r a r c h i c a l p a c k a g e d e s i g n

M o d u l e s * n l p . c o r e , n l p . c o r p o r a , n l p . u t i l , n l p . t e s t - u t i l * n l p . s y n t a x , n l p . g e n e r a t i o n , n l p . p h o n e t i c s * n l p . c o n t r i b . w o r d n e t , n l p . c o n t r i b . m s - n g r a m s

S o m e D e s i g n C h o i c e s * U s e t h e w h o l e l a n g u a g e - d e f c l a s s & d e f s t r u c t - h a s h - t a b l e s & a l i s t s - d o & l o o p

S o m e D e s i g n C h o i c e s * G r o w t h e l a n g u a g e - r u t i l s + r e a d e r m a c r o s + s h o r t h a n d s + d o t a b l e , d o l i n e s - s p e c i a l - p u r p o s e u t i l s

A S p e c i a l - P u r p o s e U t i l ( d e f i n e - l a z y - s i n g l e t o n w o r d - t o k e n i z e r ( m a k e ' p o s t p r o c e s s i n g - r e g e x - w o r d - t o k e n i z e r ) " D e f a u l t w o r d t o k e n i z e r . " ) ( d e f u n t o k e n i z e - n g r a m ( n g r a m s s t r ) " T r a n s f o r m s t r i n g S T R t o a l i s t i f n e c e s s a r y ( d e p e n d i n g o f o r d e r o f N G R A M S ) . " ( i f ( > ( n g r a m s - o r d e r n g r a m s ) 1 ) ( t o k e n i z e < w o r d - t o k e n i z e r > s t r ) s t r ) )

A S p e c i a l - P u r p o s e U t i l ( d e f m a c r o d e f i n e - l a z y - s i n g l e t o n ( n a m e i n i t & o p t i o n a l d o c s t r i n g ) ( w i t h - g e n s y m s ( s i n g l e t o n ) ` ( l e t ( , s i n g l e t o n ) ( d e f u n , n a m e ( ) , d o c s t r i n g ( o r , s i n g l e t o n ( s e t f , s i n g l e t o n , i n i t ) ) ) ( d e f i n e - s y m b o l - m a c r o , ( m k s y m n a m e : f o r m a t " < ~ A > " ) ( , n a m e ) ) ) ) )

S o m e D e s i g n C h o i c e s * U s e C L O S a s a f o u n d a t i o n

B a s i c C e l l ( d e f c l a s s r e g e x - w o r d - t o k e n i z e r ( t o k e n i z e r ) ( ( r e g e x : a c c e s s o r t o k e n i z e r - r e g e x : i n i t a r g : r e g e x : i n i t f o r m ( r e : c r e a t e - s c a n n e r " \ \ w + | [ ! \ " # $ % & ' * + , . / : ; < = > ? @ ^ ` ~ … \ \ ( \ \ ) ⟨⟩ ‒–—― { } \ \ [ \ \ | \ \ ] « » “ ” ‘ ’ ¶ - ] " ) : d o c u m e n t a t i o n — " A s i m p l e r v a r i a n t w o u l d b e [ ^ \ \ s ] + i t d o e s n ' t s p l i t p u n c t u a t i o n , y e t s o m e t i m e s i t ' s d e s i r a b l e . " ) ) ( : d o c u m e n t a t i o n " R e g e x - b a s e d w o r d t o k e n i z e r . " ) )

B a s i c C e l l ( d e f m e t h o d t o k e n i z e ( ( t o k e n i z e r r e g e x - w o r d - t o k e n i z e r ) s t r i n g ) ( l o o p : f o r ( b e g e n d ) : o n ( r e : a l l - m a t c h e s ( t o k e n i z e r - r e g e x t o k e n i z e r ) s t r i n g ) : b y # ' c d d r : c o l l e c t ( s u b s t r i n g b e g e n d ) : i n t o w o r d s : c o l l e c t ( c o n s b e g e n d ) : i n t o s p a n s : f i n a l l y ( r e t u r n ( v a l u e s w o r d s s p a n s ) ) )

A n o t h e r E x a m p l e ( d e f g e n e r i c p a r s e ( m o d e l s e n t e n c e ) ( : d o c u m e n t a t i o n " P a r s e S E N T E N C E w i t h M O D E L . " ) ( : m e t h o d : a r o u n d ( m o d e l ( s e n t e n c e s t r i n g ) ) ( c a l l - n e x t - m e t h o d m o d e l ( t o k e n i z e < w o r d - t o k e n i z e r > s t r i n g ) ) ) ) ( d e f g e n e r i c p a r s e - n ( m o d e l s e n t e n c e n ) ( : d o c u m e n t a t i o n " R e t u r n N b e s t p a r s e t r e e s o f t h e S E N T E N C E w i t h M O D E L . " ) ( : m e t h o d : a r o u n d ( m o d e l ( s e n t e n c e s t r i n g ) n ) ( c a l l - n e x t - m e t h o d m o d e l ( t o k e n i z e < w o r d - t o k e n i z e r > s t r i n g ) n ) ) )

A v a i l a b l e f u n c t i o n s * c h a r , w o r d s a n d t r e e s h e l p e r s * m e a s u r e s : e n t r o p y , L L R * l a n g u a g e m o d e l i n g ( n g r a m s ) * w o r d t o k e n i z a t i o n a n d s e n t e n c e s p l i t t i n g * M a r k o v c h a i n - b a s e d g e n e r a t i o n

A v a i l a b l e f u n c t i o n s * i n t e r f a c e t o c o r p o r a : - B r o w n - R e u t e r s - P e n n T r e e b a n k - N P S C h a t * t a g g i n g : H M M a n d G L M * p a r s i n g : P C F G & k - b e s t P C F G * W o r d n e t i n t e r f a c e