E x e m p l a r - b a s e d m o d e l s f o r w o r d m e a n i n g i n c o n t e x t K a t r i n E r k , S e b a s t i a n P a d ó A n d r e a s v a n C r a n e n b u r g h K . E r k a n d S . P a d o ( 2 0 1 0 ) E x e m p l a r - B a s e d Mo d e l s f o r Wo r d Me a n i n g I n C o n t e x t , P r o c e e d i n g s o f A C L 2 0 1 0
S u m m a r y ● U s u a l a p p r o a c h : o n e v e c t o r p e r w o r d , t r a n s f o r m e d b a s e d o n c o n t e x t ● T h i s p a p e r : s e t o f e x e m p l a r s w h i c h a r e a c t i v a t e d b a s e d o n c o n t e x t ● H y p o t h e s i s : e x e m p l a r s r e t a i n m o r e i n f o r m a t i o n , s o a n e x e m p l a r m o d e l w i l l o u t p e r f o r m p r e v i o u s , p r o t o t y p e - b a s e d m o d e l s s i n g l e e x e m p l a r s p r o t o t y p e
T h e t a s k ● G i v e n a w o r d i n a c o n t e x t ( s e n t e n c e ) , r a n k t h e p a r a p h r a s e s f o r t h a t w o r d f r o m a l i s t o f p o s s i b i l i t i e s f r o m b e s t t o w o r s t ● Wo → r d + c o n t e x t m e a n i n g ; s i m i l a r t o c o n c e p t c o m b i n a t i o n ( V o o r s p o e l s e t a l 2 0 0 9 ) After a fire extinguisher is used, it Bring back (3), take back (2), must always be returned for send back (1), give back (1) recharging and its use recorded We return to the young woman Come back (3), revert (1), who is reading the Wrigley's revisit (1), go (1) wrapping paper.
T h e Mo d e l ● s – t h e t a r g e t s e n t e n c e T – t h e e x e m p l a r s f o r t h e t a r g e t l e m m a P – e x e m p l a r s w i t h p o s s i b l e p a r a p h r a s e s ● E x e m p l a r s a r e b a g s - o f - w o r d s ( B O W) w i t h c o u n t s → e . g . , “ t h e d o g w i l l t h e o t h e r d o g ” g n u r g e : g n u r g e [ d o g - n : 2 , o t h e r - a : 1 ] ● B O W r e p r e s e n t a t i o n s a r e n o i s i e r , b u t a r e l e s s s p a r s e t h a n s y n t a c t i c d e p e n d e n c i e s .
T h e m o d e l ● A c t i v a t i o n o f r e l e v a n t e x e m p l a r s : θ ( a c t ( E , s ) = { e € E | s i m ( e , s ) > E , s ) } θ : ● T w o m e t h o d s f o r s e t t i n g t h e t h r e s h o l d – k N N a c t i v a t i o n ( k n e a r e s t n e i g h b o r s ) , s e l e c t s a c o n s t a n t n u m b e r o f e x e m p l a r s – q - p e r c e n t a g e a c t i v a t i o n ( q % m o s t s i m i l a r ) , s e l e c t s a v a r i a b l e n u m b e r o f e x e m p l a r s ( p r o p o r t i o n a l t o f r e q u e n c y )
T h e m o d e l ● P r e v i o u s a p p r o a c h e s t r a n s f o r m t h e t a r g e t v e c t o r T u s i n g t h e c o n t e x t s i n t o a n e w v e c t o r T ' , t h i s a p p r o a c h s e l e c t s e x e m p l a r s t o a c t i v a t e ● A c t i v a t i o n c a n b e a p p l i e d t o t h e t a r g e t T : T ' = a c t ( T , s ) ● A s w e l l a s t o t h e s e t o f p a r a p h r a s e s P P ' = a c t ( P , s ) ● A c t i v a t i o n s e l e c t s e x e m p l a r s t h a t e x c e e d a s i m i l a r i t y t h r e s h o l d . S i m i l a r i t y i s d e f i n e d a s c o s i n e s i m i l a r i t y
The data ● T a r g e t s e n t e n c e s f r o m L e x i c a l S u b s t i t u t i o n ( L e x S u b ) d a t a s e t : 2 0 0 0 i n s t a n c e s o f 2 0 0 t a r g e t w o r d s ● E x e m p l a r s a r e f r o m B N C , w o r d s l e m m a t i z e d a n d P O S - t a g g e d .
R e s u l t s ● G A P = G e n e r a l i z e d A v e r a g e P r e c i s i o n , a m e t h o d o f s c o r i n g r a n k e d l i s t s ● S t a t i s t i c a l s i g n i f i c a n c e : a c t P / p e r c > a c t P / k N N ~ a c t T / k N N > a c t T / p e r c ( > m e a n s s i g n i f i c a n t l y b e t t e r t h a n , ~ m e a n s n o t s i g n i f i c a n t )
R e s u l t s ● A t h i r d m o d e l , c o m b i n e s t h e t w o m o d e l s : ● a c t T P a c t i v a t e s T b y k N N , a n d P b y p e r c U n f o r t u n a t e l y , d o e s n o t i m p r o v e o n p r e v i o u s r e s u l t s
I n f l u e n c e o f P O S ● a c t T , k = 2 0 v e r b s : 3 5 . 3 , n o u n s : 3 8 . 2 , a d j e c t i v e s : 3 5 . 1 ● a c t P , 1 0 % , v e r b s : 3 6 . 9 , n o u n s : 4 1 . 4 , a d j e c t i v e s : 3 7 . 5 ● I n t e r e s t i n g l y , a c t T P h a s a b e t t e r s c o r e f o r v e r b s
C o m p a r i s o n ● T h e a u t h o r s p r e v i o u s l y p u b l i s h e d a p r o t o t y p e - m o d e l f o r t h i s t a s k
C o n c l u s i o n ● T h e e x e m p l a r - m o d e l s a r e i n d e e d b e t t e r t h a n p r e v i o u s p r o t o t y p e m o d e l s ● L o w c o m p u t a t i o n a l o v e r h e a d , b e c a u s e o n l y s m a l l n u m b e r o f e x e m p l a r s n e e d t o b e a c t i v a t e d ● E x e m p l a r s a r e b e s t a c t i v a t e d w i t h a l o w a b s o l u t e n u m b e r ; p a r a p h r a s e s w i t h a p e r c e n t a g e . ● A c t i v a t i n g p a r a p h r a s e s i s m o r e e f f e c t i v e
Recommend
More recommend