E C O N O MI C E V E N T D E T E C T I O N F O - PowerPoint PPT Presentation

E C O N O MI C E V E N T D E T E C T I O N F O R C O MP A N Y - S P E C I F I C N E WS T E X T G i l l e s J a c o b s g i l l e s m . j a c o b s @ u g e n t . b e E l s L e f e v e r e l s . l e f e v e r @ u g e n t . b e V é r o n i q u e H o s t e v e r o n i q u e . h o s t e @ u g e n t . b e L a n g u a g e & T r a n s l a t i o n T e c h n o l o g y T e a m ( L T 3 ) , G h e n t U n i v e r s i t y E C O N L P @ A C L 2 0 1 8 , M e l b o u r n e , A u s t r a l i a

O U T L I N E 1 . I n t r o d u c t i o n 2 . D a t a s e t d e s c r i p t i o n 3 . E x p e r i m e n t s 4 . E r r o r a n a l y s i s 5 . C o n c l u s i o n 6 . L i m i t a t i o n s & f u t u r e w o r k 2

I N T R O D U C T I O N T a s k : E v e n t m e n t i o n d e t e c t i o n a n d t y p i n g f o r e c o n o m i c e v e n t s i n c o m p a n y - s p e c i fj c n e w s . ● E v e n t c o n c e p t u a l i z a t i o n : “ t e x t u a l l y r e p o r t e d r e a l - w o r l d o c c u r r e n c e s , a c t i o n s , s i t u a t i o n s i n v o l v i n g ● c o m p a n i e s ” However, revenues from voice and text fell in the period. ” “ → T u r n - o v e r e v e n t So far, free cash flow has been used to finance share buybacks and dividend increases. ” “ → S h a r e b u y b a c k e v e n t It will increase the number of Barclays’ customers in France by 25 per cent.” “ → S a l e s V o l u m e e v e n t 3

I N T R O D U C T I O N A p p l i c a t i o n s : ● E c o n o m i c s ( a c a d e m i c ) : e v e n t s t u d i e s ( M a c K i n l a y , 1 9 9 7 ) ; a s s e s s i n g i m p a c t o f n e w s e v e n t s ● ( B o u d o u k h e t a l . , 2 0 1 6 ) S e c u r i t y p r i c e p r e d i c t i o n , b u s i n e s s i n t e l l i g e n c e , t r a d i n g s t r a t e g i e s , e t c . ● C u r r e n t m e t h o d s a r e p a t t e r n - o r k n o w l e d g e - b a s e d ( F e l d m a n e t a l . , 2 0 1 1 ; A r e n d a r e n k o a n d ● K a k k o n e n , 2 0 1 2 ; H o g e n b o o m e t a l . , 2 0 1 3 ; D u e t a l . , 2 0 1 6 ) : l a r g e l y h a n d m a d e o n t o l o g i e s . S u p e r v i s e d , d a t a - d r i v e n m e t h o d s : p o t e n t i a l t o g e n e r a l i z e o v e r l e x i c a l v a r i a t i o n . ● → r e q u i r e s a n n o t a t e d g o l d - s t a n d a r d d a t a s e t . ● C u r r e n t l y n o r e s o u r c e s e x i s t f o r s u p e r v i s e d e v e n t d e t e c t i o n i n e c o n o m i c d o m a i n . ● I n g e n e r a l - d o m a i n e v e n t d e t e c t i o n : l a r g e a m o u n t o f r e s o u r c e s ( e . g . A C E / E R E ( T A C - K B P ) ( A g u i l a r ● e t a l . , 2 0 1 4 ) ) . 4

D A T A S E T D E S C R I P T I O N O u r S e n t i F M d a t a s e t e n a b l e s e v e n t m e n t i o n d e t e c t i o n a n d t y p i n g ( ! = e v e n t e x t r a c t i o n w i t h ● a r g u m e n t s l o t s ) . 7 c o mp a n i e s s e l e c t e d f o r s e c t o r d i v e r s i fj c a t i o n . ● 4 9 7 n e w s a r t i c l e s f r o m t h e F i n a n c i a l T i m e s ( 2 0 0 4 - 2 0 1 3 ) i n E n g l i s h . ● 2 5 2 2 e v e n t me n t i o n s . ● A n n o t a t i o n s : ● T o k e n - l e v e l a n n o t a t i o n : D i s c o n t i n u o u s a n d m u l t i - t o k e n s p a n . ● “ a b o u t _ c o m p a n y ” r e l a t i o n o n e a c h e v e n t . ● 5

D A T A S E T D E S C R I P T I O N D u t c h c o u n t e r p a r t a v a i l a b l e ( L e f e v e r a n d H o s t e , 2 0 1 6 ) . ● V a l i d i t y o f t h e a n n o t a t i o n s c h e m e w a s e v a l u a t e d o n D u t c h s u b s e t : ● 7 8 . 4 1 % I n t e r - a n n o t a t o r F 1 - s c o r e . ● E v e n t t y p e s : ● 1 0 e v e n t t y p e s , t y p o l o g y c o n s t r u c t e d i t e r a t i v e l y o n c o r p u s ● s u b s a m p l e . T y p e o v e r l a p w i t h S t o c k S o n a r ( F e l d m a n e t a l . , 2 0 1 1 ) ● a n d S P E E D o n t o l o g y ( H o g e n b o o m , 2 0 1 3 ) . 6

E X P E R I ME N T S G o a l : p r o v i d e a b a s e l i n e f o r t h e d a t a s e t . ● T a s k : S e n t e n c e - l e v e l e v e n t t y p i n g , m u l t i - l a b e l c l a s s i fj c a t i o n . ● F e a t u r e - e n g i n e e r i n g + S V M . ● L e x i c a l f e a t u r e s : b a g - o f - n - g r a m ( t o k e n , c h a r , l e m m a ) , s p e c i a l t o k e n p r e s e n c e . ● S y n t a c t i c f e a t u r e s : P o S a n d N E R - t a g s . ● K e r n e l s : l i n e a r a n d R B F . ● w v e c + L S T M : ● P r e - t r a i n e d , h o l d - i n s e t G l o V e . ● P r e - t r a i n e d , 6 B c o r p u s G l o V e . ● N o p r e - t r a i n e d , t o k e n - s e q u e n c e i n p u t . ● P r e - t r a i n e d v e c t o r s c h o s e n f r o m m u l t i p l e c a n d i d a t e s b y q u a l i t y e v a l u a t i o n o n a n a l o g y t a s k . ● 7

E X P E R I ME N T A L S E T - U P E v a l u a t i o n : s u p p o r t - w e i g h t e d m a c r o - F 1 o n 1 0 % r a n d o m h o l d - o u t t e s t . ● H y p e r - p a r a m e t e r o p t i m i z a t i o n : ● S V M - R B F : 5 - f o l d c r o s s - v a l i d a t i o n , g r i d - s e a r c h . ● S V M - L i n e a r : N o o p t i m i z a t i o n , d e f a u l t L i b S V M h y p e r - p a r a m e t e r s . ● L S T M : 3 - f o l d c r o s s - v a l i d a t i o n , r a n d o m i z e d - s e a r c h ( 3 2 i t . ) . ● S V M : o n e - v s - r e s t . ● L S T M : m u l t i - l a b e l & o n e - v s - r e s t ( f o r b e s t i n p u t ) . ● 8

R E S U L T S : A L L S Y S T E MS 9

R E S U L T S : B E S T S V M & L S T M S Y S T E M, S C O R E S B Y T Y P E 10