Linguis'c Structured Sparsity in Text Categoriza'on Dani - PowerPoint PPT Presentation

Linguis'c ¡Structured ¡Sparsity ¡ ¡ in ¡Text ¡Categoriza'on ¡ Dani ¡Yogatama ¡and ¡Noah ¡A. ¡Smith ¡ Language ¡Technologies ¡Ins'tute ¡ Carnegie ¡Mellon ¡University ¡ {dyogatama,nasmith}@cs.cmu.edu

Dani ¡Yogatama ¡ ¡ ¡

Summary ¡ • Words ¡of ¡a ¡feather ¡(should) ¡flock ¡ together ¡ • Idea: ¡ ¡use ¡linguis'c ¡structure ¡to ¡ define ¡ feathers ¡(flocks) ¡ instead ¡of ¡ features ¡ • Math: ¡ ¡sparse ¡group ¡lasso ¡regulariza'on ¡ • Results: ¡ ¡text ¡classifica'on ¡(sen'ment, ¡forecas'ng, ¡topic) ¡

Text ¡Classifica'on ¡ this film is one big joke : you have all the basics elements of romance ( love at first sight , great passion , etc . ) and gangster flicks ( brutality , dagerous machinations , the mysterious don , etc. ) , but it is all done with the crudest humor . it ’ s the kind of thing you either like viserally and immediately ” get ” or you don ’ t . that is a matter of taste and expectations . i enjoyed it and it took me back to the mid80s , when nicolson and turner were in their primes . the acting is very good , if a bit obviously tongue - in - cheek .

Bag ¡of ¡Words ¡ 1 acting this film is one big joke : you have all the basics elements 1 at of romance ( love at first sight , great 1 back passion , etc . ) and gangster flicks 1 basics ( brutality , dagerous machinations , the mysterious don , etc. ) , 1 big but it is all done with the crudest 1 bit humor . 1 brutality it ’ s the kind of thing you either like viserally and immediately ” get ” or you 1 but don ’ t . 1 cheek that is a matter of taste and 1 crudest expectations . i enjoyed it and it took me back to the 1 dagerous mid80s , when nicolson and turner were in … their primes . the acting is very good , if a bit 6 the obviously tongue - in - cheek . …

Bag ¡of ¡Words ¡ 1 acting 1 at 1 back 1 basics 1 big 1 bit 1 brutality 1 but 1 cheek 1 crudest 1 dagerous … 6 the …

Linear ¡Classifier ¡ 1 acting w acting 1 at w at 1 back w back 1 basics w basics . ¡ 1 big w big sign ( f ( document ) · w ) ˆ 1 bit w bit y 1 brutality w brutality 1 but w but 1 cheek w cheek 1 crudest w crudest 1 dagerous w dagerous … … 6 the w the … …

Text ¡is ¡Not ¡a ¡Bag ¡of ¡Words! ¡ this film is one big joke : you have all • Sentences ¡ the basics elements of romance ( love at first sight , great • Phrases ¡ passion , etc . ) and gangster flicks • Fine-­‑grained ¡ ( brutality , dagerous machinations , the mysterious don , etc. ) , syntac'c ¡ but it is all done with the crudest classes ¡ humor . it ’ s the kind of thing you either like • Thema'c ¡ viserally and immediately ” get ” or you don ’ t . topics ¡ that is a matter of taste and expectations . ¡ i enjoyed it and it took me back to the (and ¡many ¡more!) ¡ mid80s , when nicolson and turner were in their primes . the acting is very good , if a bit obviously tongue - in - cheek .

Text ¡is ¡Not ¡a ¡Bag ¡of ¡Words! ¡ this film is one big joke : you have all • Sentences ¡ the basics elements of romance ( love at first sight , great • Phrases ¡ passion , etc . ) and gangster flicks • Fine-­‑grained ¡ ( brutality , dagerous machinations , the mysterious don , etc. ) , syntac'c ¡ but it is all done with the crudest classes ¡ humor . it ’ s the kind of thing you either like • Thema'c ¡ viserally and immediately ” get ” or you don ’ t . topics ¡ that is a matter of taste and expectations . ¡ i enjoyed it and it took me back to the (and ¡many ¡more!) ¡ mid80s , when nicolson and turner were in their primes . the acting is very good , if a bit obviously tongue - in - cheek .

Text ¡is ¡Not ¡a ¡Bag ¡of ¡Words! ¡ this film is one big joke : you have all • Sentences ¡ the basics elements of romance ( love at first sight , great • Phrases ¡ passion , etc . ) and gangster flicks • Fine-­‑grained ¡ ( brutality , dagerous machinations , the mysterious don , etc. ) , syntac'c ¡ but it is all done with the crudest classes ¡ humor . it ’ s the kind of thing you either like • Thema'c ¡ viserally and immediately ” get ” or you don ’ t . topics ¡ that is a matter of taste and expectations . ¡ i enjoyed it and it took me back to the (and ¡many ¡more!) ¡ mid80s , when nicolson and turner were in their primes . the acting is very good , if a bit obviously tongue - in - cheek .

Text ¡is ¡Not ¡a ¡Bag ¡of ¡Words! ¡ this film is one big joke : you have all • Sentences ¡ the basics elements of romance ( love at first sight , great • Phrases ¡ passion , etc . ) and gangster flicks • Fine-­‑grained ¡ ( brutality , dagerous machinations , the mysterious don , etc. ) , syntac'c ¡ but it is all done with the crudest classes ¡ humor . it ’ s the kind of thing you either like • Thema'c ¡ viserally and immediately ” get ” or you don ’ t . topics ¡ that is a matter of taste and expectations . ¡ i enjoyed it and it took me back to the (and ¡many ¡more!) ¡ mid80s , when nicolson and turner were in their primes . the acting is very good , if a bit obviously tongue - in - cheek .

Learning ¡the ¡Weights ¡ w “fit ¡the ¡data” ¡ (e.g., ¡log-­‑likelihood ¡of ¡ y n ¡given ¡ d n , ¡ hinge ¡loss, ¡...) ¡ ¡ N X w = arg min ˆ L ( f ( d n ) , y n ; w ) + R ( w ) w n =1 “generalize” ¡ (e.g., ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡; ¡ ¡ λ k w k 2 2 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡ λ k w k 1

Group ¡Lasso ¡(Yuan ¡& ¡Lin ¡‘06) ¡ X R ( w ) = λ g k w g k 2 g group ¡1 ¡ group ¡2 ¡ group ¡3 ¡ w 1 w 2 w 3 no ¡sparsity ¡ classic ¡sparsity ¡ group ¡sparsity ¡

Group ¡Lasso ¡(Yuan ¡& ¡Lin ¡‘06) ¡ X R ( w ) = λ g k w g k 2 g In ¡NLP: ¡ • chunking ¡and ¡parsing ¡(Mar'ns ¡et ¡al., ¡2011) ¡ • language ¡modeling ¡(Nelakan' ¡et ¡al., ¡2013) ¡ group ¡sparsity ¡

Learning ¡the ¡Weights ¡ w ¡ N X w = arg min ˆ L ( f ( d n ) , y n ; w ) + R ( w ) w n =1

Learning ¡the ¡Weights ¡ w ¡ N X w = arg min ˆ L ( f ( d n ) , y n ; w ) + R ( w ) w n =1 N X w = arg min L ( f ( d n ) , y n ; w ) ˆ w n =1 “Tikhonov” ¡regulariza'on ¡ s.t. R ( w ) ≤ τ “Ivanov” ¡regulariza'on ¡

Lasso ¡vs. ¡Group ¡Lasso ¡ 〈 w 1 , w 2 〉 w 3 L R ( w ) = | w 1 | + | w 2 | + | w 3 | N X w = arg min L ( f ( d n ) , y n ; w ) ˆ w n =1 s.t. R ( w ) ≤ τ Mar'ns ¡et ¡al., ¡EACL ¡2014 ¡tutorial ¡on ¡structured ¡sparsity ¡in ¡NLP ¡

Lasso ¡vs. ¡Group ¡Lasso ¡ 〈 w 1 , w 2 〉 〈 w 1 , w 2 〉 w 3 w 3 L L R ( w ) = || 〈 w 1 , w 2 〉 || 2 + | w 3 | R ( w ) = | w 1 | + | w 2 | + | w 3 | L L Mar'ns ¡et ¡al., ¡EACL ¡2014 ¡tutorial ¡on ¡structured ¡sparsity ¡in ¡NLP ¡

Whence ¡Groups? ¡ Back ¡to ¡NLP ¡... ¡

Sentence ¡Regularizer ¡ S n N X X R ( w ) = λ n,s k w n,s k 2 n =1 s =1 • Every ¡sentence ¡ s ¡in ¡every ¡document ¡ n ¡gets ¡a ¡group. ¡ • If ¡ w n,s ¡can ¡be ¡driven ¡to ¡zero, ¡that ¡means ¡the ¡ sentence ¡is ¡irrelevant ¡to ¡the ¡task. ¡ • Many ¡overlapping ¡groups! ¡ Yogatama ¡and ¡Smith ¡(ICML ¡2014) ¡

Group ¡for ¡Sentence ¡1 ¡ 1 acting this film is one big joke : you have all the basics elements 1 at of romance ( love at first sight , great 1 back passion , etc . ) and gangster flicks 1 basics ( brutality , dagerous machinations , the mysterious don , etc. ) , 1 big but it is all done with the crudest 1 bit humor . 1 brutality it ’ s the kind of thing you either like viserally and immediately ” get ” or you 1 but don ’ t . 1 cheek that is a matter of taste and 1 crudest expectations . i enjoyed it and it took me back to the 1 dagerous mid80s , when nicolson and turner were in … their primes . the acting is very good , if a bit 6 the obviously tongue - in - cheek . …

Group ¡for ¡Sentence ¡5 ¡ 1 acting this film is one big joke : you have all the basics elements 1 at of romance ( love at first sight , great 1 back passion , etc . ) and gangster flicks 1 basics ( brutality , dagerous machinations , the mysterious don , etc. ) , 1 big but it is all done with the crudest 1 bit humor . 1 brutality it ’ s the kind of thing you either like viserally and immediately ” get ” or you 1 but don ’ t . 1 cheek that is a matter of taste and 1 crudest expectations . i enjoyed it and it took me back to the 1 dagerous mid80s , when nicolson and turner were in … their primes . the acting is very good , if a bit 6 the obviously tongue - in - cheek . …