From Big Text to Big Knowledge Partha Talukdar Machine And Language - PowerPoint PPT Presentation

Research Programs at IISc † Ph.D. and M.Sc [Engg] † Min. Qualification: ➢ ME / M Tech or BE / B Tech or equivalent degree in any Engineering discipline or ➢ M Sc or equivalent degree in Mathematics, Physics, Statistics, Electronics, Instrumentation or Computer Sciences or ➢ Master’s in Computer Application. † Selection process ➢ Shortlisting (GATE scores) and Interview Come Join Us!

Back to Text & Knowledge

Thesis Background knowledge is key to Intelligent Decision Making 13

Thesis Background knowledge is key to Intelligent Decision Making 13

Thesis Background knowledge is key to Intelligent Decision Making ? 13

Thesis Background knowledge is key to Intelligent Decision Making ? 13

Thesis Background knowledge is key to Intelligent Decision Making inventedCharacter 13

Explosion ¡of ¡Unstructured ¡Text ¡Data 14

Explosion ¡of ¡Unstructured ¡Text ¡Data 300 ¡million ¡ new ¡websites ¡added ¡in ¡2011 ¡ alone ¡(a ¡117% ¡growth) ¡ ¡ Sources: http://royal.pingdom.com/2012/01/17/internet-2011-in-numbers/, http://blog.twitter.com/2011/06/200-million-tweets-per-day.html 14

Explosion ¡of ¡Unstructured ¡Text ¡Data 300 ¡million ¡ new ¡websites ¡added ¡in ¡2011 ¡ alone ¡(a ¡117% ¡growth) ¡ ¡ 500 ¡million ¡ Tweets ¡per ¡day ¡(circa ¡Oct ¡2012) Sources: http://royal.pingdom.com/2012/01/17/internet-2011-in-numbers/, http://blog.twitter.com/2011/06/200-million-tweets-per-day.html 14

Explosion ¡of ¡Unstructured ¡Text ¡Data 300 ¡million ¡ new ¡websites ¡added ¡in ¡2011 ¡ alone ¡(a ¡117% ¡growth) ¡ ¡ 500 ¡million ¡ Tweets ¡per ¡day ¡(circa ¡Oct ¡2012) Time ¡to ¡read ¡for ¡one ¡person: ¡31years Sources: http://royal.pingdom.com/2012/01/17/internet-2011-in-numbers/, http://blog.twitter.com/2011/06/200-million-tweets-per-day.html 14

Explosion ¡of ¡Unstructured ¡Text ¡Data 300 ¡million ¡ new ¡websites ¡added ¡in ¡2011 ¡ alone ¡(a ¡117% ¡growth) ¡ ¡ 500 ¡million ¡ Tweets ¡per ¡day ¡(circa ¡Oct ¡2012) Time ¡to ¡read ¡for ¡one ¡person: ¡31years Need ¡to ¡harvest ¡knowledge ¡from ¡ unstructured ¡text ¡data Sources: http://royal.pingdom.com/2012/01/17/internet-2011-in-numbers/, http://blog.twitter.com/2011/06/200-million-tweets-per-day.html 14

What ¡is ¡Knowledge ¡HarvesBng ¡ from ¡Unstructured ¡Text? 15

What ¡is ¡Knowledge ¡HarvesBng ¡ from ¡Unstructured ¡Text? Document 1 Document 2 ... After the death of then-mayor Bob ... Luke Ravenstahl is O’Connor, Luke Ravenstahl became the the current Mayor of mayor in September 2006 ... Pittsburgh ... 15

What ¡is ¡Knowledge ¡HarvesBng ¡ from ¡Unstructured ¡Text? Document 1 Document 2 ... After the death of then-mayor Bob ... Luke Ravenstahl is O’Connor, Luke Ravenstahl became the the current Mayor of mayor in September 2006 ... Pittsburgh ... Person Luke ¡Ravenstahl Bob ¡O’Connor 15

What ¡is ¡Knowledge ¡HarvesBng ¡ from ¡Unstructured ¡Text? Document 1 Document 2 ... After the death of then-mayor Bob ... Luke Ravenstahl is O’Connor, Luke Ravenstahl became the the current Mayor of mayor in September 2006 ... Pittsburgh ... Person LocaBon Luke ¡Ravenstahl PiIsburgh Bob ¡O’Connor 15

What ¡is ¡Knowledge ¡HarvesBng ¡ from ¡Unstructured ¡Text? Document 1 Document 2 ... After the death of then-mayor Bob ... Luke Ravenstahl is O’Connor, Luke Ravenstahl became the the current Mayor of mayor in September 2006 ... Pittsburgh ... Person LocaBon MayorOf Luke ¡Ravenstahl PiIsburgh Bob ¡O’Connor MayorOf 15

What ¡is ¡Knowledge ¡HarvesBng ¡ from ¡Unstructured ¡Text? Document 1 Document 2 ... After the death of then-mayor Bob ... Luke Ravenstahl is O’Connor, Luke Ravenstahl became the the current Mayor of mayor in September 2006 ... Pittsburgh ... Valid ¡UnLl ¡Sep/2006 Person MayorOf Bob ¡O’Connor PiIsburgh 15

What ¡is ¡Knowledge ¡HarvesBng ¡ from ¡Unstructured ¡Text? Document 1 Document 2 ... After the death of then-mayor Bob ... Luke Ravenstahl is O’Connor, Luke Ravenstahl became the the current Mayor of mayor in September 2006 ... Pittsburgh ... Valid ¡UnLl ¡Sep/2006 Valid ¡From ¡Sep/2006 Person MayorOf Person MayorOf Bob ¡O’Connor PiIsburgh Luke ¡Ravenstahl PiIsburgh 15

Use ¡of ¡Harvested ¡Knowledge: ¡Google ¡ Knowledge ¡Graph 16

Use ¡of ¡Harvested ¡Knowledge: ¡Google ¡ Knowledge ¡Graph Improved Web Search Experience, facilitated by Harvested Knowledge 16

Use ¡of ¡Harvested ¡Knowledge: ¡Google ¡ Knowledge ¡Graph Improved Web Search Experience, facilitated by Harvested Knowledge No Structured Information 16

Use ¡of ¡Harvested ¡Knowledge: ¡Google ¡ Knowledge ¡Graph Improved Web Search Experience, facilitated by Harvested Knowledge No Structured Information “We’re ¡sBll ¡at ¡1 ¡percent ¡of ¡where ¡we ¡should ¡be.” ¡ -- Larry Page (Google CEO) on Knowledge Graph [Jan 22, 2013] http://venturebeat.com/2013/01/22/larry-page-on-googles-knowledge-graph-were-still-at-1-of-where-we-want-to-be/ 16

New ¡paradigm ¡for ¡Machine ¡Learning: Never ¡Ending ¡Learning ¡agent 17

New ¡paradigm ¡for ¡Machine ¡Learning: Never ¡Ending ¡Learning ¡agent Persistent ¡soSware ¡individual 17

New ¡paradigm ¡for ¡Machine ¡Learning: Never ¡Ending ¡Learning ¡agent Persistent ¡soSware ¡individual Learns ¡many ¡funcLons ¡/ ¡knowledge ¡types 17

New ¡paradigm ¡for ¡Machine ¡Learning: Never ¡Ending ¡Learning ¡agent Persistent ¡soSware ¡individual Learns ¡many ¡funcLons ¡/ ¡knowledge ¡types Learns ¡easier ¡things ¡first, ¡then ¡more ¡difficult 17

New ¡paradigm ¡for ¡Machine ¡Learning: Never ¡Ending ¡Learning ¡agent Persistent ¡soSware ¡individual Learns ¡many ¡funcLons ¡/ ¡knowledge ¡types Learns ¡easier ¡things ¡first, ¡then ¡more ¡difficult The ¡more ¡it ¡learns, ¡the ¡more ¡it ¡can ¡learn ¡next 17

New ¡paradigm ¡for ¡Machine ¡Learning: Never ¡Ending ¡Learning ¡agent Persistent ¡soSware ¡individual Learns ¡many ¡funcLons ¡/ ¡knowledge ¡types Learns ¡easier ¡things ¡first, ¡then ¡more ¡difficult The ¡more ¡it ¡learns, ¡the ¡more ¡it ¡can ¡learn ¡next Learns ¡from ¡experience, ¡and ¡from ¡advice 17

NELL: ¡Never ¡Ending ¡Language ¡Learner 18

NELL: ¡Never ¡Ending ¡Language ¡Learner Inputs: 18

NELL: ¡Never ¡Ending ¡Language ¡Learner Inputs: • iniLal ¡ontology ¡ 18

NELL: ¡Never ¡Ending ¡Language ¡Learner Inputs: • iniLal ¡ontology ¡ • few ¡seed ¡examples ¡of ¡each ¡ontology ¡predicate 18

NELL: ¡Never ¡Ending ¡Language ¡Learner Inputs: • iniLal ¡ontology ¡ • few ¡seed ¡examples ¡of ¡each ¡ontology ¡predicate • the ¡web 18

NELL: ¡Never ¡Ending ¡Language ¡Learner Inputs: • iniLal ¡ontology ¡ • few ¡seed ¡examples ¡of ¡each ¡ontology ¡predicate • the ¡web • occasional ¡interacLon ¡with ¡human ¡trainers 18

NELL: ¡Never ¡Ending ¡Language ¡Learner Inputs: • iniLal ¡ontology ¡ • few ¡seed ¡examples ¡of ¡each ¡ontology ¡predicate • the ¡web • occasional ¡interacLon ¡with ¡human ¡trainers 18

NELL: ¡Never ¡Ending ¡Language ¡Learner Inputs: • iniLal ¡ontology ¡ • few ¡seed ¡examples ¡of ¡each ¡ontology ¡predicate • the ¡web • occasional ¡interacLon ¡with ¡human ¡trainers The ¡task: 18

NELL: ¡Never ¡Ending ¡Language ¡Learner Inputs: • iniLal ¡ontology ¡ • few ¡seed ¡examples ¡of ¡each ¡ontology ¡predicate • the ¡web • occasional ¡interacLon ¡with ¡human ¡trainers The ¡task: • run ¡24x7, ¡forever 18

NELL: ¡Never ¡Ending ¡Language ¡Learner Inputs: • iniLal ¡ontology ¡ • few ¡seed ¡examples ¡of ¡each ¡ontology ¡predicate • the ¡web • occasional ¡interacLon ¡with ¡human ¡trainers The ¡task: • run ¡24x7, ¡forever • each ¡day: 18

NELL: ¡Never ¡Ending ¡Language ¡Learner Inputs: • iniLal ¡ontology ¡ • few ¡seed ¡examples ¡of ¡each ¡ontology ¡predicate • the ¡web • occasional ¡interacLon ¡with ¡human ¡trainers The ¡task: • run ¡24x7, ¡forever • each ¡day: • extract ¡more ¡facts ¡from ¡the ¡web ¡ 18

NELL: ¡Never ¡Ending ¡Language ¡Learner Inputs: • iniLal ¡ontology ¡ • few ¡seed ¡examples ¡of ¡each ¡ontology ¡predicate • the ¡web • occasional ¡interacLon ¡with ¡human ¡trainers The ¡task: • run ¡24x7, ¡forever • each ¡day: • extract ¡more ¡facts ¡from ¡the ¡web ¡ • learn ¡to ¡read ¡(perform ¡#1) ¡beIer ¡than ¡yesterday 18

NELL ¡Today 19

NELL ¡Today Running ¡24x7, ¡since ¡January, ¡12, ¡2010 ¡ Result: ¡ ¡KB ¡with ¡> ¡70 ¡million ¡candidate ¡beliefs, ¡growing ¡daily ¡ ¡learning ¡to ¡reason, ¡as ¡well ¡as ¡read ¡ ¡automaLcally ¡extending ¡its ¡ontology 19

NELL ¡Today Running ¡24x7, ¡since ¡January, ¡12, ¡2010 ¡ Result: ¡ ¡KB ¡with ¡> ¡70 ¡million ¡candidate ¡beliefs, ¡growing ¡daily ¡ ¡learning ¡to ¡reason, ¡as ¡well ¡as ¡read ¡ ¡automaLcally ¡extending ¡its ¡ontology 19

NELL ¡Knowledge ¡Fragment football uses climbing equipment skates helmet Canada Sunnybrook Miller uses city Hockey equipment hospital company country Team hockey Detroit GM politician CFRB radio Pearson Toronto play hasClass hometown airport competes 
 with home town Stanley 
 Toronto city Red Cup company city Maple Leafs won won Wings stadium Toyota team stadium Connaught city paper league league acquired city NHL Air Canada member stadium Hino created Centre plays in economic sector Globe and Mail Sundin Prius writer automobile Toskala Skydome Corrola Milson 20

NELL ¡Knowledge ¡Fragment football uses climbing equipment skates helmet Canada Sunnybrook Miller uses city Hockey equipment hospital company country Team hockey Detroit GM politician CFRB radio Pearson Toronto play hasClass hometown airport competes 
 with home town Stanley 
 Toronto city Red Cup company city Maple Leafs won won Wings stadium Toyota team stadium Connaught city paper league league acquired city NELL ¡KB: ¡hIp://rtw.ml.cmu.edu ¡ NHL Air Canada member stadium Hino created Centre plays in TwiIer: ¡@cmunell economic sector Globe and Mail Sundin Prius writer automobile Toskala Skydome Corrola Milson 20

NELL ¡Knowledge ¡Fragment football uses climbing equipment Which relation? skates helmet Canada Sunnybrook Miller uses city Hockey equipment hospital company country Team hockey Detroit GM politician CFRB radio Pearson Toronto play hasClass hometown airport competes 
 with home town Stanley 
 Toronto city Red Cup company city Maple Leafs won won Wings stadium Toyota team stadium Connaught city paper league league acquired city NELL ¡KB: ¡hIp://rtw.ml.cmu.edu ¡ NHL Air Canada member stadium Hino created Centre plays in TwiIer: ¡@cmunell economic sector Globe and Mail Sundin Prius writer automobile Toskala Skydome Corrola Milson 20

NELL ¡Knowledge ¡Fragment football uses climbing equipment Which relation? skates helmet Canada Sunnybrook Miller uses city Hockey equipment hospital company country Team hockey Detroit GM politician CFRB radio Pearson Toronto play hasClass When?: Temporal hometown airport competes 
 Scoping with home town Stanley 
 Toronto city Red Cup company city Maple Leafs won won Wings stadium Toyota team stadium Connaught city paper league league acquired city NELL ¡KB: ¡hIp://rtw.ml.cmu.edu ¡ NHL Air Canada member stadium Hino created Centre plays in TwiIer: ¡@cmunell economic sector Globe and Mail Sundin Prius writer automobile Toskala Skydome Corrola Milson 20

Other Related Efforts 21

AAAI 2015

NELL’s Growth over Time

NELL’s Accuracy over Time 24

Need knowledge to be … 25

Need knowledge to be … • A vailable or inferable 25

Need knowledge to be … • A vailable or inferable • F resh (temporally scoped) 25

Need knowledge to be … • A vailable or inferable • F resh (temporally scoped) 25

KB Inference If: competes 
 economic x1 x2 x3 with sector (x2, (x1,x2) x3) Then: economic sector (x1, x3)

PRA: Inference by KB Random Walks [Lao et al, EMNLP 2011] KB: Random walk competes 
 economic path type: x ? y with sector model Pr(R(x,y)): logistic function for R(x,y) i th feature: probability of arriving at node y starting at node x, and taking a random walk along path type i

[Lao et al, EMNLP 2011] CityLocatedInCountry(Pittsburgh) = ? U.S. Japan Pennsylvania CityLocatedInCountry C CityInState -1 CityInState i t y y r I t n n S u t o a C t e … (14) n - 1 I d e Pittsburgh t a Philadelphia c AtLocation -1 Harisburg o L y t Atlanta i C Dallas AtLocation Tokyo PPG Delta Logistic 
 Regresssion 
 Weight Feature = Typed Path Feature Value CityInState, CityInstate -1 , CityLocatedInCountry 0.8 0.32 AtLocation -1 , AtLocation, CityLocatedInCountry 0.6 0.20 … … … CityLocatedInCountry(Pittsburgh) = U.S. p=0.58

PRA: learned path types CityLocatedInCountry( city, country ) : 8.04 cityliesonriver, cityliesonriver -1 , citylocatedincountry 5.42 hasofficeincity -1 , hasofficeincity, citylocatedincountry 4.98 cityalsoknownas, cityalsoknownas, citylocatedincountry 2.85 citycapitalofcountry,citylocatedincountry -1 ,citylocatedincountry 2.29 agentactsinlocation -1 , agentactsinlocation, citylocatedincountry 1.22 statehascapital -1 , statelocatedincountry 0.66 citycapitalofcountry . . . 7 of the 2985 learned paths for CityLocatedInCountry

PRA: Challenges 30

PRA: Challenges • Works great when the KB graph is well connected 30

PRA: Challenges • Works great when the KB graph is well connected ‣ But, sparsity in the KB graph is the main challenge we wanted to solve! 30

Subject-Verb-Object (SVO) Data Former President Bill Clinton was born in Hope ... President Obama was born in Honolulu , while ... Web 31

Subject-Verb-Object (SVO) Data Former President Bill Clinton was born in Hope ... President Obama was born in Honolulu , while ... Web 31

Subject-Verb-Object (SVO) Data Former President Bill Clinton was born in Hope ... President Obama was born in Honolulu , while ... Web 31

Subject-Verb-Object (SVO) Data SVO “Bill Clinton”, “was born in”, “Hope” “Obama”, “was born in” , “Honolulu” Former President Bill Clinton was born in Hope ... President Obama was born in Honolulu , while ... Web Extract 600m Subject-Verb-Object (SVO) triples from a parsed web corpus of 230 billion tokens 31

Our Approach: PRA over KB + SVO Graph (Gardner et al., EMNLP 2013) 32

Our Approach: PRA over KB + SVO Graph (Gardner et al., EMNLP 2013) KB Relation Label teamPlaysIn Alex World NY Yankees Rodriguez Series (concept) (concept) (concept) 32

Our Approach: PRA over KB + SVO Graph (Gardner et al., EMNLP 2013) KB Relation Label teamPlaysIn Alex World NY Yankees Rodriguez Series (concept) (concept) (concept) mention mention “plays for” Alex NY Yankees Rodriguez “bats for” 32

Our Approach: PRA over KB + SVO Graph (Gardner et al., EMNLP 2013) Lexicalized edges can explode number of KB Relation Label paths, feature sparsity => Latent PRA teamPlaysIn Alex World NY Yankees Rodriguez Series (concept) (concept) (concept) mention mention “plays for” Alex NY Yankees Rodriguez “bats for” 32

Latent PRA (Discretized) 33

Latent PRA (Discretized) Step 1 : Embed lexicalized edge labels 33

Latent PRA (Discretized) Step 1 : Embed lexicalized edge labels ) s e ) e s k e n M a Y Y Y N N , s , . e d n o o R J . A B ( ( “plays for” “bats for” 33

Latent PRA (Discretized) Step 1 : Embed lexicalized edge labels ) s e ) e s k e n M a Y Y Y N N , s , . e d n o o R J Dimensionality . A B ( ( Reduction “plays for” “bats for” 33

Latent PRA (Discretized) Step 1 : Embed lexicalized edge labels ) Latent s e ) e s k e n M a Y Y Dimensions Y N N , s , . e d n o o R J Dimensionality . L1 L2 L3 A B ( ( Reduction “plays for” “plays for” 0.9 0.01 -0.3 “bats for” “bats for” 0.6 0.01 -0.4 33

Latent PRA (Discretized) Step 1 : Embed lexicalized edge labels ) Latent s e ) e s k e n M a Y Y Dimensions Y N N , s , . e d n o o R J Dimensionality . L1 L2 L3 A B ( ( Reduction “plays for” “plays for” 0.9 0.01 -0.3 “bats for” “bats for” 0.6 0.01 -0.4 Discretize 33

Latent PRA (Discretized) Step 1 : Embed lexicalized edge labels ) Latent s e ) e s k e n M a Y Y Dimensions Y N N , s , . e d n o o R J Dimensionality . L1 L2 L3 A B ( ( Reduction “plays for” “plays for” 0.9 0.01 -0.3 “bats for” “bats for” 0.6 0.01 -0.4 Discretize “plays for” +L1 -L3 “bats for” +L1 -L3 33

Latent PRA (Discretized) 34

Latent PRA (Discretized) Step 1I : Use discretized embeddings as edge label 34

Latent PRA (Discretized) Step 1I : Use discretized embeddings as edge label mention mention “ +L1 ” Alex NY Yankees “ -L3 ” Rodriguez 34

Latent PRA (Discretized) Step 1I : Use discretized embeddings as edge label mention mention “ +L1 ” Alex NY Yankees “ -L3 ” Rodriguez Example: • “lies on” , “runs through” , “flows through” all get mapped to same discretized latent dimensions (relevant for cityLiesOnRiver relation) 34

Latent PRA Experiments 35

Latent PRA Experiments 35